CN112506915B - 一种应用数据的管理系统以及处理方法、装置和服务器 - Google Patents
一种应用数据的管理系统以及处理方法、装置和服务器 Download PDFInfo
- Publication number
- CN112506915B CN112506915B CN202011165367.0A CN202011165367A CN112506915B CN 112506915 B CN112506915 B CN 112506915B CN 202011165367 A CN202011165367 A CN 202011165367A CN 112506915 B CN112506915 B CN 112506915B
- Authority
- CN
- China
- Prior art keywords
- application data
- service
- interface
- database
- asynchronous communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 93
- 238000004891 communication Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000007726 management method Methods 0.000 claims abstract description 31
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 49
- 230000002159 abnormal effect Effects 0.000 claims description 29
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 12
- 239000000872 buffer Substances 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 13
- 230000033764 rhythmic process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种应用数据的管理系统以及处理方法、装置和服务器。其中，该系统包括：异步通信组件、发布订阅消息组件、列式数据库和数据消费进程组，异步通信组件缓存不同业务应用异步上报的应用数据；其中，异步通信组件定期将应用数据写入到发布订阅消息组件中，数据消费进程组定期从发布订阅消息组件中并行拉取应用数据，并转存至列式数据库中。本发明实施例提供的技术方案，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种应用数据的管理系统以及处理方法、装置和服务器。
背景技术
目前，在互联网领域内针对不同业务类型已经开发有大量应用程序，每一应用程序在执行任意业务操作时，会调用相应的接口向服务端上报对应的应用数据，由服务器将应用程序上报的各类应用数据存储至对应的数据库中，然后采用守护进程对该数据库中的应用数据进行异常监控；但是，在服务端由于数据上报量过多而导致响应不及时的情况下，会直接影响到用户在应用程序上的业务执行，而且高并发的数据上报，会造成数据库的存储瓶颈。
针对上述问题，现有的数据管理系统通常会增加服务端的机器部署，以采用高并发的服务集群来接收各个应用程序上报的应用数据，但如果应用程序的数据上报量超过上万级别时，会导致服务集群内的机器部署过多，而增加数据管理系统的复杂性，同时会增加数据库的负载压力，进而在高并发的数据上报下，直接影响到数据管理的高效性。
发明内容
本发明实施例提供了一种应用数据的管理系统以及处理方法、装置和服务器，降低应用数据管理的部署复杂性，提高应用数据处理的高效性和平稳性。
第一方面，本发明实施例提供了一种应用数据的管理系统，该系统包括：异步通信组件、发布订阅消息组件、列式数据库和数据消费进程组，所述异步通信组件缓存不同业务应用异步上报的应用数据；其中，
所述异步通信组件定期将所述应用数据写入到所述发布订阅消息组件中，所述数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
第二方面，本发明实施例提供了一种应用数据的处理方法，应用于上述第一方面所述的应用数据的管理系统中，该方法包括：
通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
第三方面，本发明实施例提供了一种应用数据的处理装置，配置于上述第一方面所述的应用数据的管理系统中，该装置包括：
应用数据写入模块，用于通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
应用数据转存模块，用于通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
第四方面，本发明实施例提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的应用数据的处理方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的应用数据的处理方法。
本发明实施例提供的一种应用数据的管理系统以及处理方法、装置和服务器，通过异步通信组件接收不同业务应用异步上报的应用数据，使得业务应用上的实际业务操作与数据上报服务之间解耦，保证业务应用的业务独立性，从而避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题；然后，异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一提供的一种应用数据的管理系统的原理架构图；
图2为本发明实施例二提供的一种应用数据的管理系统的结构示意图；
图3为本发明实施例三提供的一种应用数据的处理方法的流程图；
图4为本发明实施例四提供的一种应用数据的处理方法的流程图；
图5为本发明实施例五提供的一种应用数据的处理装置的结构示意图；
图6为本发明实施例六提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种应用数据的管理系统的原理架构图。本实施例可适用于对任一种业务应用下上报的应用数据进行管理的情况中。具体的，参照图1，该应用数据的管理系统10可以包括：异步通信组件110、发布订阅消息组件120、列式数据库130和数据消费进程组140。
其中，异步通信组件110缓存不同业务应用异步上报的应用数据；具体的，异步通信组件110定期将应用数据写入到发布订阅消息组件120中，数据消费进程组140定期从发布订阅消息组件120中并行拉取应用数据，并转存至列式数据库130中。
可选的，本实施例中的业务应用可以为任一互联网业务类型下所开发出的能够安装于客户端上的应用程序，用户通过在该业务应用上执行不同的业务操作时，会对应生成不同的应用数据，该应用数据可以是用于指示对应业务操作的日志数据。然后，各个业务应用会通过相应的服务接口将该应用数据上报给服务端进行管理，以便后续对各个业务应用进行功能性分析，同时还可以通过对采用每一服务接口上报的应用数据进行分析，来判断各个服务接口的服务质量。因此，对于任一业务应用通过相应服务接口向服务端上报的应用数据，均需要对应存储到本实施例提供的应用数据的管理系统10中，以便后续对每一服务接口下的应用数据上报情况进行分析。
此时，各个业务应用在向本实施例中的应用数据的管理系统10上报相应的应用数据时，会采用用户数据报协议(User Datagram Protocol，UDP)的方式，通过应用数据的管理系统10所在的服务端对外开放的服务接口，对相应应用数据进行异步上报，然后应用数据的管理系统10会依赖本实施例中的异步通信组件110来接收通过对应服务接口异步上报的应用数据，并采用与业务应用协商一致的UDP协议来解析数据报文，得到实际的应用数据进而缓存到异步通信组件110内。此时，应用数据异步上报时所采用的UDP协议是一种无连接的传输层协议，能够提供面向事务的简单不可靠信息传送服务，使得业务应用上的实际业务操作与数据上报服务之间解耦，因此业务应用在异步上报应用数据时，仍然可以正常执行后续的业务操作，也就是应用数据的管理系统10所在服务端的系统升级和维护，对业务应用所在客户端的业务执行是透明的，从而保证业务应用的业务独立性，避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题，在高并发的服务接口调用下，仍能够保持稳定的数据上报效率，而不影响业务执行性能。
需要说明的是，由于应用数据的管理系统10对外开放的服务接口支持任一业务应用进行数据上报，此时会存在一些无用数据或者伪装数据的上报，因此通过异步通信组件110接收到通过相应服务接口上报的各个应用数据后，首先会按照UDP协议的报文标准对于该应用数据进行合法性验证，只有通过合法性验证的应用数据才会缓存到异步通信组件110中，从而排除未通过合法性验证的应用数据的后续存储，保证应用数据存储后的真实性和可用性；本实施例中的异步通信组件110可以为Swoole通信引擎。
进一步的，由于在应用数据上报过程中，应用数据的管理系统10所在服务端不可避免会存在重启或者宕机的情况，此时为了避免应用数据上报后的存储遗漏，在本实施例中，异步通信组件110还会定期将本身缓存的应用数据写入到发布订阅消息组件120中，此时即使服务端出现重启或者宕机的情况，发布订阅消息组件120中存储的应用数据也不会丢失，从而避免应用数据上报后的存储遗漏；本实施例中的发布订阅消息组件120可以为Kafka消息系统。
此时，为了确保异步通信组件110下缓存功能与写入功能的准确区分执行，本实施例的异步通信组件110可以包括异步缓冲区111和定时进程112，该异步缓冲区111可以为异步通信组件110内配置的缓存buffer，用于缓存不同业务应用异步上报的应用数据，该应用数据为通过合法性验证的应用数据；同时，定时进程112内存在预先设置好的写入时间间隔，并按照该写入时间间隔定期将异步缓冲区111中缓存的应用数据批量写入到发布订阅消息组件120中，使得异步缓冲区111中缓存的应用数据均为各个业务应用在当前间隔时段内异步上报的应用数据。
此外，由于在对应用数据进行存储后，还会通过对应用数据进行额外的分析，来确定相应的服务质量，因此本实施例还会通过数据消费进程组140定期从发布订阅消息组件120中并行拉取所缓存的应用数据，进而转存至列式数据库130中；此时数据消费进程组140中会存在多个数据消费进程，从而提高应用数据的拉取效率，而且列式数据库130作为以列相关存储架构进行数据存储的数据库，能够适用于批量的数据处理和即时查询，具备高聚合的计算能力，从而提高应用数据的管理高效性。
需要说明的是，本实施例中的列式数据库130可以为ClickHouse数据库。
在本实施例中，异步通信组件110在实时缓存不同业务应用异步上报的应用数据时，还会定期将所缓存的应用数据不断写入到发布订阅消息组件120中，此时该发布订阅消息组件120可以采用队列方式来缓存应用数据，以确保应用数据后续的顺序拉取，同时避免应用数据的存储遗漏，然后通过数据消费进程组140定期从发布订阅消息组件120中并行拉取所缓存的应用数据，并转存至列式数据库130中，以便后续利用列式数据库130具备的高聚合能力对所存储的应用数据进行分析；此时，该应用数据的管理系统10具有相对稳定的应用数据存储方式，即使在高并发的应用数据上报的情况下，仍然能够按照指定节奏来平稳高效的收集应用数据、传输应用数据以及存储应用数据等，通过发布订阅消息组件120对应用数据存储效率进行削峰，避免高并发下批量存储时造成数据库存储瓶颈的问题，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，即可实现高并发的应用数据管理，从而降低了应用数据管理的部署复杂性。
此外，本实施例可以将应用数据的管理系统10中的异步通信组件110、发布订阅消息组件120和列式数据库130进行组件间解耦，同时所构建的异步通信组件110、发布订阅消息组件120和列式数据库130可以采用集群方式部署，支持动态横向扩展，以提高应用数据的管理高效性。
此时，为了确保应用数据上报时的流量分发，本实施例提供的应用数据的管理系统10中还可以包括负载均衡器150，该负载均衡器150用于均衡异步通信组件110上缓存的应用数据。
具体的，各个业务应用在通过相应服务接口异步上报应用数据时，首先会由负载均衡器150分析异步通信组件110所在集群内的每一异步通信组件110上缓存的应用数据的负载压力，然后筛选出负载压力最小的异步通信组件110来缓存本次上报的应用数据，从而保证异步通信组件集群内的负载均衡性。
本实施例提供的技术方案，通过异步通信组件接收不同业务应用异步上报的应用数据，使得业务应用上的实际业务操作与数据上报服务之间解耦，保证业务应用的业务独立性，从而避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题；然后，异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。
实施例二
图2为本发明实施例二提供的一种应用数据的管理系统的结构示意图。本实施例是在上述实施例提供的技术方案的基础上进行优化。参照图2，该应用数据的管理系统20可以包括异步通信组件201、发布订阅消息组件202、列式数据库203、数据消费进程组204和负载均衡器205。
其中，异步通信组件201可以缓存不同业务应用异步上报的应用数据。
具体的，异步通信组件201定期将应用数据写入到发布订阅消息组件202中，数据消费进程组204定期从发布订阅消息组件202中并行拉取应用数据，并转存至列式数据库203中，负载均衡器205用于均衡异步通信组件201上缓存的应用数据。需要说明的是，本实施例中的异步通信组件201、发布订阅消息组件202、列式数据库203、数据消费进程组204和负载均衡器205与上述实施例中的异步通信组件、发布订阅消息组件、列式数据库、数据消费进程组和负载均衡器具备相同的功能。
同时，本实施例中的应用数据的管理系统20中除可以包括异步通信组件201、发布订阅消息组件202、列式数据库203、数据消费进程组204和负载均衡器205之外，还可以包括查询服务进程206、告警守护进程组207、接口临时表208、监控任务队列209和容灾数据库210。
可选的，本实施例提供的应用数据的管理系统20支持用户对所开放的各个服务接口的服务质量查询，在用户前端设置有对应的系统界面，用户可以在系统界面中通过填写服务名、时间、机房和区域等检索条件来选择本次想要查询的目标服务接口以及对应的目标质量查询维度，此时该目标质量查询维度可以为某一个维度，也可以为多个维度，对此不作限定；本实施例中的质量查询维度是指服务接口的运行性能面向的不同指标维度，例如服务接口在预设时段内的成功上报请求量、失败上报请求量、成功请求平均耗时、失败数在Top10的服务接口和上报成功率等；用户在选择好本次想要查询的目标服务接口以及对应的目标质量查询维度后，通过执行对应的查询操作会生成对应的接口质量查询请求，由查询服务进程206接收该接口质量查询请求，此时该接口质量查询请求可以指示查询通过目标服务接口异步上报应用数据时，该目标服务接口在目标质量查询维度下的接口质量。
此时，查询服务进程206根据当前接收的接口质量查询请求，将目标服务接口和目标质量查询维度推送给列式数据库203；列式数据库203按照目标质量查询维度对目标服务接口下的应用数据进行对应的聚合分析，得到目标质量查询维度下的质量查询结果，并推送给查询服务进程206。
具体的，查询服务进程206首先会对当前接收的接口质量查询请求进行解析，确定出本次查询的目标服务接口以及对应的目标质量查询维度，然后将该目标服务接口和目标质量查询维度统一推送给列式数据库203，由列式数据库203从自身缓存的应用数据中查找出通过该目标服务接口上报的应用数据，并判断每一目标质量查询维度所指向的数据操作符，然后利用列式数据库203具备的高聚合计算能力，分别采用每一目标质量查询维度所指向的数据操作符，对所查找出的该目标服务接口所上报的应用数据进行对应的聚合分析计算，从而得到每一目标质量查询维度下的质量查询结果，并将每一目标质量查询维度下的质量查询结果推送给查询服务进程206，后续可以由查询服务进程206将每一目标质量查询维度下的质量查询结果返回给前端的系统界面，并可以由前端采用开源的图表工具echarts来对每一目标质量查询维度下的质量查询结果进行绘图展示，使得用户能够直观地查看目标服务接口在每一目标质量查询维度下的服务质量，保证服务质量的可视化。
此时，由于列式数据库203可能出现重启或者故障等问题，而导致无法通过该列式数据库203来查询服务接口的服务质量，因此本实施例还会通过容灾数据库210实时从异步通信组件201中拉取对应的应用数据进行备份存储，以便在列式数据库203可能出现重启或者故障等问题时，查询服务进程206能够从该容灾数据库210中查找通过目标服务接口上报的各个应用数据，然后按照目标质量查询维度对目标服务接口下的应用数据进行对应的分析，从而得到目标质量查询维度下的质量查询结果。
进一步的，为了准确定位异常的服务接口，本实施例还会通过告警守护进程组207定期对列式数据库203中通过各个服务接口上报的应用数据进行异常监控，并对异常的应用数据进行告警。
具体的，为了保证应用数据异常监控的高效性，本实施例可以通过接口临时表208来动态记录列式数据库203在当前缓存时段内最新缓存的应用数据上报时所采用的服务接口标识，以便告警守护进程组207通过查看接口临时表208中记录的服务接口标识，即可对最新缓存的服务接口所上报的应用数据进行异常监控，避免对列式数据库203中的所有应用数据进行异常监控，从而提高异常监控的高效性。
示例性的，在本实施例中通过数据消费进程组204在将发布订阅消息组件202中的应用数据转存至列式数据库203时，还会同步将该应用数据上报时所采用的服务接口标识记录到接口临时表208中；然后，告警守护进程组207定期将接口临时表208中的服务接口标识转存至监控任务队列209中，并基于监控任务队列209依次对列式数据库203中通过各个服务接口上报的应用数据进行异常监控。此时，监控任务队列209中所记录的服务接口标识为均为需要对其下的应用数据进行异常监控的服务接口，接口临时表208和监控任务队列209之间的配合能够保证对列式数据库203中所缓存的应用数据进行异常监控的全面性，避免异常监控的遗漏。
需要说明的是，为了保证应用数据异常监控的高效性，本实施例中的告警守护进程组207可以采用多进程+协程池的方式，也就是告警守护进程组207中的每一告警守护进程均采用协程池，同时可以按照接口临时表208中的服务接口数量，也就是所记录的服务接口标识的数量，动态设置告警守护进程组207内的进程运行数量，以及每一运行的告警守护进程内的协程数量，以便采用每一运行的告警守护进程内的各个协程按照监控任务队列209中的对应服务接口，并行对列式数据库203中各服务接口下的应用数据进行异常监控，可以在分秒级内感知到存在异常的应用数据，从而极大提高了各个服务接口下应用数据的异常监控效率，确保各个服务接口能够实现快速的异常检查；后续在检测出某一应用数据与预先设定的告警规则不匹配时，会生成该应用数据的告警信息推送给对应的管理人员，该告警信息中会包含该应用数据上报时所采用的服务接口标识，以便管理人员能够及时发现异常并进行修复。
本实施例提供的技术方案，异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力；同时，通过查询服务进程确定当前需要查询的目标服务接口和目标质量查询维度，并由列式数据库按照目标质量查询维度对目标服务接口下的应用数据进行对应的聚合分析，得到目标质量查询维度下的质量查询结果，从而提高各个服务接口的服务质量查询效率，并通过告警守护进程组定期对列式数据库中通过各个服务接口上报的应用数据进行异常监控，提高异常监控的高效性。
实施例三
图3为本发明实施例三提供的一种应用数据的处理方法的流程图，本实施例可适用于对任一种业务应用下上报的应用数据进行管理的情况中。本实施例提供的一种应用数据的处理方法可以由本发明实施例提供的应用数据的处理装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的服务器中，该服务器可以是本发明任意实施例提供的应用数据的管理系统对应的后台服务端。
具体的，参考图3，该方法可以包括如下步骤：
S310，通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中。
具体的，各个业务应用会通过对外开放的服务接口，对相应应用数据进行异步上报，然后通过异步通信组件来接收通过对应服务接口异步上报的应用数据，并采用与业务应用协商一致的UDP协议来解析数据报文，得到实际的应用数据进而缓存到异步通信组件内。此时，业务应用在异步上报应用数据时，仍然可以正常执行后续的业务操作，从而保证业务应用的业务独立性，避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题，在高并发的服务接口调用下，仍能够保持稳定的数据上报效率，而不影响业务执行性能。
同时，由于在应用数据上报过程中，服务端不可避免会存在重启或者宕机的情况，此时为了避免应用数据上报后的存储遗漏，本实施例会通过异步通信组件定期将本身缓存的应用数据写入到发布订阅消息组件中，此时即使服务端出现重启或者宕机的情况，发布订阅消息组件中存储的应用数据也不会丢失，从而避免应用数据上报后的存储遗漏。
示例性的，本实施例可以通过异步通信组件不同业务应用异步上报的应用数据进行合法性验证，并定期将通过合法性验证的应用数据写入到发布订阅消息组件中。
具体的，由于对外开放的服务接口支持任一业务应用进行数据上报，此时会存在一些无用数据或者伪装数据的上报，因此通过异步通信组件接收到通过相应服务接口上报的各个应用数据后，首先会按照UDP协议的报文标准对于该应用数据进行合法性验证，只有通过合法性验证的应用数据才会缓存到异步通信组件中，然后定期将通过合法性验证的应用数据写入到发布订阅消息组件中，从而排除未通过合法性验证的应用数据的后续存储，保证应用数据存储后的真实性和可用性。
S320，通过数据消费进程组定期从发布订阅消息组件中并行拉取应用数据，并转存至列式数据库中。
具体的，由于在对应用数据进行存储后，还会通过对应用数据进行额外的分析，来确定相应的服务质量，因此本实施例还会通过数据消费进程组定期从发布订阅消息组件中并行拉取所缓存的应用数据，进而转存至列式数据库中，此时数据消费进程组中会存在多个数据消费进程，从而提高应用数据的拉取效率，而且列式数据库作为以列相关存储架构进行数据存储的数据库，能够适用于批量的数据处理和即时查询，具备高聚合的计算能力，后续可以利用列式数据库具备的高聚合能力对所存储的应用数据进行分析；此时，本实施例中具有相对稳定的应用数据存储方式，即使在高并发的应用数据上报的情况下，仍然能够按照指定节奏来平稳高效的收集应用数据、传输应用数据以及存储应用数据等，通过发布订阅消息组件对应用数据存储效率进行削峰，避免高并发下批量存储时造成数据库存储瓶颈的问题，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，即可实现高并发的应用数据管理，从而降低了应用数据管理的部署复杂性。
需要说明的是，本实施例提供的应用数据的处理方法可以应用于本发明任意实施例所提供的应用数据的管理系统中，具备相同的功能和有益效果。
本实施例提供的技术方案，通过异步通信组件接收不同业务应用异步上报的应用数据，使得业务应用上的实际业务操作与数据上报服务之间解耦，保证业务应用的业务独立性，从而避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题；然后，通过异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。
实施例四
图4为本发明实施例四提供的一种应用数据的处理方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，如图4所示，本实施例主要对于各个服务接口的服务质量的具体查询过程以及列式数据库中应用数据的异常监控过程进行详细的解释说明。
可选的，如图4所示，本实施例中可以包括如下步骤：
S410，通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中。
S420，通过数据消费进程组定期从发布订阅消息组件中并行拉取应用数据，并转存至列式数据库中。
S430，通过数据消费进程组将转存至列式数据库中的应用数据上报时所采用的服务接口标识记录到接口临时表中。
可选的，为了准确定位异常的服务接口，本实施例会通过告警守护进程组定期对列式数据库中通过各个服务接口上报的应用数据进行异常监控，并对异常的应用数据进行告警。此时，为了保证应用数据异常监控的高效性，本实施例可以通过接口临时表来动态记录列式数据库在当前缓存时段内最新缓存的应用数据上报时所采用的服务接口标识，以便告警守护进程组通过查看接口临时表中记录的服务接口标识，即可对最新缓存的服务接口所上报的应用数据进行异常监控，避免对列式数据库中的所有应用数据进行异常监控，因此本实施例在通过数据消费进程将发布订阅消息组件中的应用数据转存至列式数据库时，还会同步将该应用数据上报时所采用的服务接口标识记录到接口临时表中，以便及时后续参考该接口临时表中记录的服务接口标识来选择性的对部分最新缓存的应用数据进行异常监控。
S440，通过告警守护进程组定期将接口临时表中的服务接口标识转存至监控任务队列中，并基于监控任务队列依次对列式数据库中通过各个服务接口上报的应用数据进行异常监控。
可选的，为了保证顺序对各个服务接口下的应用数据进行异常监控，避免某一服务接口下应用数据的异常监控遗漏，本实施例还会通过告警守护进程组定期将接口临时表中的服务接口标识转存至监控任务队列中，然后按照该监控任务队列中的服务接口顺序依次对列式数据库中通过各个服务接口上报的应用数据进行异常监控，此时，监控任务队列中所记录的服务接口标识为均为需要对其下的应用数据进行异常监控的服务接口，通过接口临时表和监控任务队列之间的配合能够保证对列式数据库中所缓存的应用数据进行异常监控的全面性，避免异常监控的遗漏。
此外，为了确保异常监控的高效性，本实施例在基于监控任务队列依次对列式数据库中通过各个服务接口上报的应用数据进行异常监控之前，还会根据接口临时表中的服务接口数量，动态设置告警守护进程组内的进程运行数量以及每一运行的告警守护进程内的协程数量，从而采用多进程+协程池的方式基于监控任务队列依次对列式数据库中通过各个服务接口上报的应用数据进行并行异常监控，可以在分秒级内感知到存在异常的应用数据，从而极大提高了各个服务接口下应用数据的异常监控效率，确保各个服务接口能够实现快速的异常检查；后续在检测出某一应用数据与预先设定的告警规则不匹配时，会生成该应用数据的告警信息推送给对应的管理人员，该告警信息中会包含该应用数据上报时所采用的服务接口标识，以便管理人员能够及时发现异常并进行修复。
S450，通过查询服务进程接收接口质量查询请求，该接口质量查询请求用于指示查询通过目标服务接口异步上报应用数据时，目标服务接口在目标质量查询维度下的接口质量。
可选的，本实施例支持用户对所开放的各个服务接口的服务质量查询，在用户前端设置有对应的系统界面，用户可以在系统界面中通过填写服务名、时间、机房和区域等检索条件来选择本次想要查询的目标服务接口以及对应的目标质量查询维度，此时该目标质量查询维度可以为某一个维度，也可以为多个维度，对此不作限定；本实施例中的质量查询维度可以为服务接口在预设时段内的成功上报请求量、失败上报请求量、成功请求平均耗时、失败数在Top10的服务接口和上报成功率等；用户在选择好本次想要查询的目标服务接口以及对应的目标质量查询维度后，通过执行对应的查询操作会生成对应的接口质量查询请求，通过查询服务进程可以接收该接口质量查询请求，对当前接收的接口质量查询请求进行解析，确定出本次查询的目标服务接口以及对应的目标质量查询维度，然后将该目标服务接口和目标质量查询维度统一推送给列式数据库，以便后续由列式数据库从自身缓存的应用数据中查找出通过该目标服务接口上报的应用数据进行对应的聚合分析。
S460，通过列式数据库按照目标质量查询维度对目标服务接口下的应用数据进行对应的聚合分析，得到目标质量查询维度下的质量查询结果。
可选的，通过列式数据库接收到本次查询的目标服务接口以及对应的目标质量查询维度后，通过列式数据库可以从自身缓存的应用数据中查找出通过该目标服务接口上报的应用数据，并判断每一目标质量查询维度所指向的数据操作符，然后利用列式数据库具备的高聚合计算能力，分别采用每一目标质量查询维度所指向的数据操作符，对所查找出的该目标服务接口所上报的应用数据进行对应的聚合分析计算，从而得到每一目标质量查询维度下的质量查询结果，并将每一目标质量查询维度下的质量查询结果推送给查询服务进程，后续可以由查询服务进程将每一目标质量查询维度下的质量查询结果返回给前端的系统界面，并可以由前端采用开源的图表工具echarts来对每一目标质量查询维度下的质量查询结果进行绘图展示，使得用户能够直观地查看目标服务接口在每一目标质量查询维度下的服务质量，保证服务质量的可视化。
此外，由于列式数据库可能出现重启或者故障等问题，而导致无法通过该列式数据库来查询服务接口的服务质量，因此在列式数据库出现故障时，可以通过查询服务进程从容灾数据库中拉取目标服务接口下的应用数据，并按照目标质量查询维度对该应用数据进行对应的分析，得到目标质量查询维度下的质量查询结果，该容灾数据库对异步通信组件中的应用数据进行备份存储。
本实施例提供的技术方案，通过异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力；同时，通过查询服务进程确定当前需要查询的目标服务接口和目标质量查询维度，并由列式数据库按照目标质量查询维度对目标服务接口下的应用数据进行对应的聚合分析，得到目标质量查询维度下的质量查询结果，从而提高各个服务接口的服务质量查询效率，并通过告警守护进程组定期对列式数据库中通过各个服务接口上报的应用数据进行异常监控，提高异常监控的高效性。
实施例五
图5为本发明实施例五提供的一种应用数据的处理装置的结构示意图，可以配置于本发明任意实施例提供的应用数据的管理系统中。具体的，如图5所示，该装置可以包括：
应用数据写入模块510，用于通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
应用数据转存模块520，用于通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
本实施例提供的技术方案，通过异步通信组件接收不同业务应用异步上报的应用数据，使得业务应用上的实际业务操作与数据上报服务之间解耦，保证业务应用的业务独立性，从而避免由于上报服务响应不及时而影响到业务应用上业务正常执行的问题；然后，异步通信组件定期会将本身缓存的应用数据写入到发布订阅消息组件中，同时由数据消费进程组定期从发布订阅消息组件中并行拉取该应用数据，并转存至列式数据库中，从而实现应用数据的平稳存储，在高并发的应用数据上报下，仍然能够按照指定节奏来存储应用数据，通过对应用数据存储效率进行削峰，提高应用数据处理的高效性和平稳性，极大降低列式数据库的负载压力，同时无需在服务集群内部署过多机器，从而降低了应用数据管理的部署复杂性。
本实施例提供的应用数据的处理装置可适用于上述任意实施例提供的应用数据的处理方法，具备相应的功能和有益效果。
实施例六
图6为本发明实施例六提供的一种服务器的结构示意图，如图6所示，该服务器包括处理器60、存储装置61和通信装置62；服务器中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；服务器中的处理器60、存储装置61和通信装置62可以通过总线或其他方式连接，图6中以通过总线连接为例。
本实施例提供的一种服务器可用于执行上述任意实施例提供的应用数据的处理方法，具备相应的功能和有益效果。
实施例七
本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的应用数据的处理方法。该方法具体可以包括如下步骤：
通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的应用数据的处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述应用数据的处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种应用数据的管理系统，其特征在于，包括：异步通信组件、发布订阅消息组件、列式数据库和数据消费进程组，所述异步通信组件缓存不同业务应用异步上报的应用数据；其中，
所述异步通信组件定期将所述应用数据写入到所述发布订阅消息组件中，所述数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中；
所述管理系统，还包括：查询服务进程；
所述查询服务进程根据当前接收的接口质量查询请求，将目标服务接口和目标质量查询维度推送给所述列式数据库，所述接口质量查询请求用于指示查询通过所述目标服务接口异步上报应用数据时，所述目标服务接口在目标质量查询维度下的接口质量；
所述列式数据库按照所述目标质量查询维度对所述目标服务接口下的应用数据进行对应的聚合分析，得到所述目标质量查询维度下的质量查询结果，并推送给所述查询服务进程。
2.根据权利要求1所述的管理系统，其特征在于，所述异步通信组件包括异步缓冲区和定时进程，所述异步缓冲区缓存不同业务应用异步上报的应用数据，所述定时进程定期将所述异步缓冲区中的应用数据写入到所述发布订阅消息组件中。
3.根据权利要求1所述的管理系统，其特征在于，所述异步通信组件上缓存的应用数据为通过合法性验证的应用数据。
4.根据权利要求1所述的管理系统，其特征在于，所述异步通信组件、所述发布订阅消息组件和所述列式数据库采用集群方式部署。
5.根据权利要求4所述的管理系统，其特征在于，还包括：负载均衡器，所述负载均衡器用于均衡所述异步通信组件上缓存的应用数据。
6.根据权利要求1所述的管理系统，其特征在于，还包括：告警守护进程组，所述告警守护进程组定期对所述列式数据库中通过各个服务接口上报的应用数据进行异常监控，并对异常的应用数据进行告警。
7.根据权利要求6所述的管理系统，其特征在于，还包括：接口临时表和监控任务队列；
所述数据消费进程组在将所述发布订阅消息组件中的应用数据转存至所述列式数据库时，同步将该应用数据上报时所采用的服务接口标识记录到所述接口临时表中；
所述告警守护进程组定期将所述接口临时表中的服务接口标识转存至所述监控任务队列中，并基于所述监控任务队列依次对所述列式数据库中通过各个服务接口上报的应用数据进行异常监控。
8.根据权利要求7所述的管理系统，其特征在于，所述告警守护进程组中的每一告警守护进程均采用协程池，所述告警守护进程组根据所述接口临时表中的服务接口数量，动态设置所述告警守护进程组内的进程运行数量以及每一运行的告警守护进程内的协程数量。
9.根据权利要求1-8任一项所述的管理系统，其特征在于，还包括：容灾数据库，所述容灾数据库实时从所述异步通信组件中拉取对应的应用数据进行备份存储。
10.一种应用数据的处理方法，其特征在于，应用于权利要求1-9任一项所述的应用数据的管理系统中，包括：
通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
11.根据权利要求10所述的方法，其特征在于，所述通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中，包括：
通过所述异步通信组件不同业务应用异步上报的应用数据进行合法性验证，并定期将通过合法性验证的应用数据写入到发布订阅消息组件中。
12.根据权利要求10所述的方法，其特征在于，还包括：
通过查询服务进程接收接口质量查询请求，所述接口质量查询请求用于指示查询通过所述目标服务接口异步上报应用数据时，所述目标服务接口在目标质量查询维度下的接口质量；
通过所述列式数据库按照所述目标质量查询维度对所述目标服务接口下的应用数据进行对应的聚合分析，得到所述目标质量查询维度下的质量查询结果。
13.根据权利要求12所述的方法，其特征在于，还包括：
在所述列式数据库出现故障时，通过所述查询服务进程从容灾数据库中拉取所述目标服务接口下的应用数据，并按照所述目标质量查询维度对该应用数据进行对应的分析，得到所述目标质量查询维度下的质量查询结果，所述容灾数据库对所述异步通信组件中的应用数据进行备份存储。
14.根据权利要求10所述的方法，其特征在于，在通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中之时，还包括：
通过所述数据消费进程组将转存至所述列式数据库中的应用数据上报时所采用的服务接口标识记录到接口临时表中；
通过告警守护进程组定期将所述接口临时表中的服务接口标识转存至监控任务队列中，并基于所述监控任务队列依次对所述列式数据库中通过各个服务接口上报的应用数据进行异常监控。
15.根据权利要求14所述的方法，其特征在于，在基于所述监控任务队列依次对所述列式数据库中通过各个服务接口上报的应用数据进行异常监控之前，还包括：
根据所述接口临时表中的服务接口数量，动态设置所述告警守护进程组内的进程运行数量以及每一运行的告警守护进程内的协程数量。
16.一种应用数据的处理装置，其特征在于，配置于权利要求1-9任一项所述的应用数据的管理系统中，包括：
应用数据写入模块，用于通过异步通信组件定期将不同业务应用异步上报的应用数据写入到发布订阅消息组件中；
应用数据转存模块，用于通过数据消费进程组定期从所述发布订阅消息组件中并行拉取所述应用数据，并转存至所述列式数据库中。
17.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求10-15中任一所述的应用数据的处理方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求10-15中任一所述的应用数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165367.0A CN112506915B (zh) | 2020-10-27 | 2020-10-27 | 一种应用数据的管理系统以及处理方法、装置和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011165367.0A CN112506915B (zh) | 2020-10-27 | 2020-10-27 | 一种应用数据的管理系统以及处理方法、装置和服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112506915A CN112506915A (zh) | 2021-03-16 |
| CN112506915B true CN112506915B (zh) | 2024-05-10 |
Family
ID=74955997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011165367.0A Active CN112506915B (zh) | 2020-10-27 | 2020-10-27 | 一种应用数据的管理系统以及处理方法、装置和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112506915B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010189B (zh) * | 2021-03-17 | 2023-07-25 | 恒安嘉新（北京）科技股份公司 | 一种数据库安装方法、装置、设备及存储介质 |
| CN113239000A (zh) * | 2021-05-13 | 2021-08-10 | 百果园技术(新加坡)有限公司 | 一种业务日志的管理系统以及处理方法、装置和服务器 |
| CN113641139B (zh) * | 2021-08-05 | 2022-11-25 | 珠海格力电器股份有限公司 | 可实现异步编程的系统、控制器、控制系统、存储介质 |
| CN114338339B (zh) * | 2021-11-24 | 2023-05-26 | 华电电力科学研究院有限公司 | 数字电厂集成系统和集成方法 |
| CN114296910B (zh) * | 2021-12-02 | 2022-11-22 | 武汉物易云通网络科技有限公司 | 一种多分区队列顺序消费方法和装置 |
| CN117221331B (zh) * | 2023-11-08 | 2024-01-19 | 成都新希望金融信息有限公司 | 一种多通道分组并发配置方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅系统及其工作方法 |
| CN105069149A (zh) * | 2015-08-24 | 2015-11-18 | 电子科技大学 | 一种面向结构化列式数据的分布式并行数据导入方法 |
| CN106326429A (zh) * | 2016-08-25 | 2017-01-11 | 武汉光谷信息技术股份有限公司 | 一种基于solr的Hbase秒级查询方案 |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
| CN107070890A (zh) * | 2017-03-10 | 2017-08-18 | 北京市天元网络技术股份有限公司 | 一种通信网优系统中的流数据处理装置及通信网优系统 |
| CN108196961A (zh) * | 2017-12-28 | 2018-06-22 | 广东蜂助手网络技术股份有限公司 | 一种异步消息处理方法、终端、系统及存储介质 |
| CN109165192A (zh) * | 2018-06-27 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法及装置、一种计算设备及存储介质 |
| CN109618331A (zh) * | 2019-02-01 | 2019-04-12 | 深圳乐信软件技术有限公司 | 数据上报方法、装置、设备及存储介质 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN110365752A (zh) * | 2019-06-27 | 2019-10-22 | 北京大米科技有限公司 | 业务数据的处理方法、装置、电子设备和存储介质 |
| CN110601901A (zh) * | 2019-09-24 | 2019-12-20 | 贵州电网有限责任公司 | 一种智能变电站配置文件远程管控方法 |
| CN110633320A (zh) * | 2018-05-30 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 分布式数据服务的处理方法、系统、设备及存储介质 |
| CN111026918A (zh) * | 2019-11-12 | 2020-04-17 | 上海麦克风文化传媒有限公司 | 一种温数据大规模分析架构 |
| CN111131501A (zh) * | 2019-12-31 | 2020-05-08 | 郑州信大捷安信息技术股份有限公司 | 一种基于mqtt协议的消息推送系统及方法 |
| CN111352803A (zh) * | 2020-03-09 | 2020-06-30 | 广州市百果园信息技术有限公司 | 业务数据处理方法、装置、设备和存储介质 |
| CN111475759A (zh) * | 2020-04-08 | 2020-07-31 | 广州市百果园信息技术有限公司 | 一种消息推送平台、方法、装置、服务器和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7127463B2 (en) * | 2002-04-18 | 2006-10-24 | International Business Machines Corporation | Optimization of database network traffic based upon data-use analysis |
| US8195761B2 (en) * | 2004-01-13 | 2012-06-05 | International Business Machines Corporation | Prefetching web resources based on proxy triggers |
-
2020
- 2020-10-27 CN CN202011165367.0A patent/CN112506915B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104092767A (zh) * | 2014-07-21 | 2014-10-08 | 北京邮电大学 | 一种增加消息队列模型的发布/订阅系统及其工作方法 |
| CN105069149A (zh) * | 2015-08-24 | 2015-11-18 | 电子科技大学 | 一种面向结构化列式数据的分布式并行数据导入方法 |
| CN106326429A (zh) * | 2016-08-25 | 2017-01-11 | 武汉光谷信息技术股份有限公司 | 一种基于solr的Hbase秒级查询方案 |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
| CN107070890A (zh) * | 2017-03-10 | 2017-08-18 | 北京市天元网络技术股份有限公司 | 一种通信网优系统中的流数据处理装置及通信网优系统 |
| CN108196961A (zh) * | 2017-12-28 | 2018-06-22 | 广东蜂助手网络技术股份有限公司 | 一种异步消息处理方法、终端、系统及存储介质 |
| CN110633320A (zh) * | 2018-05-30 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 分布式数据服务的处理方法、系统、设备及存储介质 |
| CN109165192A (zh) * | 2018-06-27 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法及装置、一种计算设备及存储介质 |
| CN109618331A (zh) * | 2019-02-01 | 2019-04-12 | 深圳乐信软件技术有限公司 | 数据上报方法、装置、设备及存储介质 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
| CN110365752A (zh) * | 2019-06-27 | 2019-10-22 | 北京大米科技有限公司 | 业务数据的处理方法、装置、电子设备和存储介质 |
| CN110601901A (zh) * | 2019-09-24 | 2019-12-20 | 贵州电网有限责任公司 | 一种智能变电站配置文件远程管控方法 |
| CN111026918A (zh) * | 2019-11-12 | 2020-04-17 | 上海麦克风文化传媒有限公司 | 一种温数据大规模分析架构 |
| CN111131501A (zh) * | 2019-12-31 | 2020-05-08 | 郑州信大捷安信息技术股份有限公司 | 一种基于mqtt协议的消息推送系统及方法 |
| CN111352803A (zh) * | 2020-03-09 | 2020-06-30 | 广州市百果园信息技术有限公司 | 业务数据处理方法、装置、设备和存储介质 |
| CN111475759A (zh) * | 2020-04-08 | 2020-07-31 | 广州市百果园信息技术有限公司 | 一种消息推送平台、方法、装置、服务器和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| NoSQL数据库的应用及选型研究;蒋付彬等;《信息与电脑(理论版) 》;20160208;第141-142页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112506915A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112506915B (zh) | 一种应用数据的管理系统以及处理方法、装置和服务器 | |
| US10348809B2 (en) | Naming of distributed business transactions | |
| US20070203973A1 (en) | Fuzzing Requests And Responses Using A Proxy | |
| CN110895488B (zh) | 任务调度方法及装置 | |
| EP3591485B1 (en) | Method and device for monitoring for equipment failure | |
| US10528456B2 (en) | Determining idle testing periods | |
| CN110895487B (zh) | 分布式任务调度系统 | |
| EP2424190B1 (en) | Monitoring connections | |
| US10733084B2 (en) | Early test breakage detection using presubmit runs | |
| CN110895486A (zh) | 分布式任务调度系统 | |
| CN116560893B (zh) | 一种计算机应用程序运行数据故障处理系统 | |
| US10572458B2 (en) | Method and apparatus of collecting and reporting database application incompatibilities | |
| CN110011845B (zh) | 日志采集方法及系统 | |
| JP5684640B2 (ja) | 仮想環境管理システム | |
| JP2009087136A (ja) | 障害修復システムおよび障害修復方法 | |
| CN116737514B (zh) | 一种基于日志与探针解析自动化运维方法 | |
| CN116431872B (zh) | 可观测系统及基于可观测系统的服务观测方法 | |
| CN114205231B (zh) | 批量启动hadoop集群的方法、系统及可读存储介质 | |
| Carlyle et al. | Practical support solutions for a workflow-oriented Cray environment | |
| CN116541354A (zh) | 日志检索方法、装置、计算机设备及存储介质 | |
| CN114626839A (zh) | 支付通道的监测方法、系统、电子设备及存储介质 | |
| CN115292100A (zh) | 数据库故障处理方法、装置、电子设备及存储介质 | |
| CN115543732A (zh) | 运行状态的监测方法、装置、设备及存储介质 | |
| JP2019139506A (ja) | 情報処理プログラム、情報処理方法及び情報処理装置 | |
| JPH076057A (ja) | 障害検知機構 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |