CN112202607A - 日志消息的统计计算方法、服务器及存储介质 - Google Patents

日志消息的统计计算方法、服务器及存储介质 Download PDF

Info

Publication number
CN112202607A
CN112202607A CN202011041495.4A CN202011041495A CN112202607A CN 112202607 A CN112202607 A CN 112202607A CN 202011041495 A CN202011041495 A CN 202011041495A CN 112202607 A CN112202607 A CN 112202607A
Authority
CN
China
Prior art keywords
log
log messages
time
delay time
statistical calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011041495.4A
Other languages
English (en)
Other versions
CN112202607B (zh
Inventor
刘少华
郑波
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011041495.4A priority Critical patent/CN112202607B/zh
Publication of CN112202607A publication Critical patent/CN112202607A/zh
Application granted granted Critical
Publication of CN112202607B publication Critical patent/CN112202607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例涉及大数据技术领域，公开了一种日志消息的统计计算方法、服务器及存储介质。本发明中根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间；其中，传输效率高时设置的延迟时间小于传输效率低时设置的延迟时间；根据延迟时间确定属于滚动窗口的统计范围内的日志消息；对统计范围内的日志消息进行统计计算。保证flink组件响应速度的同时，提高统计结果的准确性。

Description

日志消息的统计计算方法、服务器及存储介质
技术领域
本发明实施例涉及大数据技术领域，特别涉及一种日志消息的统计计算方法、服务器及存储介质。
背景技术
随着5G时代的发展，平台功能越来越丰富，各个功能的调用量也越来越多，高峰时期每天会有数以亿计的调用量，产生的日志消息同样超过数十亿条，日志消息的产量十分庞大且随业务的增加呈增长趋势，为保证功能调用的正常服务，需要对各条日志消息进行分析统计，以便业务拓展以及精准营销。为了对庞大的数据进行分析统计，通常利用Hadoop分布式计算平台进行统计计算，Hadoop分布式计算平台对海量数据的处理能力较强，可以准确对大量日志消息进行统计。
发明人发现相关技术中至少存在如下问题：Hadoop分布式计算平台对日志消息采用的是离线批处理，集中对日志消息进行采集，并在采集之后集中进行统计分析，响应速度较慢因此实时性较差，无法应用于对时延容忍度比较高的场景。
发明内容
本发明实施例的目的在于提供一种日志消息的统计计算方法、服务器及存储介质，保证flink组件响应速度的同时，提高统计结果的准确性。
为解决上述技术问题，本发明的实施例提供了一种日志消息的统计计算方法，包括：根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间；其中，传输效率高时设置的延迟时间小于传输效率低时设置的延迟时间；根据延迟时间确定属于滚动窗口的统计范围内的日志消息；对统计范围内的日志消息进行统计计算。
本发明的实施例还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述日志消息的统计计算方法。
本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述日志消息的统计计算方法。
本发明实施例相对于相关技术而言，根据日志消息的传输效率动态设置flink组件中的滚动窗口的延迟时间，并根据延迟时间确定滚动窗口的统计范围内的日志消息。由于滚动窗口的延迟时间的大小影响滚动窗口开始统计计算的时间，在日志消息传输效率高时设置较小的延迟时间可以保证flink组件可以快速响应，提高统计计算效率；而在日志消息传输效率低时设置较大的延迟时间可以避免日志消息被丢弃，保证进入flink组件的日志消息均被统计，提高统计结果的准确性。
另外，根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间，包括：根据日志消息的到达时间和事件时间动态设置flink组件中滚动窗口的延迟时间；其中，到达时间为日志消息被flink组件接收的时间，事件时间为日志消息产生的时间。根据日志消息的到达时间和事件时间设置延迟时间使延迟时间的设置更加符合日志消息的传输情况，设置的延迟时间更加准确。
另外，根据日志消息的到达时间和事件时间动态设置flink组件中滚动窗口的延迟时间，包括：连续获取若干个日志消息的到达时间和事件时间；根据到达时间和事件时间计算若干个日志消息的传输时长；计算若干个日志消息的传输时长的平均值；根据传输时长的平均值设置延迟时间。
另外，延迟时间以预设周期进行动态设置。周期性改变延迟时间可以使随当前日志消息的传输情况更改延迟时间。
另外，在根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间之前，还包括：接收由kafka组件发送的日志消息。从而使日志消息的传输更加稳定。
另外，接收由kafka组件发送的日志消息，包括：判断是否为首次接收由kafka组件发送的日志消息；若是，则接收发送的日志消息。从而避免重复接收日志消息，避免重复统计导致结果不准确。
另外，若flink组件发生故障，则根据预存的快照数据对flink组件进行恢复处理；其中，快照数据根据flink组件的检查点机制生成并存储，从而增强容错性。
另外，在对统计范围内的日志消息进行统计计算之前，还包括：确定日志消息中包含的功能id；对统计范围内的日志消息进行统计计算，包括：统计该统计范围内的日志消息包含的功能id以及各个功能id的数量。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施例中的日志消息的统计计算方法的流程图；
图2是根据本发明第二实施例中的日志消息的统计计算方法的流程图；
图3是根据本发明第二实施例中的日志消息的传输及处理过程示意图；
图4是根据本发明第三实施例中的服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施例涉及一种日志消息的统计计算方法，包括：根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间；其中，传输效率高时设置的延迟时间小于传输效率低时设置的延迟时间；根据延迟时间确定属于滚动窗口的统计范围内的日志消息；对统计范围内的日志消息进行统计计算。从而在保证flink组件响应速度的同时，提高统计结果的准确性。下面对本实施方式的日志消息的统计计算方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本实施例涉及的日志消息的统计计算方法如图1所示，包括：
步骤101，根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间。
具体地说，由于产生的日志消息的数量在不同时间段具有明显的差异，在高峰期消息产生的并发量较高，日志消息传输就会具有一定的时延，因此滚动窗口的延迟时间需要设置为较大的延迟时间，从而保证大部分的日志消息均能进入滚动窗口的统计范围，而在消息产生的并发量较低时，大部分日志消息均可以在较短的时间内达到flink组件，因此，滚动窗口的延迟时间应设置为较小的延迟时间，提高flink组件的响应速度。
在判断日志消息传输是否具有时延时，可以根据日志消息的到达时间和事件时间来计算日志消息的传输时长，其中到达时间为日志消息被flink组件接收的时间，事件时间为日志消息产生的时间。最后将日志消息的时延设置为滚动窗口的延迟时间。在动态设置滚动窗口的延迟时间时，可以利用连续若干个日志消息的传输时长计算若干个日志消息的传输时长的平均值，并将平均值设置为滚动窗口的延迟时间，如可以取最近的十次日志消息计算得到的平均传输时长作为延迟时间。利用多个传输时长设置延迟时间，避免偶然事件影响延迟时间设置的准确性。另外，延迟时间可以按预设周期进行更新，如每隔五分钟更新一次延迟时间。
步骤102，根据延迟时间确定属于滚动窗口的统计范围内的日志消息。
具体地说，在确定日志消息是否属于滚动窗口的统计范围时，可以根据日志消息携带的事件时间进行判断。举例来说，假设定义0-5秒产生的日志消息落入第一个滚动窗口，5-10秒产生的日志消息落入第二个滚动窗口，延迟时间设置为2秒，当flink组件接收到的日志消息1中携带的事件时间为4秒时，该日志消息1属于第一个滚动窗口的统计范围，当flink组件接收到的日志消息2中携带的事件时间为6秒时，事件时间小于第一个滚动窗口的结束时间与延迟时间之和，即6秒小于5+2秒，因此，该日志消息2属于第一个滚动窗口的统计范围，当flink组件接收到的日志消息3中携带的事件时间为7.2秒时，事件时间大于第一个滚动窗口的结束时间与延迟时间之和，即7.2秒大于5+2秒，因此，该日志消息3触发第一滚动窗口的结束，在日志消息3之后接收到的日志消息均不属于第一个滚动窗口的统计范围，且在日志消息3之前接收到的日志消息均属于第一个滚动窗口的统计范围。
步骤103，对统计范围内的日志消息进行统计计算。
具体地说，利用聚合函数对日志消息进行统计，对统计范围内的日志消息包含的功能id以及各个功能id的数量进行统计。例如，日志消息中功能包括，通话功能，短信功能，网络功能等，每个功能对应特定的功能id，统计日志消息中的功能id的数量可以实时分析每一功能用户的使用情况。
将分析结果发送至Redis组件，以供前端UI查询该分析结果。
本发明实施例相对于相关技术而言，根据日志消息的传输效率动态设置flink组件中的滚动窗口的延迟时间，并根据延迟时间确定滚动窗口的统计范围内的日志消息。由于滚动窗口的延迟时间的大小影响滚动窗口开始统计计算的时间，在日志消息传输效率高时设置较小的延迟时间可以保证flink组件可以快速响应，提高统计计算效率；而在日志消息传输效率低时设置较大的延迟时间可以避免日志消息被丢弃，保证进入flink组件的日志消息均被统计，提高统计结果的准确性。
本发明的第二实施例涉及一种日志消息的统计计算方法。在本发明第二实施例中，在根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间之前，接收由kafka组件发送的日志消息，从而使日志消息的传输更加稳定。
本实施例涉及的日志消息的统计计算方法如图2所示，包括：
步骤201，接收由kafka组件发送的日志消息。
具体地说，日志消息的传输过程如图3所示，通过每台能力中台web服务器中部署的日志收集系统(flume agent)收集服务器产生的日志消息，每个日志消息中包含用户id，功能id，事件时间，时间类型等信息，每个日志收集系统(flume agent)收集的日志消息汇总发送至Flume Consolidation Agent。Flume Consolidation Agent将各个flume agent发送的日志消息汇总发送给kafka组件。Kafka组件创建一个标题(topic)，用来接收并保存Flume Consolidation Agent采集的日志消息，从而使日志消息的传输更加稳定。Kafka中的日志消息可以稳定的传输至flink组件，以供flink组件根据日志消息进行统计分析。
另外，在接收由kafka组件发送的日志消息时，还需要判断日志消息是否为首次接收，若为首次接收则接收该日志消息，若非首次接收则丢弃该日志消息。避免重复接受日志消息，避免重复统计导致结果不准确。
另外，在接收日志消息时，Flink提供了特殊的Kafka Connectors来从Kafkatopic中读取数据或者将数据写入到Kafka topic中，从而保证flink可以正常读取kafkatopic中的日志消息。
另外，Flink的Kafka Consumer与Flink的检查点机制相结合，提供exactly-once处理语义。为了实现exactly-once处理语义，flink组件可以访问kafka topic，进行内部跟踪和查看，避免出现消息传输故障，flink访问kafka可以通过kafka consumerFlinkKafkaConsumer0x方法进行访问，其中x代表kafka的版本号，表示可以访问版本号为x的kafka组件中的一个或多个kafka topic。
步骤202，根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间。
步骤203，根据延迟时间确定属于滚动窗口的统计范围内的日志消息。
步骤204，对统计范围内的日志消息进行统计计算。
步骤202-204与第一实施例中步骤101-103一一对应，为避免重复在此不再赘述。
在本实施例中，接收由kafka组件发送的日志消息，从而使日志消息的传输更加稳定。另外，在接收日志消息时判断该日志消息是否为首次接收，避免重复接收相同的日志消息导致统计结果不准确。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施例涉及一种服务器，如图4所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的任一方法实施例中的日志消息的统计计算方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时、外围接口、电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明第四实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种日志消息的统计计算方法，其特征在于，包括：
根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间；其中，所述传输效率高时设置的所述延迟时间小于所述传输效率低时设置的所述延迟时间；
根据所述延迟时间确定属于所述滚动窗口的统计范围内的日志消息；
对所述统计范围内的日志消息进行统计计算。
2.根据权利要求1所述的日志消息的统计计算方法，其特征在于，所述根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间，包括：
根据日志消息的到达时间和事件时间动态设置flink组件中滚动窗口的延迟时间；其中所述到达时间为日志消息被flink组件接收的时间，所述事件时间为所述日志消息产生的时间。
3.根据权利要求2所述的日志消息的统计计算方法，其特征在于，所述根据日志消息的到达时间和事件时间动态设置flink组件中滚动窗口的延迟时间，包括：
连续获取若干个日志消息的到达时间和事件时间；
根据所述到达时间和事件时间计算所述若干个日志消息的传输时长；
计算所述若干个日志消息的传输时长的平均值；
根据所述传输时长的平均值设置所述延迟时间。
4.根据权利要求1至3任一项所述的日志消息的统计计算方法，其特征在于，所述延迟时间以预设周期进行动态设置。
5.根据权利要求1所述的日志消息的统计计算方法，在所述根据日志消息的传输效率动态设置flink组件中滚动窗口的延迟时间之前，还包括：
接收由kafka组件发送的日志消息。
6.根据权利要求5所述的日志消息的统计计算方法，其特征在于，所述接收由kafka组件发送的日志消息，包括：
判断是否为首次接收由kafka组件发送的日志消息；
若是，则接收所述发送的日志消息。
7.根据权利要求1所述的日志消息的统计计算方法，还包括：
若所述flink组件发生故障，则根据预存的快照数据对所述flink组件进行恢复处理；其中，所述快照数据根据flink组件的检查点机制生成并存储。
8.根据权利要求1所述的日志消息的统计计算方法，在所述对所述统计范围内的日志消息进行统计计算之前，还包括：
确定所述日志消息中包含的功能id；
所述对所述统计范围内的日志消息进行统计计算，包括：
统计所述统计范围内的日志消息包含的功能id以及各个功能id的数量。
9.一种服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的日志消息的统计计算方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的日志消息的统计计算方法。
CN202011041495.4A 2020-09-28 2020-09-28 日志消息的统计计算方法、服务器及存储介质 Active CN112202607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011041495.4A CN112202607B (zh) 2020-09-28 2020-09-28 日志消息的统计计算方法、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011041495.4A CN112202607B (zh) 2020-09-28 2020-09-28 日志消息的统计计算方法、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN112202607A true CN112202607A (zh) 2021-01-08
CN112202607B CN112202607B (zh) 2022-06-14

Family

ID=74007753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041495.4A Active CN112202607B (zh) 2020-09-28 2020-09-28 日志消息的统计计算方法、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN112202607B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016100890A1 (en) * 2014-12-19 2016-06-23 Nokia Solutions And Networks Oy Smooth bandwidth-delay product variation inside wireless networks
WO2017185576A1 (zh) * 2016-04-25 2017-11-02 百度在线网络技术（北京）有限公司 一种多流流式数据的处理方法、系统、存储介质及设备
US20180077073A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation Window management based on an indication of congestion in a stream computing environment
US20180074657A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation Window management based on a set of computing resources in a stream computing environment
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算系统
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN111309409A (zh) * 2020-02-26 2020-06-19 山东爱城市网信息技术有限公司 一种api服务调用实时统计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016100890A1 (en) * 2014-12-19 2016-06-23 Nokia Solutions And Networks Oy Smooth bandwidth-delay product variation inside wireless networks
WO2017185576A1 (zh) * 2016-04-25 2017-11-02 百度在线网络技术（北京）有限公司 一种多流流式数据的处理方法、系统、存储介质及设备
US20180077073A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation Window management based on an indication of congestion in a stream computing environment
US20180074657A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation Window management based on a set of computing resources in a stream computing environment
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算系统
CN111209258A (zh) * 2019-12-31 2020-05-29 航天信息股份有限公司 税务端系统日志实时分析方法、设备、介质及系统
CN111309409A (zh) * 2020-02-26 2020-06-19 山东爱城市网信息技术有限公司 一种api服务调用实时统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨李杨等: "分布式流处理系统的时间感知分组算法", 《清华大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN112202607B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110222091B (zh) 一种海量数据实时统计分析方法
JP6949045B2 (ja) 分散クラスタ型訓練方法及び装置
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN112751726B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN112507029A (zh) 数据处理系统及数据实时处理方法
CN113141410B (zh) 动态调节的qps控制方法、系统、设备及存储介质
CN111600774B (zh) 消费延迟确定方法、系统、装置、设备及可读存储介质
CN112202607B (zh) 日志消息的统计计算方法、服务器及存储介质
CN117130851B (zh) 一种高性能计算集群运行效率评价方法及系统
CN113835905A (zh) 一种消息队列负载均衡方法、装置、电子设备及介质
CN113377611A (zh) 一种业务处理流程监控方法、系统、设备及存储介质
CN109308219B (zh) 任务处理方法、装置及分布式计算机系统
CN117097646A (zh) 尾延迟调整方法及装置
CN116719639A (zh) 链路动态调整和数据处理方法、装置、计算机设备及介质
CN112751722A (zh) 数据传输质量监控方法和系统
CN112800089B (zh) 一种中间数据存储级别调整方法、存储介质及计算机设备
CN113034201A (zh) 一种基于广告投放过程的实时预警方法、系统及计算机
CN112533246A (zh) 一种智能设备设备频繁网络请求的监控系统及方法
CN114036179A (zh) 慢查询操作的处理方法及装置
CN113901132A (zh) 海量时序数据库节点之间历史数据同步处理方法和系统
CN114143822A (zh) 流量管理方法、运营管理平台、充电桩及存储介质
CN113079063A (zh) 充电设备的离线判断方法、系统、设备及计算机存储介质
CN110995839B (zh) 广告系统性能的分析方法、装置和计算机存储介质
CN114356490B (zh) 基于大数据的财务信息可视化处理方法及系统
CN113835986B (zh) 系统冷热日志的动态切换方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant