CN110990436B - 一种用于Apache Kafka的消费信息流处理方法及系统 - Google Patents

一种用于Apache Kafka的消费信息流处理方法及系统 Download PDF

Info

Publication number
CN110990436B
CN110990436B CN201911232194.7A CN201911232194A CN110990436B CN 110990436 B CN110990436 B CN 110990436B CN 201911232194 A CN201911232194 A CN 201911232194A CN 110990436 B CN110990436 B CN 110990436B
Authority
CN
China
Prior art keywords
time
processing
data
thread
suspension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911232194.7A
Other languages
English (en)
Other versions
CN110990436A (zh
Inventor
赵晓
王瑞聪
申文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN201911232194.7A priority Critical patent/CN110990436B/zh
Publication of CN110990436A publication Critical patent/CN110990436A/zh
Application granted granted Critical
Publication of CN110990436B publication Critical patent/CN110990436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于Apache Kafka的消费信息流处理方法及系统，方法包括：计算拉取数据的处理时间，判断处理时间是否大于拉取超时时间，若是，则：拉取新的数据进行处理；若否，则：计算拉取数据线程暂停时间，在暂停时间内暂停拉取数据。本发明能够最大限度的利用Java线程池，提高程序运行效率，减少触发Apache Kafka选举机制的次数，进而提升信息系统的吞吐量。

Description

一种用于Apache Kafka的消费信息流处理方法及系统
技术领域
本发明涉及信息处理技术领域，尤其涉及一种用于Apache Kafka的消费信息流处理方法及系统。
背景技术
Apache Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写；是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。
目前，Apache Kafka这种高吞吐量的分布式发布订阅消息系统在银行系统得到广泛应用。如图1所示，在应用场景中，需要采集的数据包括ATM、叫号机、网点WIFI等渠道的交易信息及用户行为信息，种类繁多，划分为多个Topic(每条发布到Kafka集群的消息队列都有一个类别，这个类别被称为Topic)；交易量大，仅ATM日均采集交易量1500万笔，吞吐量要求比较高；针对同一个Topic中的每个消息可能需要复杂的处理逻辑。
作为一个消息系统，Apache Kafka基本结构中有产生消息的组件(消息生产者)，以及消费消息的组件(消费者)。生产者负责生产消息，将消息写入Apache Kafka集群；消费者从Apache Kafka集群中拉取消息。这里，将多个渠道采集的数据包括ATM、超柜、叫号机等报文消息写入Apache Kafka集群，将对消息的处理单元作为消费者。消费者消费消息队列中的消息时，存在两种配置方式。其一，拉取固定大小的消息；其二，拉取固定个数的消息。在应用场景中，各个渠道的报文长度是不固定的，第一种方式存在拉取过程中，消息被截断、不完整的问题。所以这种应用场景下，需要采取第二种方式，拉取固定个数的消息。但是，在Apache Kafka使用中，需要指定消费者读取最长等待时间，从而避免长时间阻塞，如果超过这个最长等待时间，会引发Apache Kafka重新选举机制，从而使得信息系统的性能大幅度下降。在多次拉取大量数据时，存在因为机器处理性能而阻塞，拉取时间间隔不断延长，频繁超出最长等待时间的问题。
因此，如何最大限度的利用Java线程池，提高程序运行效率，减少触发ApacheKafka选举机制的次数，进而提升信息系统的吞吐量，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种用于Apache Kafka的消费信息流处理方法，能够最大限度的利用Java线程池，提高程序运行效率，减少触发Apache Kafka选举机制的次数，进而提升信息系统的吞吐量。
本发明提供了一种用于Apache Kafka的消费信息流处理方法，包括：
计算拉取数据的处理时间；
判断所述处理时间是否大于拉取超时时间，若是，则：拉取新的数据进行处理；若否，则：
计算拉取数据线程暂停时间；
在所述暂停时间内暂停拉取数据。
优选地，所述计算拉取数据的处理时间包括：
获取处理数据线程开始时间；
获取处理数据线程完成时间；
基于所述处理数据线程完成时间和所述处理数据线程开始时间的差值得到所述拉取数据的处理时间。
优选地，所述计算拉取数据线程暂停时间，包括：
基于公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。
优选地，所述暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)。
优选地，所述暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
一种用于Apache Kafka的消费信息流处理系统，包括：
第一计算模块，用于计算拉取数据的处理时间；
判断模块，用于判断所述处理时间是否大于拉取超时时间；
拉取模块，用于当所述处理时间大于拉取超时时间时，拉取新的数据进行处理；
第二计算模块，用于当所述处理时间小于等于拉取超时时间时，计算拉取数据线程暂停时间；
暂停模块，用于在所述暂停时间内暂停拉取数据。
优选地，所述第一计算模块包括：
第一获取单元，用于获取处理数据线程开始时间；
第二获取单元，用于获取处理数据线程完成时间；
计算单元，用于基于所述处理数据线程完成时间和所述处理数据线程开始时间的差值得到所述拉取数据的处理时间。
优选地，所述第二计算模块在执行计算拉取数据线程暂停时间时，具体用于：
基于公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。
优选地，所述暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)。
优选地，所述暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
综上所述，本发明公开了一种用于Apache Kafka的消费信息流处理方法，首先计算拉取数据的处理时间，然后判断处理时间是否大于拉取超时时间，若是，则：拉取新的数据进行处理；若否，则：计算拉取数据线程暂停时间，在暂停时间内暂停拉取数据。本发明能够最大限度的利用Java线程池，提高程序运行效率，减少触发Apache Kafka选举机制的次数，进而提升信息系统的吞吐量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术公开的Apache Kafka的一种应用架构示意图；
图2为现有技术公开的Apache Kafka消息消费过程示意图；
图3为本发明公开的一种用于Apache Kafka的消费信息流处理方法实施例1的方法流程图；
图4为本发明公开的一种用于Apache Kafka的消费信息流处理方法实施例2的方法流程图；
图5为本发明公开的一种用于Apache Kafka的消费信息流处理系统实施例1的结构示意图；
图6为本发明公开的一种用于Apache Kafka的消费信息流处理系统实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图2所示，在数据消费场景中，消费者第一步拉取数据，第二步将数据交给处理数据线程进行处理，并等待处理数据线程返回。实际应用中，拉取数据的速度远远快于处理数据速度，所以会引起拉取数据线程长时间堵塞，使得再次拉取数据的时间间隔不断延长，直至达到Apache Kafka的超时时间。Apache Kafka到达超时时间后，会认为此消费者死亡，花费时间进行重新选举，很大程度上影响信息系统的运行效率。因此，本发明提出一种基于指数退避思想的Apache Kafka的流量控制策略算法，根据处理数据线程池的使用情况，动态调整拉取数据的间隔时间，避免出现长时间排队等待分配资源的情况。
如图3所示，为本发明公开的一种用于Apache Kafka的消费信息流处理方法实施例1的方法流程图，所述方法可以包括以下步骤：
S301、计算拉取数据的处理时间；
在消费者拉取数据，处理数据线程对拉取到的数据进行处理时，计算处理拉取到的数据所用的时间。
S302、判断处理时间是否大于拉取超时时间，若是，则进入S303，若否，则进入S304：
在计算出拉取数据的处理时间后，进一步将处理时间与拉取超时时间进行比较，判断处理时间是否大于拉取超时时间。
S303、拉取新的数据进行处理；
当处理时间大于拉取超时时间时，为避免kafka误判消费者机器死亡，此时立即拉取新的数据，并重新执行上述过程。
S304、计算拉取数据线程暂停时间；
当处理时间小于等于拉取超时时间时，进一步计算拉取数据线程暂停时间。
具体的，在计算拉取数据线程暂停时间时，可根据公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)；暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
S305、在暂停时间内暂停拉取数据。
在计算出拉取数据线程暂停时间后，在暂停时间内暂停拉取数据，结束暂停后重新拉取新的数据，并重新执行上述数据处理过程。
综上所述，在上述实施例中，首先计算拉取数据的处理时间，然后判断处理时间是否大于拉取超时时间，若是，则：拉取新的数据进行处理；若否，则：计算拉取数据线程暂停时间，在暂停时间内暂停拉取数据。本发明能够最大限度的利用Java线程池，提高程序运行效率，减少触发Apache Kafka选举机制的次数，进而提升信息系统的吞吐量。
如图4所示，为本发明公开的一种用于Apache Kafka的消费信息流处理方法实施例2的方法流程图，所述方法可以包括以下步骤：
S401、获取处理数据线程开始时间；
在消费者拉取数据，处理数据线程开始对拉取到的数据进行处理时，获取处理数据线程开始时间。
S402、获取处理数据线程完成时间；
在处理数据线程数据处理完成时，获取处理数据线程完成时间。
S403、基于处理数据线程完成时间和处理数据线程开始时间的差值得到拉取数据的处理时间；
计算处理数据线程完成时间与处理数据线程开始时间的差值，得到拉取数据的处理时间。
S404、判断处理时间是否大于拉取超时时间，若是，则进入S405，若否，则进入S406：
在计算出拉取数据的处理时间后，进一步将处理时间与拉取超时时间进行比较，判断处理时间是否大于拉取超时时间。
S405、拉取新的数据进行处理；
当处理时间大于拉取超时时间时，为避免kafka误判消费者机器死亡，此时立即拉取新的数据，并重新执行上述过程。
S406、计算拉取数据线程暂停时间；
当处理时间小于等于拉取超时时间时，进一步计算拉取数据线程暂停时间。
具体的，在计算拉取数据线程暂停时间时，可根据公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)；暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
S407、在暂停时间内暂停拉取数据。
在计算出拉取数据线程暂停时间后，在暂停时间内暂停拉取数据，结束暂停后重新拉取新的数据，并重新执行上述数据处理过程。
综上所述，本发明将CSMA/CD(Carrier Sense Multiple Access with CollisionDetection，带冲突检测的载波监听多路访问技术)这种针对争用型介质访问控制协议中的指数退避思想引入Apache Kafka的消费信息流的控制策略中，通过实时监控Java线程池状况，计算Apache Kafka消息拉取线程需要暂停的时间，最大限度的利用Java线程池，提高了程序运行效率，减少了触发Apache Kafka选举机制的次数，进而提升了信息系统的吞吐量。
如图5所示，为本发明公开的一种用于Apache Kafka的消费信息流处理系统实施例1的结构示意图，所述系统可以包括：
第一计算模块501，用于计算拉取数据的处理时间；
判断模块502，用于判断处理时间是否大于拉取超时时间；
拉取模块503，用于当处理时间大于拉取超时时间时，拉取新的数据进行处理；
第二计算模块504，用于当处理时间小于等于拉取超时时间时，计算拉取数据线程暂停时间；
暂停模块505，用于在暂停时间内暂停拉取数据。
本实施公开的用于Apache Kafka的消费信息流处理系统的工作原理与上述用于Apache Kafka的消费信息流处理方法实施例1的工作原理相同，在此不再赘述。
如图6所示，为本发明公开的一种用于Apache Kafka的消费信息流处理系统实施例2的结构示意图，所述系统可以包括：
第一获取单元601，用于获取处理数据线程开始时间；
第二获取单元602，用于获取处理数据线程完成时间；
计算单元603，用于基于处理数据线程完成时间和处理数据线程开始时间的差值得到拉取数据的处理时间；
判断模块604，用于判断处理时间是否大于拉取超时时间；
拉取模块605，用于当处理时间大于拉取超时时间时，拉取新的数据进行处理；
第二计算模块606，用于当处理时间小于等于拉取超时时间时，计算拉取数据线程暂停时间；
暂停模块607，用于在暂停时间内暂停拉取数据。
本实施公开的用于Apache Kafka的消费信息流处理系统的工作原理与上述用于Apache Kafka的消费信息流处理方法实施例2的工作原理相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种用于Apache Kafka的消费信息流处理方法，其特征在于，包括：
计算拉取数据的处理时间；
判断所述处理时间是否大于拉取超时时间，若是，则：拉取新的数据进行处理；若否，则：
计算拉取数据线程暂停时间；
在所述暂停时间内暂停拉取数据；
其中，所述计算拉取数据的处理时间包括：
获取处理数据线程开始时间；
获取处理数据线程完成时间；
基于所述处理数据线程完成时间和所述处理数据线程开始时间的差值得到所述拉取数据的处理时间；
其中，所述计算拉取数据线程暂停时间，包括：
基于公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。
2.根据权利要求1所述的方法，其特征在于，所述暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)。
3.根据权利要求2所述的方法，其特征在于，所述暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
4.一种用于Apache Kafka的消费信息流处理系统，其特征在于，包括：
第一计算模块，用于计算拉取数据的处理时间；
判断模块，用于判断所述处理时间是否大于拉取超时时间；
拉取模块，用于当所述处理时间大于拉取超时时间时，拉取新的数据进行处理；
第二计算模块，用于当所述处理时间小于等于拉取超时时间时，计算拉取数据线程暂停时间；
暂停模块，用于在所述暂停时间内暂停拉取数据；
其中，所述第一计算模块包括：
第一获取单元，用于获取处理数据线程开始时间；
第二获取单元，用于获取处理数据线程完成时间；
计算单元，用于基于所述处理数据线程完成时间和所述处理数据线程开始时间的差值得到所述拉取数据的处理时间；
其中，所述第二计算模块在执行计算拉取数据线程暂停时间时，具体用于：
基于公式确定拉取数据线程暂停时间，其中，downbound为暂停的最短时间，upbound为暂停的最长时间，right为暂停时间的权值调整系数，所述/>其中，threadActiveNumber为应用程序线程池中已使用的线程个数，threadTotalNumber为应用程序线程池中线程总个数。
5.根据权利要求4所述的系统，其特征在于，所述暂停的最长时间upbound的取值与拉取超时时间pollTimeOut有关，关系为min(pollTimeOut,upbound)。
6.根据权利要求5所述的系统，其特征在于，所述暂停的最短时间downbound和暂停时间的权值调整系数right为测试经验值。
CN201911232194.7A 2019-12-04 2019-12-04 一种用于Apache Kafka的消费信息流处理方法及系统 Active CN110990436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911232194.7A CN110990436B (zh) 2019-12-04 2019-12-04 一种用于Apache Kafka的消费信息流处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911232194.7A CN110990436B (zh) 2019-12-04 2019-12-04 一种用于Apache Kafka的消费信息流处理方法及系统

Publications (2)

Publication Number Publication Date
CN110990436A CN110990436A (zh) 2020-04-10
CN110990436B true CN110990436B (zh) 2024-02-23

Family

ID=70090133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911232194.7A Active CN110990436B (zh) 2019-12-04 2019-12-04 一种用于Apache Kafka的消费信息流处理方法及系统

Country Status (1)

Country Link
CN (1) CN110990436B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204109A (zh) * 2016-06-28 2016-12-07 腾讯科技（深圳）有限公司 媒体文件的拉取方法和装置
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息系统的数据处理方法及装置
US9847950B1 (en) * 2017-03-16 2017-12-19 Flexera Software Llc Messaging system thread pool
CN109656684A (zh) * 2018-12-11 2019-04-19 杭州涂鸦信息技术有限公司 一种Kafka的分区方法、分区系统及相关装置
CN110048892A (zh) * 2019-04-22 2019-07-23 携程旅游信息技术（上海）有限公司 通讯平台故障隔离方法及系统
CN110245008A (zh) * 2018-03-09 2019-09-17 阿里巴巴集团控股有限公司 定时任务处理方法、系统和设备
CN110535787A (zh) * 2019-07-25 2019-12-03 北京奇艺世纪科技有限公司 消息消费方法、装置及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185906B2 (en) * 2007-05-23 2012-05-22 Sap Ag Method and apparatus for dynamically adjusting thread pool
US8131983B2 (en) * 2008-04-28 2012-03-06 International Business Machines Corporation Method, apparatus and article of manufacture for timeout waits on locks
US9354926B2 (en) * 2011-03-22 2016-05-31 International Business Machines Corporation Processor management via thread status

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204109A (zh) * 2016-06-28 2016-12-07 腾讯科技（深圳）有限公司 媒体文件的拉取方法和装置
CN106603689A (zh) * 2016-12-26 2017-04-26 努比亚技术有限公司 基于分布式发布订阅消息系统的数据处理方法及装置
US9847950B1 (en) * 2017-03-16 2017-12-19 Flexera Software Llc Messaging system thread pool
CN110245008A (zh) * 2018-03-09 2019-09-17 阿里巴巴集团控股有限公司 定时任务处理方法、系统和设备
CN109656684A (zh) * 2018-12-11 2019-04-19 杭州涂鸦信息技术有限公司 一种Kafka的分区方法、分区系统及相关装置
CN110048892A (zh) * 2019-04-22 2019-07-23 携程旅游信息技术（上海）有限公司 通讯平台故障隔离方法及系统
CN110535787A (zh) * 2019-07-25 2019-12-03 北京奇艺世纪科技有限公司 消息消费方法、装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于NS3的分布式消息系统Kafka的仿真实现;马浩然;;软件(01);全文 *
基于Storm的车联网数据实时分析系统;张春风;申飞;张俊;陈杰;刘静;;计算机系统应用(03);全文 *

Also Published As

Publication number Publication date
CN110990436A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN108021487B (zh) 一种gpu图形处理性能监测与分析方法
CN107948095B (zh) 一种资源控制方法、装置及总线系统服务器
JP2018510432A (ja) アイドル時間のソフトウェア・ガベージ・コレクション
CN109379305A (zh) 一种数据下发方法、装置、服务器及存储介质
US11640319B1 (en) Task processing method and apparatus, electronic device and storage medium
CN112749013A (zh) 线程负载的检测方法、装置、电子设备及存储介质
CN110990436B (zh) 一种用于Apache Kafka的消费信息流处理方法及系统
CN108415765B (zh) 任务调度方法、装置及智能终端
CN109284193A (zh) 一种基于多线程的分布式数据处理方法及服务器
CN100589417C (zh) 处理电信网管系统拓扑界面大量上报消息的系统和方法
CN108984321A (zh) 一种移动终端及其进程间通信的限制方法、存储介质
CN112737835A (zh) 一种云主机业务管理方法及相关装置
CN111225268A (zh) 一种视频数据的传输方法及终端
CN110795239A (zh) 应用内存泄露的检测方法及装置
CN113127179A (zh) 资源调度方法、装置、电子设备及计算机可读介质
CN114461323B (zh) 一种卡顿处理方法、装置、电子设备及存储介质
CN103530173A (zh) 动态权重事件处理系统和方法
CN116010056A (zh) 一种自动化任务调度管理方法、装置、设备及存储介质
CN113051051B (zh) 视频设备的调度方法、装置、设备及存储介质
CN105740064B (zh) Linux系统中防止服务端重启的方法及装置
CN113645585A (zh) 一种物联网数据采集方法
CN109947570B (zh) 视频处理任务项的创建方法及输入视频流的调度方法
CN116627495A (zh) 一种信息交互方法、系统、装置、设备及介质
CN112988417A (zh) 消息处理方法、装置、电子设备及计算机可读介质
CN109062706B (zh) 电子装置及其限制进程间通信的方法、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant