CN110704206B - 一种实时计算方法、计算机存储介质及电子设备 - Google Patents

一种实时计算方法、计算机存储介质及电子设备 Download PDF

Info

Publication number
CN110704206B
CN110704206B CN201910846430.8A CN201910846430A CN110704206B CN 110704206 B CN110704206 B CN 110704206B CN 201910846430 A CN201910846430 A CN 201910846430A CN 110704206 B CN110704206 B CN 110704206B
Authority
CN
China
Prior art keywords
spark
task
message
data
kafka
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910846430.8A
Other languages
English (en)
Other versions
CN110704206A (zh
Inventor
龚伟松
韦松松
高敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zebra Laila Logistics Technology Co ltd
Original Assignee
Shanghai Zebra Laila Logistics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zebra Laila Logistics Technology Co ltd filed Critical Shanghai Zebra Laila Logistics Technology Co ltd
Priority to CN201910846430.8A priority Critical patent/CN110704206B/zh
Publication of CN110704206A publication Critical patent/CN110704206A/zh
Application granted granted Critical
Publication of CN110704206B publication Critical patent/CN110704206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种实时计算方法、计算机存储介质及电子设备，包括：spark拉起消息中间件中的消息；spark对所述消息进行处理，并将spark处理后的数据投递到kafka进行缓冲；flume对kafka中的数据进行处理，并将flume处理后的数据存入数据库。本申请中的方案spark对所述消息进行处理之后并非直接存入数据库，而是先投递到kafka进行缓冲就，再由flume对kafka中的数据进行处理，然后将flume处理后的数据存入数据库，通过spark‑kafka‑flume的组合处理，可以有效平衡spark计算速度和拉取消息的速度，进而防止消息在内存堆积出现问题导致程序挂掉。

Description

一种实时计算方法、计算机存储介质及电子设备
技术领域
本申请涉及移动通信技术，具体地，涉及一种实时计算方法、计算机存储介质及电子设备。
背景技术
现在很多用kafka作为spark拉取消息的消息中间件，kafka有很多其他消息中间件不具备的优势，这种组合方式很利于开发一个流计算作业。
但在实际生产应用中，因为系统复杂多样化，很多消息并不是投递到kafka，而是投递到其他消息中间件。当业务数据爆发时，spark可以快速拉取这些消息中间件的数据，但是spark在自己处理这些数据实现业务逻辑时，如果处理速度一直小于拉取消息的速度，就会导致数据在内存中累积出现各种问题。
08版本后的kafka虽然实现了反压的功能,可以平衡拉取数据速度和处理数据速度，但是对于其他消息中间件还没有这个功能，在数据量爆发的情况下就会出现上述问题。
如图1所示的现有实时计算处理方法中，spark拉起消息中间件中的消息，spark处理后存入数据库。当大量消息通过没有反压功能的消息中间件涌入spark，由于spark的处理消息的能力已经跟不上涌入的消息，即spark的实时处理速度跟不上消息中间件的消息拉取速度，没处理的消息会排队等待处理,堆积在内存。
因为是实时计算，消息会一直向spark涌入，如果spark处理能力一直跟不上，到达一个阈值就会出现问题，甚至导致程序崩溃。
发明内容
本申请实施例中提供了一种实时计算方法、计算机存储介质及电子设备，以解决上述技术问题。
根据本申请实施例的第一个方面，提供了一种实时计算方法，包括：
spark拉起消息中间件中的消息；
spark对所述消息进行处理，并将spark处理后的数据投递到kafka进行缓冲；
flume对kafka中的数据进行处理，并将flume处理后的数据存入数据库。
可选地，所述spark对所述消息进行处理，包括：
spark对所述消息进行非耗时业务处理。
可选地，所述spark对所述消息进行非耗时业务处理，包括：
spark根据先设置的提交作业间隔batchInterval，以及预设并发度concurrentJobs对所述消息进行非耗时业务处理。
可选地，所述concurrentJobs为2；
所述batchInterval为1，或者，5，或者，6，或者，7，或者，8，或者，9，或者10。
可选地，设置batchInterval之后，还包括：
调起spark任务，获取spark web UI地址；
启动一个spark任务后，确定spark web UI地址中是否有任务排队；
若spark web UI地址中无任务排队，则调起spark任务，将所述batchInterval值加1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至所述spark web UI地址中有任务排队，此时将batchInterval的值设置为当前batchInterval值-1；
若spark web UI地址中有任务排队，则调起spark任务，将所述batchInterval值减1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至所述spark web UI地址中无任务排队，此时将batchInterval的值设置为当前batchInterval值。
可选地，所述flume对kafka中的数据进行处理，包括：
flume设置消费检查点后，对kafka中的数据进行处理。
可选地，所述对kafka中的数据进行处理，包括：
对kafka中的数据进行耗时业务处理。
可选地，所述对kafka中的数据进行业务逻辑处理，包括：
通过协处理器和/或sink组件，对kafka中的数据进行业务逻辑处理。
第二个方面，本申请实施例提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
第三个方面，本申请实施例提供了一种电子设备，其特征在于，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如上所述的方法。
本实施例中提供的方案中，spark对所述消息进行处理之后并非直接存入数据库，而是先投递到kafka进行缓冲就，再由flume对kafka中的数据进行处理，然后将flume处理后的数据存入数据库，通过spark-kafka-flume的组合处理，可以有效平衡spark计算速度和拉取消息的速度，进而防止消息在内存堆积出现问题导致程序挂掉。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出了现有的实时计算处理方法的流程示意图；
图2示出了本申请实施例中提供的一种实时计算处理结构示意图；
图3示出了本申请实施例中提供的一种实时计算方法的流程示意图；
图4示出了本申请实施例中提供的一种spark流状态示意图；
图5示出了本申请实施例中提供的一种电子设备的结构示意图。
具体实施方式
如图1所示的现有实时计算处理方法中，spark拉起消息中间件中的消息，spark处理后存入数据库。当大量消息通过没有反压功能的消息中间件涌入spark，由于spark的处理消息的能力已经跟不上涌入的消息，即spark的实时处理速度跟不上消息中间件的消息拉取速度，没处理的消息会排队等待处理,堆积在内存。因为是实时计算，消息会一直向spark涌入，如果spark处理能力一直跟不上，到达一个阈值就会出现问题，甚至导致程序崩溃。
基于此，本申请提供一种图2所示的实时计算处理结构，该结构中spark对所述消息进行处理之后并非直接存入数据库，而是先投递到kafka进行缓冲就，再由flume对kafka中的数据进行处理，然后将flume处理后的数据存入数据库，通过spark-kafka-flume的组合处理，可以有效平衡spark计算速度和拉取消息的速度，进而防止消息在内存堆积出现问题导致程序挂掉。
基于图2所示的实时计算流程，图3示出了本实施例提供的实时计算方法实现细节：
301，spark拉起消息中间件中的消息。
本步骤与现有方案相同，此处不再赘述。
302，spark对消息进行处理，并将spark处理后的数据投递到kafka进行缓冲。
现有技术中，spark对消息的所有逻辑进行处理，对于缓慢的业务逻辑，其处理速度会降低，进而导致spark计算速度和拉取消息的速度之间不平衡。本步骤中spark对消息进行处理的过程却不同，spark仅是对消息进行非耗时业务处理(如快速业务处理)，即spark仅是处理快速的业务逻辑，由于仅对消息作快速的业务的处理，此时处理速度会大幅度提升，不会出现数据在内存堆积的情况，进而避免了spark计算速度和拉取消息的速度之间不平衡。
另外，spark在进行非耗时业务处理时，会根据先设置的提交作业间隔(batchInterval)，以及预设并发度(concurrentJobs)进行。
因为spark只是处理能快速计算的业务，所以速度会提升很多，再通过配置concurrentJobs和设置合理的batchInterval可以使处理速度跟上消息拉取速度(根据实际测试情况配置)。
如下进行如下concurrentJobs为2的配置：
val conf＝new SparkConf()
.set("spark.scheduler.mode","FAIR")
.set("spark.streaming.concurrentJobs","2")
进行batchinterval配置：
val ssc＝new StreamingContext(sc,Milliseconds(batchInterval))
一般，concurrentJobs为2。batchInterval为1，或者，5，或者，6，或者，7，或者，8，或者，9，或者10。即batchInterval为1秒(前提是现在的处理速度是良好的)，或者5-10秒以较慢的速度提交批次(保守设置)。
在设置batchInterval之后，还会根据实际处理情况对其进行调节，调节方案为：根据实际业务的数据去测试，如果设置的这个时间内，spark能刚好处理完数据，那么这个batchinterval就是完美的，否则需要继续观察调整。
具体的
调起spark任务，获取spark web UI地址。
启动一个spark任务后，确定spark web UI地址中是否有任务排队。
如果基于当前的batchinterval值，spark web UI地址中无任务排队，则说明当前处理速度较佳，但并不知道是否为最佳数值，因此会调起spark任务，将batchInterval值加1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中有任务排队，此时则确定当前batchinterval值不佳，而前一次的batchinterval为最佳值，因此，将batchInterval的值设置为当前batchInterval值-1。
如果基于当前的batchinterval值，spark web UI地址中有任务排队，则说明当前batchinterval值不佳，则调起spark任务，将batchInterval值减1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中无任务排队，此时认为当前batchinterval值为最佳值，因此将batchInterval的值设置为当前batchInterval值。
例如，掉起spark任务后，日志会出现一个spark web UI的地址，
如
19/06/28 19:02:34INFO Utils:Successfully started service’SparkUI’onport4040.
19/06/28 19:02:34INFO SparkUI:Started SparkUI at http://10.12.10.14:4040
19/06/28 19:02:34INFO FairSchedulableBuilder:Created default pooldefault.schedulin
访问这个地址观察到图4所示的状态值，启动一个sparkstreaming(spark流)任务后,查看processing Time趋于11毫秒，并且在spark web UI上看到无任务排队，说明现在处理速度是很好的，就可以设置这个时间为batchinterval。
Spark进行非耗时业务处理之后，将处理完的数据投递到kafka缓冲。
303，flume对kafka中的数据进行处理，并将flume处理后的数据存入数据库。
本步骤中，flume会设置消费检查点后，对kafka中的数据进行处理。
具体的，flume会对kafka中的数据进行耗时业务处理(如缓慢业务处理)。具体的，flume通过协处理器和/或sink组件，对kafka中的数据进行业务逻辑处理。
例如，在flume的协处理器或者自定义的sink中处理一些缓慢的业务逻辑，如http请求等。
本步骤中flume拉取kafka数据，并设置消费检查点(flume消费一条kafka的数据,标记这个消息已经消费并记录下来,如果后来出现故障,程序重启,flume便可以从这个标记点开始继续消费)，防止重复消费或丢失数据。
flume做耗时业务逻辑处理，并将计算完成的结果数据存入数据库。
本实施例提供的实时计算方法当消息通过消息中间件被spark拉起后，spark的sparkstreaming进行实时计算，对可以快速处理的业务逻辑作计算，耗时计算的业务逻辑下沉到后续的flume作计算。Spark的计算结果缓冲到kafka。flume拉起kafka中的消息，设置消费检查点，以防止消息丢失或重复消费。Flume通过协处理器和/或自定义sink对计算耗时的业务进行计算，将计算结果存入数据库。
本实施例提供的方法，在拉取这些消息中间件的数据时，spark只对消息作快速的业务的处理，此时处理速度会大幅度提升，不会出现数据在内存堆积的情况，再将处理后的数据投递到kafka缓冲，然后用flume消费kafka数据。通过spark-kafka-flume的组合处理，可以有效平衡spark计算速度和拉取消息的速度，进而防止消息在内存堆积出现问题导致程序挂掉。
基于同一发明构思，本实施例提供了一种计算机存储介质，其上存储有计算机程序所述程序被处理器执行时实现如下步骤。
spark拉起消息中间件中的消息；
spark对消息进行处理，并将spark处理后的数据投递到kafka进行缓冲；
flume对kafka中的数据进行处理，并将flume处理后的数据存入数据库。
可选地，spark对消息进行处理，包括：
spark对消息进行非耗时业务处理。
可选地，spark对消息进行非耗时业务处理，包括：
spark根据先设置的提交作业间隔batchInterval，以及预设并发度concurrentJobs对消息进行非耗时业务处理。
可选地，concurrentJobs为2；
batchInterval为1，或者，5，或者，6，或者，7，或者，8，或者，9，或者10。
可选地，设置batchInterval之后，还包括：
调起spark任务，获取spark web UI地址；
启动一个spark任务后，确定spark web UI地址中是否有任务排队；
若spark web UI地址中无任务排队，则调起spark任务，将batchInterval值加1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中有任务排队，此时将batchInterval的值设置为当前batchInterval值-1；
若spark web UI地址中有任务排队，则调起spark任务，将batchInterval值减1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中无任务排队，此时将batchInterval的值设置为当前batchInterval值。
可选地，flume对kafka中的数据进行处理，包括：
flume设置消费检查点后，对kafka中的数据进行处理。
可选地，对kafka中的数据进行处理，包括：
对kafka中的数据进行耗时业务处理。
可选地，对kafka中的数据进行业务逻辑处理，包括：
通过协处理器和/或sink组件，对kafka中的数据进行业务逻辑处理。
本实施例提供的计算机存储介质上存储的计算机程序，可以根据每次待评估的物业业务数据选择相匹配的次数影响值以及金额影响值，再根据相匹配的次数影响值以及金额影响值评估物流业务趋势，使得趋势评估规范化。
基于同一发明构思，本实施例提供了一种电子设备，参见图5，包括存储器501、处理器502、总线503以及存储在存储器501上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现如下步骤。
spark拉起消息中间件中的消息；
spark对消息进行处理，并将spark处理后的数据投递到kafka进行缓冲；
flume对kafka中的数据进行处理，并将flume处理后的数据存入数据库。
可选地，spark对消息进行处理，包括：
spark对消息进行非耗时业务处理。
可选地，spark对消息进行非耗时业务处理，包括：
spark根据先设置的提交作业间隔batchInterval，以及预设并发度concurrentJobs对消息进行非耗时业务处理。
可选地，concurrentJobs为2；
batchInterval为1，或者，5，或者，6，或者，7，或者，8，或者，9，或者10。
可选地，设置batchInterval之后，还包括：
调起spark任务，获取spark web UI地址；
启动一个spark任务后，确定spark web UI地址中是否有任务排队；
若spark web UI地址中无任务排队，则调起spark任务，将batchInterval值加1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中有任务排队，此时将batchInterval的值设置为当前batchInterval值-1；
若spark web UI地址中有任务排队，则调起spark任务，将batchInterval值减1，重复执行启动一个spark任务后，确定spark web UI地址中是否有任务排队的步骤，直至spark web UI地址中无任务排队，此时将batchInterval的值设置为当前batchInterval值。
可选地，flume对kafka中的数据进行处理，包括：
flume设置消费检查点后，对kafka中的数据进行处理。
可选地，对kafka中的数据进行处理，包括：
对kafka中的数据进行耗时业务处理。
可选地，对kafka中的数据进行业务逻辑处理，包括：
通过协处理器和/或sink组件，对kafka中的数据进行业务逻辑处理。
本实施例提供的电子设备，可以根据每次待评估的物业业务数据选择相匹配的次数影响值以及金额影响值，再根据相匹配的次数影响值以及金额影响值评估物流业务趋势，使得趋势评估规范化。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (5)

1.一种实时计算方法，其特征在于，包括：
spark拉起消息中间件中的消息；
spark对所述消息进行非耗时业务处理，并将spark处理后的数据投递到kafka进行缓冲；
flume设置消费检查点后，对kafka中的数据进行耗时业务处理，并将flume处理后的数据存入数据库，其中，所述spark对所述消息进行非耗时业务处理，包括：
spark根据先设置的提交作业间隔batchInterval，以及预设并发度concurrentJobs对所述消息进行非耗时业务处理；
设置batchInterval之后，还包括：
调起spark任务，获取sparkwebUI地址；
启动一个spark任务后，确定sparkwebUI地址中是否有任务排队；
若sparkwebUI地址中无任务排队，则调起spark任务，将所述batchInterval值加1，重复执行启动一个spark任务后，确定sparkwebUI地址中是否有任务排队的步骤，直至所述sparkwebUI地址中有任务排队，此时将batchInterval的值设置为当前batchInterval值-1；
若sparkwebUI地址中有任务排队，则调起spark任务，将所述batchInterval值减1，重复执行启动一个spark任务后，确定sparkwebUI地址中是否有任务排队的步骤，直至所述sparkwebUI地址中无任务排队，此时将batchInterval的值设置为当前batchInterval值。
2.根据权利要求1所述的方法，其特征在于，所述concurrentJobs为2；
所述batchInterval为1，或者，5，或者，6，或者，7，或者，8，或者，9，或者10。
3.根据权利要求1所述的方法，其特征在于，所述对kafka中的数据进行耗时业务处理，包括：
通过协处理器和/或sink组件，对kafka中的数据进行业务逻辑处理。
4.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一所述方法的步骤。
5.一种电子设备，其特征在于，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至3任一所述的方法。
CN201910846430.8A 2019-09-09 2019-09-09 一种实时计算方法、计算机存储介质及电子设备 Active CN110704206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910846430.8A CN110704206B (zh) 2019-09-09 2019-09-09 一种实时计算方法、计算机存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910846430.8A CN110704206B (zh) 2019-09-09 2019-09-09 一种实时计算方法、计算机存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110704206A CN110704206A (zh) 2020-01-17
CN110704206B true CN110704206B (zh) 2022-09-27

Family

ID=69195172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910846430.8A Active CN110704206B (zh) 2019-09-09 2019-09-09 一种实时计算方法、计算机存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110704206B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752752B (zh) * 2020-05-28 2022-07-19 苏州浪潮智能科技有限公司 一种基于Spark流计算框架的消息容错方法及系统
CN114153620B (zh) * 2022-02-08 2022-05-24 上海柯林布瑞信息技术有限公司 Hudi运行环境资源优化分配方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN108040076A (zh) * 2018-02-06 2018-05-15 中国互联网络信息中心 基于Spark Streaming的DNS水刑攻击处理方法及系统
CN108196961A (zh) * 2017-12-28 2018-06-22 广东蜂助手网络技术股份有限公司 一种异步消息处理方法、终端、系统及存储介质
CN110119323A (zh) * 2019-05-13 2019-08-13 重庆八戒电子商务有限公司 一种基于时间轮执行延迟队列的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509684B2 (en) * 2015-04-06 2019-12-17 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations
US10262032B2 (en) * 2016-02-24 2019-04-16 Salesforce.Com, Inc. Cache based efficient access scheduling for super scaled stream processing systems
CN105677489B (zh) * 2016-03-04 2017-06-20 山东大学 离散流处理模型下批次间隔大小的动态设置系统及方法
CN106648904B (zh) * 2017-01-09 2020-06-12 大连理工大学 一种流式数据处理自适应速率控制方法
CN108459919B (zh) * 2018-03-29 2022-04-15 中信百信银行股份有限公司 一种分布式事务处理方法及装置
CN109740037B (zh) * 2019-01-02 2023-11-24 山东省科学院情报研究所 多源、异构流态大数据分布式在线实时处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法
CN108196961A (zh) * 2017-12-28 2018-06-22 广东蜂助手网络技术股份有限公司 一种异步消息处理方法、终端、系统及存储介质
CN108040076A (zh) * 2018-02-06 2018-05-15 中国互联网络信息中心 基于Spark Streaming的DNS水刑攻击处理方法及系统
CN110119323A (zh) * 2019-05-13 2019-08-13 重庆八戒电子商务有限公司 一种基于时间轮执行延迟队列的方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Flume+Kafka+Sparkstreaming日志分析";roomy-niab;《https://www.cnblogs.com/zhangxd-stn/p/roomy_bigdata0.html》;20160324;第1-5页 *
"Global Nonlinear Kernel Prediction for Large Data Set With a Particle Swarm-Optimized Interval Support Vector Regression";Yongsheng Ding;《IEEE Transactions on Neural Networks and Learning Systems》;20151031;第26卷(第10期);第2521-2534页 *
"大数据平台计算架构及其应用研究";张殿超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第02期);第I138-1182页 *

Also Published As

Publication number Publication date
CN110704206A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN106802826B (zh) 一种基于线程池的业务处理方法及装置
CN104778074B (zh) 一种计算任务处理方法及装置
CN108829521B (zh) 任务处理方法、装置、计算机设备及存储介质
US9886077B2 (en) Processor management via thread status
CN110704206B (zh) 一种实时计算方法、计算机存储介质及电子设备
US20110246596A1 (en) Load-aware method of optimizing command execution in a cloud environment
JP2014509012A5 (zh)
CN106685894B (zh) 一种风险识别方法、装置及系统
CN107291566B (zh) 延迟任务执行的方法和装置
CN113032152A (zh) 用于深度学习框架的调度方法、调度装置、电子设备、存储介质和程序产品
CN104820616A (zh) 一种任务调度的方法及装置
CN110221914B (zh) 文件处理方法及装置
CN115309519A (zh) 基于时间触发机制的确定性任务调度编排方法、系统和存储介质
CN106855825B (zh) 一种任务处理方法及其装置
CN113835854A (zh) 一种任务处理方法及装置
CN112860401A (zh) 任务调度方法、装置、电子设备和存储介质
GB2571947A (en) Tracing branch instructions
CN111782378A (zh) 自适应性的处理性能调整方法、服务器及可读存储介质
CN113127179A (zh) 资源调度方法、装置、电子设备及计算机可读介质
CN107958414B (zh) 一种清除cics系统长交易的方法及系统
CN110795239A (zh) 应用内存泄露的检测方法及装置
CN110888739A (zh) 延迟任务的分布式处理方法与装置
CN114138452B (zh) 一种边缘计算中高能效的计算节点选择方法及装置
CN106354722B (zh) 一种流式计算系统的消息处理方法和装置
US11307974B2 (en) Horizontally scalable distributed system for automated firmware testing and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210322

Address after: 200333 room 3110, No. 100, Lane 130, Taopu Road, Putuo District, Shanghai

Applicant after: Shanghai zebra Laila Logistics Technology Co.,Ltd.

Address before: Room 308-1, area C, 1718 Daduhe Road, Putuo District, Shanghai 200333

Applicant before: Shanghai kjing XinDa science and Technology Group Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant