CN107748711A - 自动优化Storm并行度的方法、终端设备及存储介质 - Google Patents

自动优化Storm并行度的方法、终端设备及存储介质 Download PDF

Info

Publication number
CN107748711A
CN107748711A CN201710960909.5A CN201710960909A CN107748711A CN 107748711 A CN107748711 A CN 107748711A CN 201710960909 A CN201710960909 A CN 201710960909A CN 107748711 A CN107748711 A CN 107748711A
Authority
CN
China
Prior art keywords
degree
storm
parallelism
spout
bolt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710960909.5A
Other languages
English (en)
Other versions
CN107748711B (zh
Inventor
曾超
江汉祥
蔡淋强
林文楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201710960909.5A priority Critical patent/CN107748711B/zh
Publication of CN107748711A publication Critical patent/CN107748711A/zh
Application granted granted Critical
Publication of CN107748711B publication Critical patent/CN107748711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3404—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for parallel or distributed programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种自动优化Storm并行度的方法，包括如下步骤，S1：设置初始并行度Nmax和最小观察时长T，进入S2；S2：配置并保存并行度N及相关参数，进入S3；S3：提交计算拓扑到Storm集群，进入S4；S4：开始观察，对定时器、每个消息源和消息处理者的执行时长和执行次数清零，进入S5；S5：累加并记录观察时长T0和每个消息源和消息处理者的执行时长和执行次数，直到T0大于或等于T，进入S6；S6：计算每个消息源和消息处理者的实时并行度，并和各自的N进行比较，若相等，则返回S4，否则进入S7；S7：将S6中计算的实时并行度赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4。

Description

自动优化Storm并行度的方法、终端设备及存储介质
技术领域
本发明涉及系统优化技术领域，具体是一种自动优化Storm并行度的方法、终端设备及存储介质。
背景技术
随着大数据时代的到来，系统处理的数据量越来越大，海量数据的处理能力成为系统性能的关键点。Storm是一个免费开源、分布式、高容错的流式实时计算框架，支持服务器横向扩容，成为目前最流行的流式处理框架。
数据处理过程一般由多个阶段组成，比如提取、校验、清洗、关联、比对、标识、入库等，其中每一阶段为了提升实时性可再拆分成多个步骤。每一个步骤由storm中的一个消息源(Spout)和消息处理者(Bolt)来执行。如此下来，一个storm的计算拓扑(Topology)就由很多个spout和bolt组成，多则几十个。每个spout和bolt都需要设置并行度，即执行的executor线程数。如何精确的设置每一个spout和bolt并行度成为一个难题，设置的不好会造成服务器资源浪费以及系统执行性能慢。
目前没有统一的设置并行度的方式，通常有经验者会根据storm ui上的指标来调整并行度，主观上认为这个步骤复杂一点或者需要操作外部资源，就配置并行度高一些，否则就配置并行度低一些。这样配置主观性很强，即不科学也不精确，甚至可能因为经验不足设置参数不合理使得性能非常低下。其次是根据执行平均耗时和执行次数来不断调整并行度，这样也有如下几点不足：
1.需要人工参与：每个spout或bolt的并行度都需要人工不断的测试和调整，每次测试和调整需要不断的重启storm；
2.无法适应数据的变化：大数据平台面对的是各种数据格式，比如人员信息和话单记录，处理数据的内容不同，也会导致同一个bolt的数据处理压力不同，但是并行度一旦固定后就不会变化。
3.无法兼容不同的运行环境：一套系统如果部署多个环境，每个环境的服务资源和网络环境都可能不一样。发布系统时配置的并行度可能在其他生产环境下并不适用。比如磁盘读写速度对执行数据入库的bolt性能影响就很大，当开发环境的磁盘读写速度比生产环境的快，在开发环境设置的并行度到生产环境上就可能导致入库性能差。
发明内容
为了解决上述问题，本发明提供一种自动优化Storm并行度的方法、终端设备及存储介质，根据storm运行状况进行观察，动态自动的调整spout和bolt并行度，充分利用服务器资源和提升处理性能。
本发明一种自动优化Storm并行度的方法，包括如下步骤：
S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；
S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；
S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topology)，进入S4步骤；
S4：开始观察并清零相关数据：开始观察，并对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，进入S5步骤；
S5：累加并记录相关数据：累加并记录观察时长T0，同时累加并记录每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed，直到观察时长T0大于或等于最小观察时长T，进入S6步骤；
S6：计算实时并行度：计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；
S7：调整并行度N：将S6中计算的每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4步骤。
进一步的，S6中，计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；具体为：
S61：遍历所有消息源(Spout)和消息处理者(Bolt)，找出执行时长ExecuteTime值最大的消息源(Spout)或消息处理者(Bolt)，并标识为步骤i，设置其实时并行度Executors(i)为Nmax，根据步骤i的执行时长、实时并行度和执行次数计算执行时长最小值TargetExecuteTime，其计算公式为：TargetExecuteTime＝ExecuteTime(i)÷Executed(i)×Nmax；
S62：根据执行时长最小值TargetExecuteTime依次计算其他消息源(Spout)和消息处理者(Bolt)的实时并行度，对于标识为步骤j的消息源(Spout)和消息处理者(Bolt)，其实时并行度Executors(j)计算公式为：Executors(j)＝Math.ceil(TargetExecuteTime÷ExecuteTime(j)×Executors(j))，其中Math.ceil为对浮点数往上取值；
S63：对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤。
本发明一种自动优化Storm并行度的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现自动优化Storm并行度的方法的步骤。
本发明一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现自动优化Storm并行度的方法的步骤。
本发明的有益效果：
1.动态持续调整：并行度参数不是固定不变，程序自动持续地观察实际环境中storm运行的执行时长、执行次数、并行度评估出topology运行的最佳并行度，定期自动调整并行度，比如处理的数据格式发生变化后能随着调整并行度。
2.无需人工参与：整个调整过程中由程序自动完成，无需人工参与，并且调整并行度无需重启storm，且比人工调整的更加精确。
3.适应性强：同样的系统部署在不同的运行环境，可以观察得到不同的并行度参数，即使环境发生变化也能自动随着调整。
附图说明
图1为本发明实施例一的方法流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
在当前大数据时代，Storm是目前最流行的分布式流式处理框架，可以方便的运用到所有使用大数据架构的数据预处理过程中，方便开发者开发和提升系统数据处理性能。
实施例一：
本发明提供了一种自动优化Storm并行度的方法，本发明的方法基于实际环境下的运行情况来调整并行度，整体流程分为初始阶段和观察优化阶段，处理流程图如图1所示。
本发明所阐述的方法具体过程如下：
1.初始阶段：
S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；
S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；
S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topology)，进入S4步骤；
具体的，
用户预先设置如表1中的配置值：
表1基础配置表
Storm启动后读取表1中的配置值，调用storm api接口设置topology中spout和bolt的task值(即并行度N)为最大并行度Nmax(即初始并行度)，配置好其他参数后提交topology到storm集群，并启动该topology。同时设置如表2所示的运行状态参数，用于在观察阶段按如下数据格式保存每个spout和bolt的ID和实时并行度executor数值。
表2运行状态参数表
2.观察优化阶段：
S4：开始观察并清零相关数据：开始观察，并对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，进入S5步骤；
S5：累加并记录相关数据：累加并记录观察时长T0，同时累加并记录每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed，直到观察时长T0大于或等于最小观察时长T，进入S6步骤；
S6：计算实时并行度：
S61：遍历所有消息源(Spout)和消息处理者(Bolt)，找出执行时长ExecuteTime值最大的消息源(Spout)或消息处理者(Bolt)，并标识为步骤i，设置其实时并行度Executors(i)为Nmax，根据步骤i的执行时长、实时并行度和执行次数计算执行时长最小值TargetExecuteTime，其计算公式为：TargetExecuteTime＝ExecuteTime(i)÷Executed(i)×Nmax；
S62：根据执行时长最小值TargetExecuteTime依次计算其他消息源(Spout)和消息处理者(Bolt)的实时并行度，对于标识为步骤j的消息源(Spout)和消息处理者(Bolt)，其实时并行度Executors(j)计算公式为：Executors(j)＝Math.ceil(TargetExecuteTime÷ExecuteTime(j)×Executors(j))，其中Math.ceil为对浮点数往上取值；
S63：对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤。
S7：调整并行度N：将S6中计算的每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4步骤。
具体的，进入观察优化阶段后，先对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，然后不断的累加并记录观察时长T0，同时累加并记录每个spout和bolt执行的执行时长和执行次数。当观察时长T0达到T秒后，停止观察。不再累加执行时长和执行次数，开始计算最佳并行度值(即实时并行度值)，并调整topology的并行度值。
理论上每个spout和bolt处理能力都一样时，topology的数据处理能力和硬件资源利用达到最佳状态，数据好比水一样可以无阻塞地流转于每个管道。因此目标是执行时长ExecuteTime值都一样且最小化。
详细按照如下计算公式调整每个spout或者bolt的实时并行度：
第一步：遍历所有spout和bolt，找出执行时长ExecuteTime值最大的记录。即该spout或者bolt属于topology处理能力最差的环节，应该把并行度提升到最大，即设置该实时并行度Executors值为Nmax。并标记该spout或bolt为步骤i，根据步骤i的执行时长、实时并行度和执行次数评估优化后执行时长最小值TargetExecuteTime，其计算公式为TargetExecuteTime＝ExecuteTime(i)÷Executed(i)×Nmax。
第二步：根据TargetExecuteTime依次计算出其他spout和bolt的实时并行度，对于spout或bolt标识为步骤j，计算得到的并行度值Executors(j)＝Math.ceil(TargetExecuteTime÷ExecuteTime(j)×Executors(j))，其中，Math.ceil为对浮点数往上取值，比如Math.ceil(3.1)＝4。
第三步：根据前面两步计算得到所有spout和bolt的新的实时并行度值与观察前并行度值比较，如果并行度值有变化，则进入第四步。否则不需要调整参数，重新进入下一轮观察。
第四步：通过storm接口用新的实时并行度值对topology做优化调整，并保存并行度值，进入下一轮观察。
如此不断循环的定期观察和调整，使得topology能很好的适应运行环境的变化和数据的变化，充分利用资源和提高处理性能。直到storm停止运行则退出。
实施例二：
本发明还提供一种自动优化Storm并行度的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1所示的步骤的方法步骤。
进一步地，作为一个可执行方案，所述自动优化Storm并行度的终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述自动优化Storm并行度的终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述自动优化Storm并行度的终端设备的组成结构仅仅是自动优化Storm并行度的终端设备的示例，并不构成对自动优化Storm并行度的终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述自动优化Storm并行度的终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述自动优化Storm并行度的终端设备的控制中心，利用各种接口和线路连接整个自动优化Storm并行度的终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述自动优化Storm并行度的终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述自动优化Storm并行度的终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明一种自动优化Storm并行度的方法，该发明采用程序自动持续观察运行情况并优化并行度，整个过程无需人工参与。根据实际环境的运行情况观察后调整并行度，比人工调整的更加精确，而且不断的调整使得系统能部署在不同的环境，或者外部环境和处理的数据内容发生变化后也能自动调整优化，充分利用了服务器资源和提高了数据处理性能，极大地方便开发者配置storm的topology。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.一种自动优化Storm并行度的方法，其特征在于：包括如下步骤：
S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；
S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；
S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topology)，进入S4步骤；
S4：开始观察并清零相关数据：开始观察，并对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，进入S5步骤；
S5：累加并记录相关数据：累加并记录观察时长T0，同时累加并记录每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed，直到观察时长T0大于或等于最小观察时长T，进入S6步骤；
S6：计算实时并行度：计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；
S7：调整并行度N：将S6中计算的每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4步骤。
2.如权利要求1所述的自动优化Storm并行度的方法，其特征在于：S6中，计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；具体为：
S61：遍历所有消息源(Spout)和消息处理者(Bolt)，找出执行时长ExecuteTime值最大的消息源(Spout)或消息处理者(Bolt)，并标识为步骤i，设置其实时并行度Executors(i)为Nmax，根据步骤i的执行时长、实时并行度和执行次数计算执行时长最小值TargetExecuteTime，其计算公式为：TargetExecuteTime＝ExecuteTime(i)÷Executed(i)×Nmax；
S62：根据执行时长最小值TargetExecuteTime依次计算其他消息源(Spout)和消息处理者(Bolt)的实时并行度，对于标识为步骤j的消息源(Spout)和消息处理者(Bolt)，其实时并行度Executors(j)计算公式为：Executors(j)＝Math.ceil(TargetExecuteTime÷ExecuteTime(j)×Executors(j))，其中Math.ceil为对浮点数往上取值；
S63：对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤。
3.一种自动优化Storm并行度的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-2所述方法的步骤。
4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-2所述方法的步骤。
CN201710960909.5A 2017-10-17 2017-10-17 自动优化Storm并行度的方法、终端设备及存储介质 Active CN107748711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710960909.5A CN107748711B (zh) 2017-10-17 2017-10-17 自动优化Storm并行度的方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710960909.5A CN107748711B (zh) 2017-10-17 2017-10-17 自动优化Storm并行度的方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN107748711A true CN107748711A (zh) 2018-03-02
CN107748711B CN107748711B (zh) 2021-01-12

Family

ID=61252905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710960909.5A Active CN107748711B (zh) 2017-10-17 2017-10-17 自动优化Storm并行度的方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN107748711B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324894A (zh) * 2018-08-13 2019-02-12 中兴飞流信息科技有限公司 集群计算方法、装置及计算机可读存储介质
CN112995306A (zh) * 2021-02-05 2021-06-18 建信金融科技有限责任公司 一种基于storm的实时账务信息处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1141836A2 (en) * 1998-12-23 2001-10-10 Cray Inc. Parallelism performance analysis based on execution trace information
US20140379725A1 (en) * 2013-06-19 2014-12-25 Microsoft Corporation On demand parallelism for columnstore index build
US9223674B2 (en) * 2013-03-11 2015-12-29 Wisconsin Alumni Research Foundation Computer system and method for runtime control of parallelism in program execution
CN107038071A (zh) * 2017-05-26 2017-08-11 重庆邮电大学 一种基于数据流预测的Storm任务伸缩调度算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1141836A2 (en) * 1998-12-23 2001-10-10 Cray Inc. Parallelism performance analysis based on execution trace information
US9223674B2 (en) * 2013-03-11 2015-12-29 Wisconsin Alumni Research Foundation Computer system and method for runtime control of parallelism in program execution
US20140379725A1 (en) * 2013-06-19 2014-12-25 Microsoft Corporation On demand parallelism for columnstore index build
CN107038071A (zh) * 2017-05-26 2017-08-11 重庆邮电大学 一种基于数据流预测的Storm任务伸缩调度算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROLAND KOTTO KOMBI: "A preventive auto-parallelization approach for elastic stream processing", 《IEEE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109324894A (zh) * 2018-08-13 2019-02-12 中兴飞流信息科技有限公司 集群计算方法、装置及计算机可读存储介质
CN112995306A (zh) * 2021-02-05 2021-06-18 建信金融科技有限责任公司 一种基于storm的实时账务信息处理方法及系统
CN112995306B (zh) * 2021-02-05 2023-10-20 建信金融科技有限责任公司 一种基于storm的实时账务信息处理方法及系统

Also Published As

Publication number Publication date
CN107748711B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
US20180203720A1 (en) Techniques to manage virtual classes for statistical tests
CN108573355B (zh) 模型更新后替换运行的方法、装置、及业务服务器
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
CN108615096A (zh) 服务器、金融时序数据的处理方法及存储介质
CN111008640A (zh) 图像识别模型训练及图像识别方法、装置、终端及介质
CN108388509B (zh) 一种软件测试方法、计算机可读存储介质及终端设备
CN106815254A (zh) 一种数据处理方法和装置
CN109815267A (zh) 数据建模中特征的分箱优化方法及系统、存储介质及终端
CN112668869A (zh) 一种监控软件开发过程的方法、装置、终端及存储介质
CN108833592A (zh) 云主机调度器优化方法、装置、设备及存储介质
CN107748711A (zh) 自动优化Storm并行度的方法、终端设备及存储介质
CN113240259B (zh) 规则策略组的生成方法、系统及电子设备
CN114220479A (zh) 一种蛋白质结构预测方法、蛋白质结构预测装置及介质
WO2023169173A1 (zh) 内存清理方法、装置、存储介质及电子设备
EP3195438A1 (en) System, method and apparatuses for determining parameter settings for a power generation system and a tangible computer readable medium
CN110334327B (zh) 面积信息的自动生成方法、装置以及存储装置
CN116452242A (zh) 一种基于拟合回归的游戏利润预测方法、装置及设备
CN110544166A (zh) 样本生成方法、装置及存储介质
CN114676272A (zh) 多媒体资源的信息处理方法、装置、设备及存储介质
CN111198986B (zh) 信息发送方法、装置、电子设备及存储介质
CN110246026B (zh) 一种数据转移的输出组合设定方法、装置及终端设备
US9767217B1 (en) Streaming graph computations in a distributed processing system
CN111382757B (zh) 深度学习分类算法中动态调节训练样本的方法及终端设备
CN112800089A (zh) 一种中间数据存储级别调整方法、存储介质及计算机设备
CN108804640B (zh) 基于最大化iv的数据分组方法、装置、储存介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant