CN112311603A - 一种动态更改Spark用户配置的方法、装置及其系统 - Google Patents
一种动态更改Spark用户配置的方法、装置及其系统 Download PDFInfo
- Publication number
- CN112311603A CN112311603A CN202011188830.3A CN202011188830A CN112311603A CN 112311603 A CN112311603 A CN 112311603A CN 202011188830 A CN202011188830 A CN 202011188830A CN 112311603 A CN112311603 A CN 112311603A
- Authority
- CN
- China
- Prior art keywords
- configuration information
- configuration
- latest
- variable
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008859 change Effects 0.000 claims abstract description 15
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明涉及一种动态更改Spark用户配置的方法、装置及其系统。该方法包括：利用预设restful接口接收用户发送的最新配置信息；利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。采用上述方法或装置或系统能够在任务运行过程中动态更改任务中的用户配置信息，提高了Spark任务的灵活性。
Description
技术领域
本发明涉及Spark任务配置的技术领域，具体涉及一种动态更改Spark用户配置的方法、装置及其系统。
背景技术
目前互联网领域的多个业务中均涉及到大数据的处理，例如广告、报表、推荐系统等业务，在上述业务中需要利用大数据做相应的数据分析、个性化推荐等操作。现有大数据的处理过程中涉及到的计算量极大，此种情况下采用了Spark计算引擎进行大数据处理。在Spark由driver和executor两个节点进行数据处理。其中，driver是Spark的驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Executor为Spark的执行器节点，负责在Spark作业中运行具体任务，任务之间相互独立。
目前，在Spark任务提交后，都先启动Driver，然后Driver向集群管理器注册应用程序，之后集群管理器根据此任务的配置文件分配Executor并启动，然后Driver等待资源满足，执行main函数。在任务执行过程中往往会出现需要修改配置信息的情况，现有技术中大多通过修改代码中的配置后重新编译发布到集群中执行或将配置信息存放到预先指定的数据库中，然后定时reload配置信息。上述方式不是需要修改代码就是需要构建数据库，导致修改效率低下，进而降低了Spark任务的执行效率。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种动态更改Spark用户配置的方法、装置及其系统。
为实现以上目的，本发明采用如下技术方案：
一种动态更改Spark用户配置的方法，所述方法应用于Driver驱动器，所述方法包括：
利用预设restful接口接收用户发送的最新配置信息；
利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。
可选的，还包括：
根据预设条件启动所述预设restful接口。
可选的，所述预设restful接口为http形式。
一种动态更改Spark用户配置的装置，包括：
最新配置信息获取模块，用于利用预设restful接口接收用户发送的最新配置信息；
最新配置信息广播模块，用于利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。
一种动态更改Spark用户配置的方法，所述方法应用于执行任务中的Executor执行器，所述方法包括：
获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；
根据所述最新配置信息更改自身任务中对应的配置信息。
可选的，所述根据所述最新配置信息更改自身任务中对应的配置信息，包括：
获取所述最新配置信息中的配置变量名称和配置变量赋值；
根据所述配置变量名称确定自身任务中对应的待更改配置变量；
将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。
一种动态更改Spark用户配置的装置，包括：
最新配置信息接收模块，用于获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；
配置信息更改模块，用于根据所述最新配置信息更改自身任务中对应的配置信息。
可选的，所述配置信息更改模块，包括：
配置变量信息获取单元，用于获取所述最新配置信息中的配置变量名称和配置变量赋值；
待更改变量确定单元，用于根据所述配置变量名称确定自身任务中对应的待更改配置变量；
变量赋值更改单元，用于将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。
一种动态更改Spark用户配置的系统，包括：
Driver驱动器、预设restful接口和多个Executor执行器；
所述Driver驱动器与所述预设restful接口通信连接，所述Driver驱动器用于执行上述所述的动态更改Spark用户配置的方法；
所述Executor执行器用于执行上述所述的动态更改Spark用户配置的方法。
可选的，还包括：用于广播最新配置信息的预设广播变量。
本申请提供的技术方案可以包括以下有益效果：
一种动态更改Spark用户配置的方法，所述方法应用于Driver驱动器，所述方法包括：利用预设restful接口接收用户发送的最新配置信息；利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。本方法中Driver驱动器通过预设restful接口接收用户发送的最新配置信息，然后将该最新配置信息经过预设广播变量进行广播，广播后所有的Executor执行器均会接收到该广播信息，尤其是执行任务的Executor执行器，进而Executor执行器根据该广播信息中的最新配置信息进行对应配置信息的更改，上述方法中通过预设restful接口接收用户发送的最新配置信息，将该最新配置信息进行广播后实时更改Executor执行器任务中对应的配置信息，以此实现更改运行中任务的配置信息，避免了修改代码或重新打包发布任务的操作，极大地提高了Spark任务的配置信息的更改效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的动态更改Spark用户配置的方法流程图；
图2是本发明另一实施例提供的动态更改Spark用户配置的方法流程图；
图3是本发明一实施例提供的动态更改Spark用户配置的装置模块图；
图4是本发明另一实施例提供的动态更改Spark用户配置的装置模块图；
图5是本发明一实施例提供的动态更改Spark用户配置的系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
Spark是一种通用的大数据计算引擎，常用于实时计算或离线计算。对于Spark实时计算任务，一经发布，需7*24小时不间断的持续计算。在Spark任务运行过程中，不能实时修改当前任务的配置信息等，为了能够在Spark任务运行过程中进行配置信息的更改现提供以下技术方案，具体如下。
以Driver驱动器为例进行说明，图1是本发明一实施例提供的动态更改Spark用户配置的方法流程图。参见图1，一种动态更改Spark用户配置的方法，所述方法应用于Driver驱动器，所述方法包括：
步骤101：利用预设restful接口接收用户发送的最新配置信息。本申请中的restful接口是一种接口的风格，可以是http形式的。通过这种方式，可以使外界具有与该任务的交互能力。通俗的讲，就是外界调用了这个任务提供的接口，可以动态干预内部的一些运行情况或数据。因此Driver驱动器通过单独的线程，启动一个微型的预设restful接口可接收用户发送的最新配置信息。
步骤102：利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。Spark内的广播变量可将最新配置信息广播出去，后续所有的Executor执行器就可以从广播变量中获取最新的配置信息，然后Executor执行器根据该最新配置信息更改任务中旧的配置信息，以此实现动态改变Spark任务的行为。
更进一步地，在此基础上还包括：根据预设条件启动所述预设restful接口。当用户需要对Spark任务中的配置信息进行修改时，Driver驱动器启动restful接口服务，即预设restful接口，根据此接口接收用户的修改信息。
上述方法中本申请可在任意时刻通过预设restful接口接收用户更改后的配置信息，然后通过广播变量将新的配置信息广播出去，Executor执行器从广播变量中获取新的配置信息，然后根据该配置信息更改当前运行中任务对应的配置信息。本申请中通过预设restful接口可实时接收用户的最新配置信息，利用广播变量使Executor执行器接收到最新配置信息，进而在任务执行过程中更改对应的配置信息，实现动态改变spark任务的行为，此过程中无需修改代码，无需数据库，无需重新打包发布任务，操作方便快速，极大地提高了spark任务的用户配置信息的修改效率。
对应于本发明实施例提供的一种动态更改Spark用户配置的方法，本发明实施例还提供一种动态更改Spark用户配置的装置。请参见下文实施例。
图3是本发明一实施例提供的动态更改Spark用户配置的装置模块图。参见图3，一种动态更改Spark用户配置的装置，包括：
最新配置信息获取模块301，用于利用预设restful接口接收用户发送的最新配置信息；
最新配置信息广播模块302，用于利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。
上述装置通过内置restful接口服务实现用户最新配置的获取与配置的广播，可在任务运行中动态修改spark任务的用户配置，无需修改代码与配置信息，无需重新打包发布，使得运行中的Spark任务具备更强大的灵活性。
更详细地，为了更全面的介绍本申请中用户配置信息的更改方法，现以Executor执行器角度进行介绍。
图2是本发明另一实施例提供的动态更改Spark用户配置的方法流程图。参见图2，一种动态更改Spark用户配置的方法，所述方法包括：
步骤201：获取预设广播变量中的最新配置信息；最新配置信息由Driver驱动器通过预设restful接口接收。配置信息包括配置变量名称key和配置变量赋值value。
步骤202：获取最新配置信息中的配置变量名称和配置变量赋值。Executor执行器获取到最新配置信息后，分析该信息，得到该信息中的最新配置信息的key和value。
步骤203：根据配置变量名称确定自身任务中对应的待更改配置变量。根据最新配置信息中的key检索当前执行任务中的所有的key。
步骤204：将配置变量赋值更新自身任务中待更改配置变量对应的赋值。根据步骤203检索出来的所有的key，将最新配置信息中的value赋值给对应的key，以此实现配置信息的更改。
上述实施例中Executor执行器通过对最新配置信息进行分析，根据配置信息中的key得到对应的赋值value，进而将当前执行任务中的key的赋值更改为最新配置信息中的value,以此实现动态改变spark任务的行为，此过程中无需修改任务代码，无需重新打包发布任务，在任务运行中即可实现配置信息的更改，极大地提高了Spark任务的灵活性。
同时，在上述方法实施例的基础上，本申请中还公开了对应的装置实施例，具体如下：
图4是本发明另一实施例提供的动态更改Spark用户配置的装置模块图。参见图4，一种动态更改Spark用户配置的装置，包括：
最新配置信息接收模块401，用于获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；
配置信息更改模块402，用于根据所述最新配置信息更改自身任务中对应的配置信息。
具体的，配置信息更改模块402包括：
配置变量信息获取单元4021，用于获取所述最新配置信息中的配置变量名称和配置变量赋值；
待更改变量确定单元4022，用于根据所述配置变量名称确定自身任务中对应的待更改配置变量；
变量赋值更改单元4023，用于将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。
上述装置中通过广播变量中的最新配置信息动态改变运行中任务的配置信息，以此实现动态改变Spark任务的行为，提高了Spark任务的适应性。
为了更详细地介绍本申请中配置信息的更改方法，先举例进行介绍，具体如下：
用户需要对当前运行中Spark任务中的配置变量name进行更改，当前任务中的name的赋值为“张三”，用户需要将“张三”更改为“李四”。此时，用户通过客户端输入更改后的配置信息“name＝李四”并通过预设restful接口将“name＝李四”发送至Driver驱动器，Driver驱动器通过预设restful接口接收“name＝李四”信息，然后通过Spark中的广播变量将“name＝李四”广播出去，此时Spark中的所有的Executor执行器均会接收到广播变量的广播信息，并对广播信息进行分析，确定需要进行修改的是配置信息name，且修改后的name赋值为李四，然后Executor执行器对自身运行任务进行检索，将自身任务中的所有name的配置信息找到，然后将所有的“name＝张三”，修改为“name＝李四”，然后根据修改果配置信息的指令运行，若Executor执行器的当前任务中没有配置信息name，则无需修改继续运行代码即可。
为了更清楚地介绍实现本发明实施例的硬件系统，对应于本发明实施例提供的一种动态更改Spark用户配置的方法，本发明实施例还提供一种动态更改Spark用户配置的系统。请参见下文实施例。
图5是本发明一实施例提供的动态更改Spark用户配置的系统结构图。参见图5，一种动态更改Spark用户配置的系统，包括：
Driver驱动器502、预设restful接口501和多个Executor执行器503；
所述Driver驱动器502与所述预设restful接口501通信连接，所述Driver驱动器502用于执行上述所述的动态更改Spark用户配置的方法；
所述Executor执行器503用于执行上述所述的动态更改Spark用户配置的方法。其中，Driver驱动器502通过广播变量将最新配置信息广播出去，使Executor执行器503能够获取最新配置信息，进而实现Spark任务的动态更改。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种动态更改Spark用户配置的方法，其特征在于，所述方法应用于Driver驱动器，所述方法包括：
利用预设restful接口接收用户发送的最新配置信息；
利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据预设条件启动所述预设restful接口。
3.根据权利要求1所述的方法，其特征在于，所述预设restful接口为http形式。
4.一种动态更改Spark用户配置的装置，其特征在于，包括：
最新配置信息获取模块，用于利用预设restful接口接收用户发送的最新配置信息；
最新配置信息广播模块，用于利用Spark内的预设广播变量广播所述最新配置信息，使执行任务中的所有Executor执行器获取所述最新配置信息进行配置信息的更改。
5.一种动态更改Spark用户配置的方法，其特征在于，所述方法应用于执行任务中的Executor执行器，所述方法包括：
获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；
根据所述最新配置信息更改自身任务中对应的配置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述最新配置信息更改自身任务中对应的配置信息，包括：
获取所述最新配置信息中的配置变量名称和配置变量赋值；
根据所述配置变量名称确定自身任务中对应的待更改配置变量；
将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。
7.一种动态更改Spark用户配置的装置，其特征在于，包括：
最新配置信息接收模块，用于获取预设广播变量中的最新配置信息；所述最新配置信息由Driver驱动器通过预设restful接口接收；
配置信息更改模块，用于根据所述最新配置信息更改自身任务中对应的配置信息。
8.根据权利要求7所述的装置，其特征在于，所述配置信息更改模块，包括：
配置变量信息获取单元，用于获取所述最新配置信息中的配置变量名称和配置变量赋值；
待更改变量确定单元，用于根据所述配置变量名称确定自身任务中对应的待更改配置变量；
变量赋值更改单元，用于将所述配置变量赋值更新自身任务中所述待更改配置变量对应的赋值。
9.一种动态更改Spark用户配置的系统，其特征在于，包括：
Driver驱动器、预设restful接口和多个Executor执行器；
所述Driver驱动器与所述预设restful接口通信连接，所述Driver驱动器用于执行权利要求1-3任一项所述的动态更改Spark用户配置的方法；
所述Executor执行器用于执行权利要求5-6任一项所述的动态更改Spark用户配置的方法。
10.根据权利要求9所述的系统，其特征在于，还包括：用于广播最新配置信息的预设广播变量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011188830.3A CN112311603A (zh) | 2020-10-30 | 2020-10-30 | 一种动态更改Spark用户配置的方法、装置及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011188830.3A CN112311603A (zh) | 2020-10-30 | 2020-10-30 | 一种动态更改Spark用户配置的方法、装置及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112311603A true CN112311603A (zh) | 2021-02-02 |
Family
ID=74333444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011188830.3A Pending CN112311603A (zh) | 2020-10-30 | 2020-10-30 | 一种动态更改Spark用户配置的方法、装置及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112311603A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117331675A (zh) * | 2023-11-27 | 2024-01-02 | 云筑信息科技(成都)有限公司 | 一种微服务中优雅启停的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628954A (zh) * | 2018-04-10 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 一种海量数据自助查询方法和装置 |
| US20180314533A1 (en) * | 2017-04-28 | 2018-11-01 | International Business Machines Corporation | Adaptive hardware configuration for data analytics |
| CN111475317A (zh) * | 2020-04-17 | 2020-07-31 | 上海中通吉网络技术有限公司 | Spark批次时间修改方法、装置、设备和存储介质 |
| CN111767092A (zh) * | 2020-06-30 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 作业执行方法、装置、系统及计算机可读存储介质 |
-
2020
- 2020-10-30 CN CN202011188830.3A patent/CN112311603A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180314533A1 (en) * | 2017-04-28 | 2018-11-01 | International Business Machines Corporation | Adaptive hardware configuration for data analytics |
| CN108628954A (zh) * | 2018-04-10 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 一种海量数据自助查询方法和装置 |
| CN111475317A (zh) * | 2020-04-17 | 2020-07-31 | 上海中通吉网络技术有限公司 | Spark批次时间修改方法、装置、设备和存储介质 |
| CN111767092A (zh) * | 2020-06-30 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 作业执行方法、装置、系统及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈侨安等: "基于运行数据分析的Spark任务参数优化", 《计算机工程与科学》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117331675A (zh) * | 2023-11-27 | 2024-01-02 | 云筑信息科技(成都)有限公司 | 一种微服务中优雅启停的方法 |
| CN117331675B (zh) * | 2023-11-27 | 2024-03-26 | 云筑信息科技(成都)有限公司 | 一种微服务中优雅启停的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427299B (zh) | 微服务系统应用的日志处理方法、相关设备及系统 | |
| US20130104135A1 (en) | Data center operation | |
| US20160179884A1 (en) | Integrated event processing and database management | |
| CN109033109B (zh) | 数据处理方法及系统 | |
| CN109117252B (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| CN111782134B (zh) | 数据处理方法、装置、系统和计算机可读存储介质 | |
| CN112181764A (zh) | Kubernetes资源数据的监视方法及装置 | |
| CN110704749B (zh) | 推荐引擎定制系统、推荐方法及推荐系统、电子设备 | |
| GB2378546A (en) | Automatic configuration of performance management software | |
| CN112311603A (zh) | 一种动态更改Spark用户配置的方法、装置及其系统 | |
| CN111104548B (zh) | 一种数据反馈方法、系统及存储介质 | |
| US11188532B2 (en) | Successive database record filtering on disparate database types | |
| CN111736950A (zh) | 一种虚拟机的加速器资源添加方法及相关装置 | |
| US20070240165A1 (en) | System and method for aggregating data from multiple sources to provide a single CIM object | |
| CN113761052A (zh) | 数据库同步方法和装置 | |
| CN112559565A (zh) | 一种异常检测方法、系统及装置 | |
| US11216352B2 (en) | Method for automatically analyzing bottleneck in real time and an apparatus for performing the method | |
| CN114490526B (zh) | 选课索引文件更新方法、课程搜索方法及装置 | |
| CN110990213B (zh) | 一种集群环境用户日志实时监控方法及装置 | |
| CN109902067B (zh) | 文件处理方法、装置、存储介质及计算机设备 | |
| CN107180042B (zh) | 搜索引擎的流量统计方法、装置及系统 | |
| CN111641874A (zh) | 一种分布式计算方法、系统、及可读存储介质 | |
| CN112181979A (zh) | 一种数据更新方法、装置、存储介质及电子设备 | |
| CN113992703B (zh) | 一种分布式存储系统参数调优方法及相关组件 | |
| US20240143364A1 (en) | Intelligent snapshotting of vms for container orchestration platforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210202 |
|
| RJ01 | Rejection of invention patent application after publication |