CN105740408A - 调用hadoop集群的方法和装置 - Google Patents
调用hadoop集群的方法和装置 Download PDFInfo
- Publication number
- CN105740408A CN105740408A CN201610061664.8A CN201610061664A CN105740408A CN 105740408 A CN105740408 A CN 105740408A CN 201610061664 A CN201610061664 A CN 201610061664A CN 105740408 A CN105740408 A CN 105740408A
- Authority
- CN
- China
- Prior art keywords
- hadoop cluster
- configuration file
- module
- cluster
- hadoop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明提出一种调用hadoop集群的方法和装置，该方法包括：在应用程序启动后，初始化hadoop API，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取用户上传的待调用hadoop集群的配置文件；采用所述配置文件更新所述默认值，得到新值；重新初始化hadoop API，并采用重新初始化后的API根据新值描述真实的hadoop集群；根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。该方法能够在调用hadoop集群时，提高灵活性，以动态调用hadoop集群，并且也不需要开发者对hadoop集群的安装细节很了解。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种调用hadoop集群的方法和装置。
背景技术
hadoop是一种分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。在开发基于hadoop集群的一些应用程序时，开发者一般通过两种方式。第一种方式是将集群的配置文件嵌入到应用程序的代码中，然后通过hadoop应用程序编程接口(ApplicationProgrammingInterface，API)的默认处理方式，调用集群服务。另一种方式需要开发者将调用集群服务所需要的参数传递给相应的API。但是，第一种方式会存在不够灵活的问题，第二种方式存在需要开发者对集群服务非常熟悉的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种调用hadoop集群的方法，该方法可以在调用hadoop集群时，提高灵活性，以动态调用hadoop集群，并且也不需要开发者对hadoop集群的安装细节很了解，便于将精力专注于hadoop服务的使用。
本发明的另一个目的在于提出一种调用hadoop集群的装置。
为达到上述目的，本发明第一方面实施例提出的调用hadoop集群的方法，包括：在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取用户上传的待调用hadoop集群的配置文件；采用所述配置文件更新所述默认值，得到新值；重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群；根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
本发明第一方面实施例提出的调用hadoop集群的方法，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。
为达到上述目的，本发明第二方面实施例提出的调用hadoop集群的装置，包括：第一初始化模块，用于在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群；读取模块，用于读取用户上传的待调用hadoop集群的配置文件；第一更新模块，用于采用所述配置文件更新所述默认值，得到新值；重新初始化模块，用于重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群；调用模块，用于根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
本发明第二方面实施例提出的调用hadoop集群的装置，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提出的调用hadoop集群的方法的流程示意图；
图2是本发明另一实施例提出的调用hadoop集群的方法的流程示意图；
图3是本发明另一实施例提出的调用hadoop集群的方法的流程示意图；
图4是本发明另一实施例提出的调用hadoop集群的装置的结构示意图；
图5是本发明另一实施例提出的调用hadoop集群的装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的调用hadoop集群的方法的流程示意图。
本实施例可以由用于调用集群的应用程序执行，该应用程序例如称为管理程序。
本实施例的方法可以应用在应用程序启动后。
参见图1，该方法包括：
S11：在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群。
以应用程序称为管理程序为例，相关技术中，可以在开发管理程序时，将待调用集群的配置文件嵌入到管理程序的代码中，之后当管理程序启动后，通过hadoopAPI的默认处理方式，调用相应的集群。
本实施例中，在开发管理程序时，不需要在管理程序的代码中嵌入配置文件，此时，管理程序中的配置文件为空。
根据hadoop的执行规范，管理程序在启动后，会初始化hadoopAPI，并采用初始化后的API根据默认值执行默认处理配置文件的方式。由于本实施例中，管理程序的配置文件为空，因此，初始化时根据默认值会描述一个虚拟的hadoop集群，即无法调用任何现有集群的服务。
S12：读取用户上传的待调用hadoop集群的配置文件。
与相关技术中直接将配置文件嵌入到代码中不同的是，本实施例中，配置文件是由用户上传的，不需要在代码中嵌入，用户可以根据待调用的hadoop集群的不同，而上传相应的配置文件。
用户可以从hadoop集群的提供网站下载相应hadoop集群的配置文件。或者，也可以由用户配置等。
S13：采用所述配置文件更新所述默认值，得到新值。
在读取到配置文件中，可以用该配置文件更新内存中的默认值，得到新值。
例如，默认值和配置文件中都包括第一参数的值，则用配置文件中第一参数的值替换默认值中的第一参数的值。
S14：重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群。
在得到新值后，可以重新进行初始化，在重新初始化后，重新初始化后的API会根据新值描述一个真实的hadoop集群，该真实的hadoop集群就是读取的配置文件对应的hadoop集群，以便调用相应的hadoop集群。
S15：根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
在描述得到一个真实的hadoop集群后，应用程序可以根据已描述的真实的hadoop集群的信息调用相应的hadoop集群，获取相应的hadoop集群提供的服务，或者，也可以称为根据已描述的真实的hadoop集群的信息调用真实的hadoop集群的服务。
当需要切换待调用的hadoop集群时，该方法还可以包括：
在保持应用程序启动状态下，重新读取新的hadoop集群的配置文件，并采用新的配置文件更新已有配置文件，以及重新初始化hadoopAPI，以便重新调用新的hadoop集群。
相对于相关技术中切换集群需要重启应用程序，本实施例中，可以保持应用程序的启动状态，通过重新初始化API实现调用新的集群，从而实现集群热插拔。
上述描述了应用程序启动后的流程，在应用程序启动之前还可以包括其他步骤。
相关技术中，调用hadoop集群的流程可以包括：安装集群、配置集群、配置管理程序、启动管理程序。
而本申请的一些实施例中，参见图2，调用hadoop集群的流程可以包括：
S21：安装hadoop集群。
S22：将hadoop集群的配置文件设置为空。
当管理程序启动后，调用hadoopAPI的默认处理配置文件的方式，但由于配置文件为空，此时hadoopAPI会采用一些默认值，但是无法调用任何现有hadoop集群。
S23：将需要调用的hadoop集群的配置文件保存在配置池中。
相对于相关技术中配置管理程序的方式，本实施例中可以不配置管理程序，而是将需要用到的配置文件保存在配置池中。
需要调用的hadoop集群的配置文件可以为一个hadoop集群或多个hadoop集群的。
具体可以由用户将配置文件上传并保存在配置池中。
用户可以从hadoop集群的提供网站下载相应hadoop集群的配置文件。或者，也可以由用户配置等。
在配置池中保存多个配置文件时，可以根据实际需要将其中一个设置为待调用的hadoop集群的配置文件，从而在应用程序启动后，读取该待调用的hadoop集群的配置文件。
S24：启动应用程序。
之后可以执行如上的S11-S15。
本实施例中，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。进一步的，本实施例通过重新初始化hadoopAPI的方式可以调用新的hadoop集群，而不需要重启应用程序，实现hadoop集群的热插拔。进一步的，当配置文件是从网站下载时，可以提高效率和准确度。
hadoop集群所处的环境包括：无kerberos环境和有kerberos环境。
kerberos是一种安全认证的系统。
在无kerberos环境时，可以采用上述的S11-S15的流程进行处理。
图3是本发明另一实施例提出的调用hadoop集群的方法的流程示意图。
本实施例可以应用在有kerberos环境时。
本实施例的方法应用在应用程序启动后。
参见图3，本实施例的方法包括：
S31：初始化用户身份组模块。
S32：初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群。
S33：读取用户上传的待调用hadoop集群的配置文件。
S34：采用所述配置文件更新所述默认值，得到新值。
S35：根据所述配置文件更新用户身份组模块的内容。
其中，S34-S35无时序限定关系。
S36：重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群。
S37：根据真实的hadoop集群的信息，调用真实的hadoop集群。
与无kerberos环境相比，有kerberos环境时，会存在初始化用户身份组模块和更新用户身份组模块的流程。
本实施例中，初始化用户身份组模块的流程可以采用通常的有kerberos环境时的相关流程。本实施例中，在读取到配置文件后，可以用配置文件中新的信息替换用户身份组模块中的相应信息，以实现用户身份组模块的内容更新。
另外，其他流程可以具体参见无kerberos环境时的处理流程，在此不再赘述。
可选的，在待调用hadoop集群不同时，不同的待调用hadoop集群具有相同的有无kerberos环境，或者，部分hadoop集群有kerberos环境，部分hadoop集群无kerberos环境。
本实施例中，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。进一步的，本实施例通过重新初始化hadoopAPI的方式可以调用新的hadoop集群，而不需要重启应用程序，实现hadoop集群的热插拔。进一步的，当配置文件是从网站下载时，可以提高效率和准确度。进一步的，通过配置文件进行更新，从Keytab文件角度，相关技术中写mapreduce需要知道集群细节、hdfs、namenode等，而本实施例中不需要了。进一步的，可以实现部分集群服务使用kerberos，部分集群服务不使用kerberos。
图4是本发明另一实施例提出的调用hadoop集群的装置的结构示意图。参见图4，该装置40包括：第一初始化模块401、读取模块402、第一更新模块403、重新初始化模块404和调用模块405。
第一初始化模块401，用于在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群。
以应用程序称为管理程序为例，相关技术中，可以在开发管理程序时，将待调用集群的配置文件嵌入到管理程序的代码中，之后当管理程序启动后，通过hadoopAPI的默认处理方式，调用相应的集群。
本实施例中，在开发管理程序时，不需要在管理程序的代码中嵌入配置文件，此时，管理程序中的配置文件为空。
根据hadoop的执行规范，管理程序在启动后，会初始化hadoopAPI，并采用初始化后的API根据默认值执行默认处理配置文件的方式。由于本实施例中，管理程序的配置文件为空，因此，初始化时根据默认值会描述一个虚拟的hadoop集群，即无法调用任何现有集群的服务。
读取模块402，用于读取用户上传的待调用hadoop集群的配置文件。
与相关技术中直接将配置文件嵌入到代码中不同的是，本实施例中，配置文件是由用户上传的，不需要在代码中嵌入，用户可以根据待调用的hadoop集群的不同，而上传相应的配置文件。
用户可以从hadoop集群的提供网站下载相应hadoop集群的配置文件。或者，也可以由用户配置等。
第一更新模块403，用于采用所述配置文件更新所述默认值，得到新值。
在读取到配置文件中，可以用该配置文件更新内存中的默认值，得到新值。
重新初始化模块404，用于重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群。
在得到新值后，可以重新进行初始化，在重新初始化后，重新初始化后的API会根据新值描述一个真实的hadoop集群，该真实的hadoop集群就是读取的配置文件对应的hadoop集群，以便调用相应的hadoop集群。
调用模块405，用于根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
在描述得到一个真实的hadoop集群后，应用程序可以根据已描述的真实的hadoop集群的信息调用相应的hadoop集群，获取相应的hadoop集群提供的服务。
一些实施例中，参见图5，该装置40还包括：
切换模块406，用于在保持应用程序启动状态下，重新读取新的hadoop集群的配置文件，并采用新的配置文件更新已有配置文件，以及重新初始化hadoopAPI，以便重新调用新的hadoop集群。
相对于相关技术中切换集群需要重启应用程序，本实施例中，可以保持应用程序的启动状态，通过重新初始化API实现调用新的集群，从而实现集群热插拔。
一些实施例中，参见图5，该装置40还包括：
安装模块407，用于安装hadoop集群。
配置模块408，用于将hadoop集群的配置文件设置为空，以便采用初始化后的API根据默认值描述虚拟的hadoop集群。
当管理程序启动后，调用hadoopAPI的默认处理配置文件的方式，但由于配置文件为空，此时hadoopAPI会采用一些默认值，但是无法调用任何现有hadoop集群。
保存模块409，用于将hadoop集群的配置文件保存在配置池中，以便从配置池中读取配置文件。
相对于相关技术中配置管理程序的方式，本实施例中可以不配置管理程序，而是将需要用到的配置文件保存在配置池中。
需要调用的hadoop集群的配置文件可以为一个hadoop集群或多个hadoop集群的。
具体可以由用户将配置文件上传并保存在配置池中。
用户可以从hadoop集群的提供网站下载相应hadoop集群的配置文件。或者，也可以由用户配置等。
在配置池中保存多个配置文件时，可以根据实际需要将其中一个设置为待调用的hadoop集群的配置文件，从而在应用程序启动后，读取该待调用的hadoop集群的配置文件。
启动模块410，用于启动应用程序。
一些实施例中，参见图5，在有kerberos环境时，所述装置40还包括：
第二初始化模块411，用于在初始化hadoopAPI之前，初始化用户身份组模块；
第二更新模块412，用于在重新初始化hadoopAPI之前，根据读取的配置文件更新用户身份组模块的内容。
与无kerberos环境相比，有kerberos环境时，会存在初始化用户身份组模块和更新用户身份组模块的流程。
本实施例中，初始化用户身份组模块的流程可以采用通常的有kerberos环境时的相关流程。本实施例中，在读取到配置文件后，可以用配置文件中新的信息替换用户身份组模块中的相应信息，以实现用户身份组模块的内容更新。
另外，其他流程可以具体参见无kerberos环境时的处理流程，在此不再赘述。
可选的，在待调用hadoop集群不同时，不同的待调用hadoop集群具有相同的有无kerberos环境，或者，部分hadoop集群有kerberos环境，部分hadoop集群无kerberos环境。
可选的，所述配置文件是用户从提供hadoop集群的配置文件的网站下载的。
本实施例中各种模块的具体内容可以参见上述方法实施例中的相关描述，在此不再详细描述。
本实施例中，通过采用集群的配置文件而不是传送参数的方式，可以不需要开发者对待调用的hadoop集群的安装细节很了解，另外，通过读取用户上传的配置文件，而不是将配置文件嵌入到代码中，可以提高灵活性，从而实现对集群的动态调用。进一步的，本实施例通过重新初始化hadoopAPI的方式可以调用新的hadoop集群，而不需要重启应用程序，实现hadoop集群的热插拔。进一步的，当配置文件是从网站下载时，可以提高效率和准确度。进一步的，通过配置文件进行更新，从Keytab文件角度，相关技术中写mapreduce需要知道集群细节、hdfs、namenode等，而本实施例中不需要了。进一步的，可以实现部分集群服务使用kerberos，部分集群服务不使用kerberos。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种调用hadoop集群的方法，其特征在于，包括：
在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群；
读取用户上传的待调用hadoop集群的配置文件；
采用所述配置文件更新所述默认值，得到新值；
重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群；
根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
2.根据权利要求1所述的方法，其特征在于，还包括：
安装hadoop集群；
将hadoop集群的配置文件设置为空，以便采用初始化后的API根据默认值描述虚拟的hadoop集群；
将hadoop集群的配置文件保存在配置池中，以便从配置池中读取配置文件；
启动应用程序。
3.根据权利要求1所述的方法，其特征在于，当需要切换待调用的hadoop集群时，所述方法还包括：
在保持应用程序启动状态下，重新读取新的hadoop集群的配置文件，并采用新的配置文件更新已有配置文件，以及重新初始化hadoopAPI，以便重新调用新的hadoop集群。
4.根据权利要求1所述的方法，其特征在于，在有kerberos环境时，所述方法还包括：
在初始化hadoopAPI之前，初始化用户身份组模块；
在重新初始化hadoopAPI之前，根据读取的配置文件更新用户身份组模块的内容。
5.根据权利要求4所述的方法，其特征在于，在待调用hadoop集群不同时，不同的待调用hadoop集群具有相同的有无kerberos环境，或者，部分hadoop集群有kerberos环境，部分hadoop集群无kerberos环境。
6.根据权利要求1所述的方法，其特征在于，所述配置文件是用户从提供hadoop集群的配置文件的网站下载的。
7.一种调用hadoop集群的装置，其特征在于，包括：
第一初始化模块，用于在应用程序启动后，初始化hadoopAPI，并采用初始化后的API根据默认值描述虚拟的hadoop集群；
读取模块，用于读取用户上传的待调用hadoop集群的配置文件；
第一更新模块，用于采用所述配置文件更新所述默认值，得到新值；
重新初始化模块，用于重新初始化hadoopAPI，并采用重新初始化后的API根据新值描述真实的hadoop集群；
调用模块，用于根据所述真实的hadoop集群的信息，调用所述真实的hadoop集群。
8.根据权利要求7所述的装置，其特征在于，还包括：
安装模块，用于安装hadoop集群；
配置模块，用于将hadoop集群的配置文件设置为空，以便采用初始化后的API根据默认值描述虚拟的hadoop集群；
保存模块，用于将hadoop集群的配置文件保存在配置池中，以便从配置池中读取配置文件；
启动模块，用于启动应用程序。
9.根据权利要求7所述的装置，其特征在于，还包括：
切换模块，用于在保持应用程序启动状态下，重新读取新的hadoop集群的配置文件，并采用新的配置文件更新已有配置文件，以及重新初始化hadoopAPI，以便重新调用新的hadoop集群。
10.根据权利要求7所述的装置，其特征在于，在有kerberos环境时，所述装置还包括：
第二初始化模块，用于在初始化hadoopAPI之前，初始化用户身份组模块；
第二更新模块，用于在重新初始化hadoopAPI之前，根据读取的配置文件更新用户身份组模块的内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610061664.8A CN105740408B (zh) | 2016-01-28 | 2016-01-28 | 调用hadoop集群的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610061664.8A CN105740408B (zh) | 2016-01-28 | 2016-01-28 | 调用hadoop集群的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105740408A true CN105740408A (zh) | 2016-07-06 |
| CN105740408B CN105740408B (zh) | 2019-02-05 |
Family
ID=56247937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610061664.8A Active CN105740408B (zh) | 2016-01-28 | 2016-01-28 | 调用hadoop集群的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105740408B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375323A (zh) * | 2016-09-09 | 2017-02-01 | 浪潮软件股份有限公司 | 一种多租户模式下kerberos身份认证的方法 |
| CN109039730A (zh) * | 2018-07-25 | 2018-12-18 | 网宿科技股份有限公司 | 服务器集群及服务器集群配置信息管理方法 |
| CN109710223A (zh) * | 2018-12-29 | 2019-05-03 | 北京邮电大学 | 基于分布式kv存储系统的api网关热插拔系统 |
| CN114880103A (zh) * | 2022-07-11 | 2022-08-09 | 中电云数智科技有限公司 | 一种flink任务适配hadoop生态的系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6128730A (en) * | 1997-12-29 | 2000-10-03 | Bull Hn Information Systems Inc. | Method and apparatus for multilevel software configuration having administrator and software driven override limiting capabilities |
| CN102455915A (zh) * | 2010-10-18 | 2012-05-16 | 卓望数码技术（深圳）有限公司 | 一种分布式系统的自动化配置方法及服务器 |
| CN103647830A (zh) * | 2013-12-13 | 2014-03-19 | 浪潮电子信息产业股份有限公司 | 一种集群管理系统中多层次配置文件的动态管理方法 |
| CN103795801A (zh) * | 2014-02-12 | 2014-05-14 | 浪潮电子信息产业股份有限公司 | 一种基于实时应用集群的元数据集群设计方法 |
| CN104699508A (zh) * | 2015-03-25 | 2015-06-10 | 南京大学 | 云计算平台中快速部署和更新虚拟环境系统及其方法 |
-
2016
- 2016-01-28 CN CN201610061664.8A patent/CN105740408B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6128730A (en) * | 1997-12-29 | 2000-10-03 | Bull Hn Information Systems Inc. | Method and apparatus for multilevel software configuration having administrator and software driven override limiting capabilities |
| CN102455915A (zh) * | 2010-10-18 | 2012-05-16 | 卓望数码技术（深圳）有限公司 | 一种分布式系统的自动化配置方法及服务器 |
| CN103647830A (zh) * | 2013-12-13 | 2014-03-19 | 浪潮电子信息产业股份有限公司 | 一种集群管理系统中多层次配置文件的动态管理方法 |
| CN103795801A (zh) * | 2014-02-12 | 2014-05-14 | 浪潮电子信息产业股份有限公司 | 一种基于实时应用集群的元数据集群设计方法 |
| CN104699508A (zh) * | 2015-03-25 | 2015-06-10 | 南京大学 | 云计算平台中快速部署和更新虚拟环境系统及其方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375323A (zh) * | 2016-09-09 | 2017-02-01 | 浪潮软件股份有限公司 | 一种多租户模式下kerberos身份认证的方法 |
| CN109039730A (zh) * | 2018-07-25 | 2018-12-18 | 网宿科技股份有限公司 | 服务器集群及服务器集群配置信息管理方法 |
| CN109039730B (zh) * | 2018-07-25 | 2021-09-24 | 网宿科技股份有限公司 | 服务器集群及服务器集群配置信息管理方法 |
| CN109710223A (zh) * | 2018-12-29 | 2019-05-03 | 北京邮电大学 | 基于分布式kv存储系统的api网关热插拔系统 |
| CN114880103A (zh) * | 2022-07-11 | 2022-08-09 | 中电云数智科技有限公司 | 一种flink任务适配hadoop生态的系统和方法 |
| CN114880103B (zh) * | 2022-07-11 | 2022-09-09 | 中电云数智科技有限公司 | 一种flink任务适配hadoop生态的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105740408B (zh) | 2019-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10938954B2 (en) | Method and system for mobile applications update in the cloud | |
| US8914785B2 (en) | Providing virtual appliance system firmware images | |
| TWI428830B (zh) | 將機器轉換至虛擬機器的方法及電腦程式產品 | |
| CN105740408A (zh) | 调用hadoop集群的方法和装置 | |
| CN104011677B (zh) | 利用流技术在多个目标上部署软件映像的方法及系统 | |
| US10635819B2 (en) | Persistent enrollment of a computing device based on a temporary user | |
| US10061651B2 (en) | System and method for hosting multiple recovery operating systems in memory | |
| US20120151201A1 (en) | Management of multiple software images with relocation of boot blocks | |
| US9052918B2 (en) | Management of multiple software images with shared memory blocks | |
| US20110023048A1 (en) | Intelligent data placement and management in virtual computing environments | |
| US11599385B2 (en) | System and method for distribution of dependent builds across orchestration job scheduler slaves | |
| US9699252B2 (en) | Deployment of virtual machine disks from a shared network file system | |
| US10127050B2 (en) | Efficient booting system | |
| US20230229481A1 (en) | Provisioning dpu management operating systems | |
| JP7410268B2 (ja) | コンテナ・ベースの仮想化システムに関する方法 | |
| US20210182047A1 (en) | Installing Patches During Upgrades | |
| KR100736973B1 (ko) | 디바이스 표현 장치 및 방법 | |
| CN112000382A (zh) | 一种Linux系统启动方法、装置及可读存储介质 | |
| US20110125872A1 (en) | Personalizing space in a network environment | |
| US20180253316A1 (en) | Capturing pre-fetch blocks of an operating system to improve boot performance in a cloud environment | |
| US12073229B2 (en) | Single node deployment of container platform | |
| US20060047927A1 (en) | Incremental provisioning of software | |
| US20230325222A1 (en) | Lifecycle and recovery for virtualized dpu management operating systems | |
| CN112948062B (zh) | 设备文件的透传方法、设备及计算机存储介质 | |
| CN114416148A (zh) | 一种虚拟机管理程序热升级方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |