CN108415934A - 一种Hive表修复方法、装置、设备及计算机可读存储介质 - Google Patents
一种Hive表修复方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108415934A CN108415934A CN201810065153.2A CN201810065153A CN108415934A CN 108415934 A CN108415934 A CN 108415934A CN 201810065153 A CN201810065153 A CN 201810065153A CN 108415934 A CN108415934 A CN 108415934A
- Authority
- CN
- China
- Prior art keywords
- hive
- subregion
- information
- tables
- hive tables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种Hive表修复方法、装置、设备及计算机可读存储介质，其中，方法包括：在Hive的元数据库中确定Hive表的分区字段信息；在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。本发明能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种Hive表修复方法、装置、设备及计算机可读存储介质。
背景技术
Hive是基于Hadoop(海杜普)的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL(Structured Query Language，结构化查询语言)查询功能，可以将SQL语句转换为编程模型MapReduce、开源计算框架Tez或者计算引擎Spark任务进行运行。Hive提供了一系列的工具，对数据执行ETL(Extract-Transform-Load，抽取-转换-加载)操作，对存储在Hadoop中的大规模数据进行存储、查询和分析。
在指定Hive分区字段进行数据查询时，所查询的Hive表必须先建立好分区，否则分区目录下的数据不能正常的显示。目前Hive提供两种方式来修复Hive表的分区：方式一，采用Hive官方提供的DDL(Data Definition Language，模式数据定义语言)语句添加分区，遍历Hive表的所有分区目录，根据分区目录生成添加分区的SQL脚本，再使用hive-f[批量Hive分区修复].sql进行分区的修复；方式二，采用Hive官方提供的分区修复命令MSCKREPAIR工具进行Hive表的分区修复。
其中，方式一主要存在以下缺陷：在Hive表的分区目录过多的情况下，遍历分区目录会非常耗时；不同Hive表的分区列个数和分区目录命名可能不尽相同，需要编写不同的修复脚本，实现繁琐和低效；如果Hive表已经存在部分分区，会创建这些已经存在的分区，当创建已存在分区的命令执行失败后才会去创建其他分区，造成了极大的耗时，效率低下。
方式二主要存在以下缺陷：MSCK REPAIR对于Hive分区目录命名有要求，对于非常规的目录并不支持；MSCK REPAIR对单个表进行分区修复时，需要调用HFDS(HadoopDistributed File System，海杜普分布式文件系统)的API(Application ProgrammingInterface，应用程序编程接口)递归扫描所有分区目录，当数据目录很多的情况下，耗时巨大，效率低下。
发明内容
本发明要解决的技术问题是，现有技术中Hive表修复效率低下。
本发明采用的技术方案是提供一种数据仓库工具Hive表修复方法，包括：
在Hive的元数据库中确定Hive表的分区字段信息；
在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。
可选的，在预设的分布式缓存预存的Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息之前，方法还包括：
基于设定的更新周期，将所有Hive表的分区目录信息更新至分布式缓存。
可选的，基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区，包括：
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，生成未建立分区的Hive表对应的分区信息；其中，分区信息包括：Hive表的分区字段名称，Hive表的分区字段类型，以及未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据分区信息，对未建立分区的Hive表创建分区。
可选的，根据分区信息，对未建立分区的Hive表创建分区，包括：
将分区信息添加至预设的分区描述信息对象中；
通过分区描述信息对象调用Hive分区创建应用程序编程接口API，对未建立分区的Hive表创建分区。
可选的，未建立分区的Hive表的数量为一个或多个。
本发明还提供一种数据仓库工具Hive表修复装置，包括：
第一确定模块，用于在Hive的元数据库中确定Hive表的分区字段信息；
第二确定模块，用于在预设的分布式缓存预存的所有所述Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；
创建模块，用于基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，对所述未建立分区的Hive表创建分区。
可选的，所述创建模块，具体用于：
基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，生成所述未建立分区的Hive表对应的分区信息；其中，所述分区信息包括：所述Hive表的分区字段名称，所述Hive表的分区字段类型，以及所述未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据所述分区信息，对所述未建立分区的Hive表创建分区。
可选的，所述根据所述分区信息，对所述未建立分区的Hive表创建分区，包括：
将所述分区信息添加至预设的分区描述信息对象中；
通过所述分区描述信息对象调用Hive分区创建应用程序编程接口API，对所述未建立分区的Hive表创建分区。
本发明还提供一种数据仓库工具Hive表修复设备，所述Hive表修复设备包括处理器和存储器；
所述处理器用于执行存储器中存储的Hive表修复的程序，以实现上述的Hive表修复方法的步骤。
本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述的Hive表修复方法的步骤。
采用上述技术方案，本发明至少具有下列优点：
本发明所述一种Hive表修复方法、装置、设备及计算机可读存储介质，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
附图说明
图1为本发明第一实施例的Hive表修复方法流程图；
图2为本发明第二实施例的Hive表修复方法流程图；
图3为本发明第三至第四实施例的Hive表修复装置组成结构示意图；
图4为本发明第四实施例的Hive表修复装置组成结构示意图；
图5为本发明第五实施例的Hive表修复设备组成结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。
本发明第一实施例，一种Hive表修复方法，如图1所示，包括以下具体步骤：
步骤S101，在Hive的元数据库中确定Hive表的分区字段信息。
在本实施例中，Hive表的分区字段信息包括但不限于：Hive表的分区字段名称，以及Hive表的分区字段类型等信息。
在本实施例中，元数据库的类型包括但不限于：Hive MetaStore数据库等类型。
例如：在Hive MetaStore数据库中确定Hive表的分区字段名称，以及Hive表的分区字段信息类型。
步骤S102，在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息。
在本实施例中，预设的分布式缓存包括但不限于：分布式缓存Redis等类型的分布式缓存。
步骤S103，基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区，能够有效的避免遍历所有Hive表的分区目录，尤其在Hive表的分区目录数量巨大的情况下，有效的克服了避免遍历所有Hive表的分区目录的耗时过大和效率低下的缺陷；同时避免了对未建立分区的Hive表创建分区需要编写不同修复脚本，实现方式复杂、繁琐和低效的缺陷。
本发明第一实施例所述的Hive表修复方法，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
本发明第二实施例，一种Hive表修复方法，如图2所示，包括以下具体步骤：
步骤S201，在Hive的元数据库中确定Hive表的分区字段信息。
在本实施例中，Hive表的分区字段信息包括但不限于：Hive表的分区字段名称，以及Hive表的分区字段类型等信息。
在本实施例中，元数据库的类型包括但不限于：Hive MetaStore数据库等类型。
例如：在Hive MetaStore数据库中确定Hive表的分区字段名称，以及Hive表的分区字段信息类型。
步骤S202，基于设定的更新周期，将所有Hive表的分区目录信息更新至预设的分布式缓存。
在本实施例中，预设的分布式缓存包括但不限于：分布式缓存Redis等类型的分布式缓存。
在本实施例中，对更新周期不做具体限定，可以是工程师根据工程经验设置的最佳更新周期，也可以是通过有限次的试验得到的最佳更新周期，也可以是通过有限次的计算机仿真得到的最佳更新周期。
例如：基于设定的更新周期10秒，将所有Hive表的分区目录信息更新至预设的分布式缓存Redis。
步骤S203，在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息。
在本实施例中，未建立分区的Hive表的数量为一个或多个。
步骤S204，基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。
可选的，步骤S204，包括：
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，生成未建立分区的Hive表对应的分区信息；其中，分区信息包括：Hive表的分区字段名称，Hive表的分区字段类型，以及未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据分区信息，对未建立分区的Hive表创建分区。
可选的，根据分区信息，对未建立分区的Hive表创建分区的方式包括但不限于：
将分区信息添加至预设的分区描述信息对象中；
通过分区描述信息对象调用Hive分区创建API(Application ProgrammingInterface,应用程序编程接口)，对未建立分区的Hive表创建分区。
例如:将分区信息添加至预设的AddPartitionDesc对象中；
通过AddPartitionDesc对象调用Hive分区创建API，对未建立分区的Hive表创建分区。
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区，能够有效的避免遍历所有Hive表的分区目录，尤其在Hive表的分区目录数量巨大的情况下，有效的克服了避免遍历所有Hive表的分区目录的耗时过大和效率低下的缺陷；同时避免了对未建立分区的Hive表创建分区需要编写不同修复脚本，实现方式复杂、繁琐和低效的缺陷。
本发明第二实施例所述的Hive表修复方法，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
本发明第三实施例，一种Hive表修复装置，如图3所示，包括以下组成部分：
第一确定模块100，用于在Hive的元数据库中确定Hive表的分区字段信息。
在本实施例中，Hive表的分区字段信息包括但不限于：Hive表的分区字段名称，以及Hive表的分区字段类型等信息。
在本实施例中，元数据库的类型包括但不限于：Hive MetaStore数据库等类型。
例如：第一确定模块100，用于在Hive MetaStore数据库中确定Hive表的分区字段名称，以及Hive表的分区字段信息类型。
第二确定模块200，用于在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息。
在本实施例中，预设的分布式缓存包括但不限于：分布式缓存Redis等类型的分布式缓存。
创建模块300，用于基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区，能够有效的避免遍历所有Hive表的分区目录，尤其在Hive表的分区目录数量巨大的情况下，有效的克服了避免遍历所有Hive表的分区目录的耗时过大和效率低下的缺陷；同时避免了对未建立分区的Hive表创建分区需要编写不同修复脚本，实现方式复杂、繁琐和低效的缺陷。
本发明第三实施例所述的Hive表修复装置，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
本发明第四实施例，一种Hive表修复装置，如图3和图4所示，包括以下组成部分：
第一确定模块100，用于在Hive的元数据库中确定Hive表的分区字段信息。
在本实施例中，Hive表的分区字段信息包括但不限于：Hive表的分区字段名称，以及Hive表的分区字段类型等信息。
在本实施例中，元数据库的类型包括但不限于：Hive MetaStore数据库等类型。
例如：第一确定模块100，用于在Hive MetaStore数据库中确定Hive表的分区字段名称，以及Hive表的分区字段信息类型。
第二确定模块200，用于在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息。
在本实施例中，未建立分区的Hive表的数量为一个或多个。
创建模块300，用于基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。
可选的，创建模块300，具体用于：
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，生成未建立分区的Hive表对应的分区信息；其中，分区信息包括：Hive表的分区字段名称，Hive表的分区字段类型，以及未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据分区信息，对未建立分区的Hive表创建分区。
可选的，根据分区信息，对未建立分区的Hive表创建分区的方式包括但不限于：
将分区信息添加至预设的分区描述信息对象中；
通过分区描述信息对象调用Hive分区创建API(Application ProgrammingInterface,应用程序编程接口)，对未建立分区的Hive表创建分区。
例如:创建模块300，用于将分区信息添加至预设的AddPartitionDesc对象中；
通过AddPartitionDesc对象调用Hive分区创建API，对未建立分区的Hive表创建分区。
可选的，如图4所示，Hive表修复装置还包括：缓存模块400，用于在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息之前，基于设定的更新周期，将所有Hive表的分区目录信息更新至预设的分布式缓存。
在本实施例中，预设的分布式缓存包括但不限于：分布式缓存Redis等类型的分布式缓存。
在本实施例中，对更新周期不做具体限定，可以是工程师根据工程经验设置的最佳更新周期，也可以是通过有限次的试验得到的最佳更新周期，也可以是通过有限次的计算机仿真得到的最佳更新周期。
例如：缓存模块400，用于基于设定的更新周期10秒，将所有Hive表的分区目录信息更新至预设的分布式缓存Redis。
基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区，能够有效的避免遍历所有Hive表的分区目录，尤其在Hive表的分区目录数量巨大的情况下，有效的克服了避免遍历所有Hive表的分区目录的耗时过大和效率低下的缺陷；同时避免了对未建立分区的Hive表创建分区需要编写不同修复脚本，实现方式复杂、繁琐和低效的缺陷。
本发明第四实施例所述的Hive表修复装置，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
本发明第五实施例，一种Hive表修复设备，如图5所示，包括以下组成部分：
处理器501和存储器502。在本实施例中，处理器501和存储器502可通过总线或者其它方式连接。
处理器501可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(英文：Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。其中，存储器502用于存储处理器501的可执行指令；
存储器502，用于存储程序代码，并将该程序代码传输给处理器501。存储器502可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器502也可以包括非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器502还可以包括上述种类的存储器的组合。
其中，处理器501用于调用存储器502存储的程序代码管理代码，执行本发明第一实施例至本发明第二实施例中任一实施例中部分或全部步骤。
本发明第五实施例所述的Hive表修复设备，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
本发明第六实施例，一种计算机可读存储介质。
计算机存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。
计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现本发明第一实施例至本发明第二实施例中任一实施例中部分或全部步骤。
本发明第六实施例中所述的一种计算机可读存储介质，存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种数据仓库工具Hive表修复方法，其特征在于，包括：
在Hive的元数据库中确定Hive表的分区字段信息；
在预设的分布式缓存预存的所有所述Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；
基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，对所述未建立分区的Hive表创建分区。
2.根据权利要求1所述的方法，其特征在于，在预设的分布式缓存预存的所述Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息之前，所述方法还包括：
基于设定的更新周期，将所有所述Hive表的分区目录信息更新至所述分布式缓存。
3.根据权利要求1所述的方法，其特征在于，所述基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，对所述未建立分区的Hive表创建分区，包括：
基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，生成所述未建立分区的Hive表对应的分区信息；其中，所述分区信息包括：所述Hive表的分区字段名称，所述Hive表的分区字段类型，以及所述未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据所述分区信息，对所述未建立分区的Hive表创建分区。
4.根据权利要求3所述的方法，其特征在于，所述根据所述分区信息，对所述未建立分区的Hive表创建分区，包括：
将所述分区信息添加至预设的分区描述信息对象中；
通过所述分区描述信息对象调用Hive分区创建应用程序编程接口API，对所述未建立分区的Hive表创建分区。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述未建立分区的Hive表的数量为一个或多个。
6.一种数据仓库工具Hive表修复装置，其特征在于，包括：
第一确定模块，用于在Hive的元数据库中确定Hive表的分区字段信息；
第二确定模块，用于在预设的分布式缓存预存的所有所述Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；
创建模块，用于基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，对所述未建立分区的Hive表创建分区。
7.根据权利要求6所述的装置，其特征在于，所述创建模块，具体用于：
基于所述分区字段信息，以及所述未建立分区的Hive表对应的分区目录信息，生成所述未建立分区的Hive表对应的分区信息；其中，所述分区信息包括：所述Hive表的分区字段名称，所述Hive表的分区字段类型，以及所述未建立分区的Hive表在海杜普分布式文件系统HDFS的路径信息；
根据所述分区信息，对所述未建立分区的Hive表创建分区。
8.根据权利要求7所述的装置，其特征在于，所述根据所述分区信息，对所述未建立分区的Hive表创建分区，包括：
将所述分区信息添加至预设的分区描述信息对象中；
通过所述分区描述信息对象调用Hive分区创建应用程序编程接口API，对所述未建立分区的Hive表创建分区。
9.一种数据仓库工具Hive表修复设备，其特征在于，所述Hive表修复设备包括处理器和存储器；
所述处理器用于执行存储器中存储的Hive表修复的程序，以实现根据权利要求1～5中任一项所述的Hive表修复方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现根据权利要求1～5中任一项所述的Hive表修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810065153.2A CN108415934B (zh) | 2018-01-23 | 2018-01-23 | 一种Hive表修复方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810065153.2A CN108415934B (zh) | 2018-01-23 | 2018-01-23 | 一种Hive表修复方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108415934A true CN108415934A (zh) | 2018-08-17 |
| CN108415934B CN108415934B (zh) | 2022-05-03 |
Family
ID=63126249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810065153.2A Active CN108415934B (zh) | 2018-01-23 | 2018-01-23 | 一种Hive表修复方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108415934B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209516A (zh) * | 2019-04-24 | 2019-09-06 | 深圳点猫科技有限公司 | 一种基于教育平台的自动修复分区表的方法及电子设备 |
| CN110222017A (zh) * | 2019-05-13 | 2019-09-10 | 北京百度网讯科技有限公司 | 实时数据的处理方法、装置、设备及计算机可读存储介质 |
| CN110543520A (zh) * | 2019-08-30 | 2019-12-06 | 京东数字科技控股有限公司 | 一种数据迁移的方法和装置 |
| CN110781183A (zh) * | 2019-09-10 | 2020-02-11 | 中国平安财产保险股份有限公司 | Hive数据库中增量数据的处理方法、装置以及计算机设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678026A (zh) * | 2012-09-18 | 2014-03-26 | 杭州海康威视系统技术有限公司 | 可修复的视频监控数据存储和修复方法及其装置 |
| US20140156666A1 (en) * | 2012-11-30 | 2014-06-05 | Futurewei Technologies, Inc. | Method for Automated Scaling of a Massive Parallel Processing (MPP) Database |
| US20170103092A1 (en) * | 2015-10-07 | 2017-04-13 | Oracle International Corporation | Ddl processing in sharded databases |
| US9720674B1 (en) * | 2008-05-05 | 2017-08-01 | Open Invention Network, Llc | Automating application of software patches to a server having a virtualization layer |
| US20170262348A1 (en) * | 2013-11-01 | 2017-09-14 | Cloudera, Inc. | Manifest-based snapshots in distributed computing environments |
| CN107169053A (zh) * | 2017-04-26 | 2017-09-15 | 青岛海信移动通信技术股份有限公司 | 日志信息导出方法及装置 |
| CN107463692A (zh) * | 2017-08-11 | 2017-12-12 | 山东合天智汇信息技术有限公司 | 超大文本数据同步到搜索引擎的方法和系统 |
| US9852139B1 (en) * | 2012-07-02 | 2017-12-26 | Veritas Technologies Llc | Directory partitioning with concurrent directory access |
| CN107562577A (zh) * | 2017-09-21 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种文件系统修复方法及装置 |
-
2018
- 2018-01-23 CN CN201810065153.2A patent/CN108415934B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9720674B1 (en) * | 2008-05-05 | 2017-08-01 | Open Invention Network, Llc | Automating application of software patches to a server having a virtualization layer |
| US9852139B1 (en) * | 2012-07-02 | 2017-12-26 | Veritas Technologies Llc | Directory partitioning with concurrent directory access |
| CN103678026A (zh) * | 2012-09-18 | 2014-03-26 | 杭州海康威视系统技术有限公司 | 可修复的视频监控数据存储和修复方法及其装置 |
| US20140156666A1 (en) * | 2012-11-30 | 2014-06-05 | Futurewei Technologies, Inc. | Method for Automated Scaling of a Massive Parallel Processing (MPP) Database |
| US20170262348A1 (en) * | 2013-11-01 | 2017-09-14 | Cloudera, Inc. | Manifest-based snapshots in distributed computing environments |
| US20170103092A1 (en) * | 2015-10-07 | 2017-04-13 | Oracle International Corporation | Ddl processing in sharded databases |
| CN107169053A (zh) * | 2017-04-26 | 2017-09-15 | 青岛海信移动通信技术股份有限公司 | 日志信息导出方法及装置 |
| CN107463692A (zh) * | 2017-08-11 | 2017-12-12 | 山东合天智汇信息技术有限公司 | 超大文本数据同步到搜索引擎的方法和系统 |
| CN107562577A (zh) * | 2017-09-21 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种文件系统修复方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209516A (zh) * | 2019-04-24 | 2019-09-06 | 深圳点猫科技有限公司 | 一种基于教育平台的自动修复分区表的方法及电子设备 |
| CN110222017A (zh) * | 2019-05-13 | 2019-09-10 | 北京百度网讯科技有限公司 | 实时数据的处理方法、装置、设备及计算机可读存储介质 |
| CN110222017B (zh) * | 2019-05-13 | 2021-09-21 | 北京百度网讯科技有限公司 | 实时数据的处理方法、装置、设备及计算机可读存储介质 |
| CN110543520A (zh) * | 2019-08-30 | 2019-12-06 | 京东数字科技控股有限公司 | 一种数据迁移的方法和装置 |
| CN110543520B (zh) * | 2019-08-30 | 2022-02-01 | 京东科技控股股份有限公司 | 一种数据迁移的方法和装置 |
| CN110781183A (zh) * | 2019-09-10 | 2020-02-11 | 中国平安财产保险股份有限公司 | Hive数据库中增量数据的处理方法、装置以及计算机设备 |
| CN110781183B (zh) * | 2019-09-10 | 2023-06-27 | 中国平安财产保险股份有限公司 | Hive数据库中增量数据的处理方法、装置以及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108415934B (zh) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958057B (zh) | 一种用于异构数据库中数据迁移的代码生成方法及装置 | |
| CN108415934A (zh) | 一种Hive表修复方法、装置、设备及计算机可读存储介质 | |
| CN108319656A (zh) | 实现灰度发布的方法、装置及计算节点和系统 | |
| CN104809237A (zh) | LSM-tree索引的优化方法和装置 | |
| CN105468473A (zh) | 数据迁移方法及数据迁移装置 | |
| RU2646349C2 (ru) | Способ и система для обработки данных | |
| CN103246549B (zh) | 一种数据转存的方法及系统 | |
| Tang et al. | Deferred lightweight indexing for log-structured key-value stores | |
| CN110737594B (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
| US20210303537A1 (en) | Log record identification using aggregated log indexes | |
| CN108563697B (zh) | 一种数据处理方法、装置和存储介质 | |
| CN112163048A (zh) | 基于ClickHouse实现OLAP分析的方法、装置 | |
| CN102799679A (zh) | 基于Hadoop的海量空间数据索引更新系统及方法 | |
| WO2016169237A1 (zh) | 数据处理方法及装置 | |
| CN106557307B (zh) | 业务数据的处理方法及处理系统 | |
| CN107609011B (zh) | 一种数据库记录的维护方法和装置 | |
| CN112506950A (zh) | 数据聚合处理方法、计算节点、计算集群及存储介质 | |
| US11290397B2 (en) | Systems and methods for efficiently storing a distributed ledger of records | |
| CN115687359A (zh) | 数据表分区方法及装置、存储介质、计算机设备 | |
| CN104484174A (zh) | Rar格式的压缩文件的处理方法和装置 | |
| CN107609038A (zh) | 数据清理方法和装置 | |
| CN109918410B (zh) | 基于Spark平台的分布式大数据函数依赖发现方法 | |
| Lee et al. | Boosting compaction in B-tree based key-value store by exploiting parallel reads in flash ssds | |
| CN108614838B (zh) | 一种用户群索引处理方法、装置及系统 | |
| CN111078258A (zh) | 一种版本升级方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |