CN115185723A - 一种Region元信息修复方法、系统、装置及存储介质 - Google Patents

一种Region元信息修复方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115185723A
CN115185723A CN202210620123.XA CN202210620123A CN115185723A CN 115185723 A CN115185723 A CN 115185723A CN 202210620123 A CN202210620123 A CN 202210620123A CN 115185723 A CN115185723 A CN 115185723A
Authority
CN
China
Prior art keywords
information
meta
region
hdfs
hbase database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210620123.XA
Other languages
English (en)
Other versions
CN115185723B (zh
Inventor
黄天沛
李敏风
林少明
莫声阔
郑峰彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202210620123.XA priority Critical patent/CN115185723B/zh
Publication of CN115185723A publication Critical patent/CN115185723A/zh
Application granted granted Critical
Publication of CN115185723B publication Critical patent/CN115185723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793Remedial or corrective actions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Region元信息修复方法、系统、装置及存储介质,方法包括:获取HBase数据库的健康检查报告,根据健康检查报告确定第一标识信息,第一标识信息用于标识损坏的第一Region元信息;根据第一标识信息确定第一Region元信息的第一数据表名和归属HDFS地址;根据第一数据表名在HBase数据库中扫描获取第一元信息列表,并根据归属HDFS地址在HDFS系统中提取第二元信息列表;根据第一元信息列表和第二元信息列表对HBase数据库的Region元信息进行修复。本发明提高了Region元信息修复的准确度和效率,降低了人力成本,提高了HBase数据库的可靠性,可广泛应用于数据存储技术领域。

Description

一种Region元信息修复方法、系统、装置及存储介质
技术领域
本发明涉及数据存储技术领域,尤其是一种Region元信息修复方法、系统、装置及存储介质。
背景技术
在信息系统中,数据的安全与完整是衡量系统优劣的重要因素。HBase是在大数据领域为信息系统提供海量数据的解决方案,但是HBase在程序宕机、硬盘损坏、网络隔离等情况下,其自身存在数据不完整且无法自行修复的问题,而Region元信息损坏则是其中一个问题,当出现Region元信息损坏时,Region Sever则无法读取到对应的Region元信息,最终导致我们需要的数据不能通过HBase读取。
术语解释:
HBase:一个分布式的、面向列的开源数据库,适合于非结构化数据存储。
Region:HBase数据管理的基本单位,一张数据表可以包含一个或多个Region,所以一张分布式数据表主要体现在数据的元信息分布在不同的Region中。
Region Sever:HBase的组件之一,用于管理Region。
HDFS:全称Hadoop Distributed File System,是一个高可靠性分布式文件系统的底层存储实现方案,为HBase的数据存储提供支持。
hbck:HBase的健康检查工具,可以分析出HBase各个Region中元信息的健康状况。
发明内容
本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
为此,本发明实施例的一个目的在于提供一种Region元信息修复方法,该方法使用HDFS系统中保留的原始数据反向修复HBase数据库中损坏的Region元信息,提高了Region元信息修复的准确度和效率。
本发明实施例的另一个目的在于提供一种Region元信息修复系统。
为了达到上述技术目的,本发明实施例所采取的技术方案包括:
第一方面,本发明实施例提供了一种Region元信息修复方法,包括以下步骤:
获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息,所述第一标识信息用于标识损坏的第一Region元信息;
根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址;
根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表;
根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复。
进一步地,在本发明的一个实施例中,所述获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息这一步骤,其具体包括:
通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
获取预设的目标标识字符,并对所述健康检查报告进行遍历,当遍历到所述目标标识字符,获取相应的字符段作为第一标识信息。
进一步地,在本发明的一个实施例中,所述根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址这一步骤,其具体包括:
获取预设的数据表标识字符和归属HDFS标识字符,并对所述第一标识信息进行遍历;
当遍历到所述数据表标识字符,获取相应的字符段作为第一数据表名;
当遍历到所述归属HDFS标识字符,获取相应的字符段作为归属HDFS地址。
进一步地,在本发明的一个实施例中,所述根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表这一步骤,其具体包括:
根据所述第一数据表名,利用HBase scan命令对所述HBase数据库进行全表扫描,得到相应数据表中没有损坏的第二Region元信息,并根据所述第二Region元信息生成第一元信息列表;
根据所述归属HDFS地址在所述HDFS系统中查找对应HDFS地址下的第三Region元信息,并根据所述第三Region元信息生成第二元信息列表。
进一步地,在本发明的一个实施例中,所述根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复这一步骤,其具体包括:
将所述第一元信息列表与所述第二元信息列表进行比对,确定待删除的第四Region元信息和待修复的第五Region元信息,所述第四Region元信息为所述第一元信息列表中存在但所述第二元信息列表中不存在的Region元信息,所述第五Region元信息为所述第二元信息列表中存在但所述第一元信息列表中不存在的Region元信息;
将所述第四Region元信息从所述HBase数据库中删除;
利用所述Hbase数据库的MetaTableAccessor组件构建所述第五Region元信息,并将所述第五Region元信息覆盖至所述Hbase数据库中。
进一步地,在本发明的一个实施例中,所述Region元信息修复方法还包括以下步骤:
根据所述第四Region元信息和所述第五Region元信息形成元信息修复日志,并输出所述元信息修复日志。
第二方面,本发明实施例提供了一种Region元信息修复系统,包括:
第一标识信息获取模块,用于获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息,所述第一标识信息用于标识损坏的第一Region元信息;
第一数据表名和归属HDFS地址确定模块,用于根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址;
第一元信息列表和第二元信息列表确定模块,用于根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表;
修复模块,用于根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复。
进一步地,在本发明的一个实施例中,所述第一标识信息获取模块具体包括:
健康检查单元,用于通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
遍历单元,用于获取预设的目标标识字符,并对所述健康检查报告进行遍历,当遍历到所述目标标识字符,获取相应的字符段作为第一标识信息。
第三方面,本发明实施例提供了一种Region元信息修复装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现上述的一种Region元信息修复方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行上述的一种Region元信息修复方法。
本发明的优点和有益效果将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到:
本发明实施例先获取HBase数据库的健康检查报告,根据该健康检查报告确定用于标识损坏的Region元信息的第一标识信息,再根据第一标识信息确定损坏的Region元信息的第一数据表名和归属HDFS地址,然后根据第一数据表名在HBase数据库中扫描获取第一元信息列表,并根据归属HDFS地址在HDFS系统中提取第二元信息列表,进而根据第一元信息列表和第二元信息列表对HBase数据库的Region元信息进行修复。本发明实施例通过标识信息确定损坏的Region元信息的第一数据表名和归属HDFS地址,然后分别从HBase数据库和HSDF系统获取第一元信息列表和第二元信息列表,使用HDFS系统中保留的原始数据反向修复HBase数据库中损坏的Region元信息,从而提高了Region元信息修复的准确度和效率,降低了人力成本,提高了HBase数据库的可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面对本发明实施例中所需要使用的附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员来说,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1为本发明实施例提供的一种Region元信息修复方法的步骤流程图;
图2为本发明实施例提供的一种Region元信息修复系统的结构框图;
图3为本发明实施例提供的一种Region元信息修复装置的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,多个的含义是两个或两个以上,如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外,除非另有定义,本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。
参照图1,本发明实施例提供了一种Region元信息修复方法,具体包括以下步骤:
S101、获取HBase数据库的健康检查报告,根据健康检查报告确定第一标识信息,第一标识信息用于标识损坏的第一Region元信息。
具体地,在本发明实施例中,会以预设的时间间隔获取HBase数据库的健康检查报告,当检测到健康检查报告中存在标识损坏的Region元信息的第一标识信息时,则继续后续的修复步骤;当未检测到第一标识信息时,则表示HBase数据库的Region元信息均正常,等待预设的时间间隔后再次获取健康检测报告。步骤S101具体包括以下步骤:
S1011、通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
S1012、获取预设的目标标识字符,并对健康检查报告进行遍历,当遍历到目标标识字符,获取相应的字符段作为第一标识信息。
具体地,HBase数据库的健康检查报告可以使用HBase提供的工具hbck获得,只需要在HBase程序机器上执行命令“hbase hbck”即可得到健康检查报告。
本发明实施例中,目标标识字符为“ERROR:Region”和/或“not deployed on anyregion server”,当遍历到该目标标识字符时,则可以自动获取相应的字符段作为第一标识信息。
本发明实施例得到的健康检查报告的一个示例如下:
HBaseFsck command line options:
Version:2.1.4
Number of live region servers:6
Number of dead region servers:0
Master:hadoop1,16000,1626974431787
Number of backup masters:1
Average load:776.5
Number of requests:47033096
Number of regions:4659
Number of regions in transition:0
Number of empty REGIONINFO_QUALIFIER rows in hbase:meta:0
Number of Tables:114
ERROR:Region{meta=>
ticket_map_sms_202010_p0,0000052806202010010000000000000000000000000000000000000,1598977204910.046ceceec6ce8663bc7dbe32ed771476.,hdfs=>
hdfs://masters/hbase/data/default/ticket_map_sms_202010_p0/046ceceec6ce8663bc7dbe32ed771476,deployed=>,replicaId=>0}not deployed on any regionserver.
在上述健康检查报告的示例中,在最下方几行出现了“ERROR:Region”的标识字符,行末也出现了“not deployed on any region server”的标识字符,均表示Region元信息出现了损坏。此时即可获取“ERROR:Region”之后的字符段,或“not deployed on anyregion server”之前的字符段作为第一标识信息。
在一些可选的实施例中,可分别设置第一目标标识字符和第二目标标识字符,位于第一目标标识字符和第二目标标识字符之间的字符段即为本发明实施例的第一标识信息。
在本发明实施例中,第一标识信息即为:
{meta=>
ticket_map_sms_202010_p0,0000052806202010010000000000000000000000000000000000000,1598977204910.046ceceec6ce8663bc7dbe32ed771476.,hdfs=>
hdfs://masters/hbase/data/default/ticket_map_sms_202010_p0/046ceceec6ce8663bc7dbe32ed771476,deployed=>,replicaId=>0}
S102、根据第一标识信息确定第一Region元信息的第一数据表名和归属HDFS地址。
具体地,获取的第一标识信息用于标识损坏的第一Region元信息,该第一标识信息中包含第一Region元信息的第一数据表名和归属HDFS地址。步骤S102具体包括以下步骤:
S1021、获取预设的数据表标识字符和归属HDFS标识字符,并对第一标识信息进行遍历;
S1022、当遍历到数据表标识字符,获取相应的字符段作为第一数据表名;
S1023、当遍历到归属HDFS标识字符,获取相应的字符段作为归属HDFS地址。
具体地,本发明实施例中,数据表标识字符为“ticket_map_sms”,当遍历到该数据表标识字符时,则可以自动获取相应的字符段作为第一数据表名;归属HDFS标识字符为“hdfs://masters/hbase”,当遍历到该归属HDFS标识字符时,则可以自动获取相应的字符段作为归属HDFS地址。
可选地,获取字符段的规则可以预先设置,如向后读取指定位数的字符段,或者向后读取字符段直至出现预设的终止字符(如,和.)。
以前述示例中的第一标识信息为例,第一数据表名为:
ticket_map_sms_202010_p0
归属HDFS地址为:
hdfs://masters/hbase/data/default/ticket_map_sms_202010_p0/046ceceec6ce8663bc7dbe32ed771476
本发明实施例中,根据归属HDFS地址中“hdfs://masters/hbase/data/default/ticket_map_sms_202010_p0”这一段字符即可进行后续的步骤,即归属HDFS地址只需要具体到数据表名即可。
S103、根据第一数据表名在HBase数据库中扫描获取第一元信息列表,并根据归属HDFS地址在HDFS系统中提取第二元信息列表。
具体地,扫描的基础技术实现由HBase数据库和HDFS系统提供,在扫描结果中可以得到对应数据表中所有的Region元信息,然后进行形成相应的元信息列表。步骤S103具体包括以下步骤:
S1031、根据第一数据表名,利用HBase scan命令对HBase数据库进行全表扫描,得到相应数据表中没有损坏的第二Region元信息,并根据第二Region元信息生成第一元信息列表;
S1032、根据归属HDFS地址在HDFS系统中查找对应HDFS地址下的第三Region元信息,并根据第三Region元信息生成第二元信息列表。
S104、根据第一元信息列表和第二元信息列表对HBase数据库的Region元信息进行修复。
具体地,从前面的步骤中可以得到HBase数据库和HDFS系统中对应数据表的第一元信息列表和第二元信息列表,通过对比这两个元信息列表即可对HBase数据库的Region元信息进行修复。步骤S104具体包括以下步骤:
S1041、将第一元信息列表与第二元信息列表进行比对,确定待删除的第四Region元信息和待修复的第五Region元信息,第四Region元信息为第一元信息列表中存在但第二元信息列表中不存在的Region元信息,第五Region元信息为第二元信息列表中存在但第一元信息列表中不存在的Region元信息;
S1042、将第四Region元信息从HBase数据库中删除;
S1043、利用Hbase数据库的MetaTableAccessor组件构建第五Region元信息,并将第五Region元信息覆盖至Hbase数据库中。
例如,第二元信息列表包括A、B、C、D四个Region元信息,第一元信息列表包括A、B、E、F四个Region元信息,通过差异对比,可以删除无用的E、F这两个Region元信息,但如果C、D两个Region元信息不做任何处理的话,则会导致对应的数据无法查询,同样无法保证数据的完整性。
为了保证数据的完整性,可利用Hbase数据库的MetaTableAccessor组件构建出C、D这两个Region元信息,然后覆盖到Hbase数据库对应的数据表中;也可以直接构建A、B、C、D四个Region元信息,然后采用完整覆盖的方法存储到HBase中,进而达到修复数据的目的。
进一步作为可选的实施方式,Region元信息修复方法还包括以下步骤:
S105、根据第四Region元信息和第五Region元信息形成元信息修复日志,并输出元信息修复日志。
具体地,输出元信息修复日志以便于后续管理人员进行查看。
可以理解的是,本发明实施例通过标识信息确定损坏的Region元信息的第一数据表名和归属HDFS地址,然后分别从HBase数据库和HSDF系统获取第一元信息列表和第二元信息列表,使用HDFS系统中保留的原始数据反向修复HBase数据库中损坏的Region元信息,从而提高了Region元信息修复的准确度和效率,降低了人力成本,提高了HBase数据库的可靠性。
此外,本发明实施例可以在HBase数据库出现故障时,在非人为干预的情况下做到数据的快速修复,大大保障了生产业务系统的稳定性和可用性。
参照图2,本发明实施例提供了一种Region元信息修复系统,包括:
第一标识信息获取模块,用于获取HBase数据库的健康检查报告,根据健康检查报告确定第一标识信息,第一标识信息用于标识损坏的第一Region元信息;
第一数据表名和归属HDFS地址确定模块,用于根据第一标识信息确定第一Region元信息的第一数据表名和归属HDFS地址;
第一元信息列表和第二元信息列表确定模块,用于根据第一数据表名在HBase数据库中扫描获取第一元信息列表,并根据归属HDFS地址在HDFS系统中提取第二元信息列表;
修复模块,用于根据第一元信息列表和第二元信息列表对HBase数据库的Region元信息进行修复。
进一步作为可选的实施方式,第一标识信息获取模块具体包括:
健康检查单元,用于通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
遍历单元,用于获取预设的目标标识字符,并对健康检查报告进行遍历,当遍历到目标标识字符,获取相应的字符段作为第一标识信息。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图3,本发明实施例提供了一种Region元信息修复装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当上述至少一个程序被上述至少一个处理器执行时,使得上述至少一个处理器实现上述的一种Region元信息修复方法。
上述方法实施例中的内容均适用于本装置实施例中,本装置实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,该处理器可执行的程序在由处理器执行时用于执行上述一种Region元信息修复方法。
本发明实施例的一种计算机可读存储介质,可执行本发明方法实施例所提供的一种Region元信息修复方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本发明实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种Region元信息修复方法,其特征在于,包括以下步骤:
获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息,所述第一标识信息用于标识损坏的第一Region元信息;
根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址;
根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表;
根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复。
2.根据权利要求1所述的一种Region元信息修复方法,其特征在于,所述获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息这一步骤,其具体包括:
通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
获取预设的目标标识字符,并对所述健康检查报告进行遍历,当遍历到所述目标标识字符,获取相应的字符段作为第一标识信息。
3.根据权利要求1所述的一种Region元信息修复方法,其特征在于,所述根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址这一步骤,其具体包括:
获取预设的数据表标识字符和归属HDFS标识字符,并对所述第一标识信息进行遍历;
当遍历到所述数据表标识字符,获取相应的字符段作为第一数据表名;
当遍历到所述归属HDFS标识字符,获取相应的字符段作为归属HDFS地址。
4.根据权利要求1所述的一种Region元信息修复方法,其特征在于,所述根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表这一步骤,其具体包括:
根据所述第一数据表名,利用HBase scan命令对所述HBase数据库进行全表扫描,得到相应数据表中没有损坏的第二Region元信息,并根据所述第二Region元信息生成第一元信息列表;
根据所述归属HDFS地址在所述HDFS系统中查找对应HDFS地址下的第三Region元信息,并根据所述第三Region元信息生成第二元信息列表。
5.根据权利要求1至4中任一项所述的一种Region元信息修复方法,其特征在于,所述根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复这一步骤,其具体包括:
将所述第一元信息列表与所述第二元信息列表进行比对,确定待删除的第四Region元信息和待修复的第五Region元信息,所述第四Region元信息为所述第一元信息列表中存在但所述第二元信息列表中不存在的Region元信息,所述第五Region元信息为所述第二元信息列表中存在但所述第一元信息列表中不存在的Region元信息;
将所述第四Region元信息从所述HBase数据库中删除;
利用所述Hbase数据库的MetaTableAccessor组件构建所述第五Region元信息,并将所述第五Region元信息覆盖至所述Hbase数据库中。
6.根据权利要求5所述的一种Region元信息修复方法,其特征在于,所述Region元信息修复方法还包括以下步骤:
根据所述第四Region元信息和所述第五Region元信息形成元信息修复日志,并输出所述元信息修复日志。
7.一种Region元信息修复系统,其特征在于,包括:
第一标识信息获取模块,用于获取HBase数据库的健康检查报告,根据所述健康检查报告确定第一标识信息,所述第一标识信息用于标识损坏的第一Region元信息;
第一数据表名和归属HDFS地址确定模块,用于根据所述第一标识信息确定所述第一Region元信息的第一数据表名和归属HDFS地址;
第一元信息列表和第二元信息列表确定模块,用于根据所述第一数据表名在所述HBase数据库中扫描获取第一元信息列表,并根据所述归属HDFS地址在HDFS系统中提取第二元信息列表;
修复模块,用于根据所述第一元信息列表和所述第二元信息列表对所述HBase数据库的Region元信息进行修复。
8.根据权利要求7所述的一种Region元信息修复系统,其特征在于,所述第一标识信息获取模块具体包括:
健康检查单元,用于通过hbck工具对HBase数据库进行健康检查得到健康检查报告;
遍历单元,用于获取预设的目标标识字符,并对所述健康检查报告进行遍历,当遍历到所述目标标识字符,获取相应的字符段作为第一标识信息。
9.一种Region元信息修复装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1至6中任一项所述的一种Region元信息修复方法。
10.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1至6中任一项所述的一种Region元信息修复方法。
CN202210620123.XA 2022-06-02 2022-06-02 一种Region元信息修复方法、系统、装置及存储介质 Active CN115185723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210620123.XA CN115185723B (zh) 2022-06-02 2022-06-02 一种Region元信息修复方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210620123.XA CN115185723B (zh) 2022-06-02 2022-06-02 一种Region元信息修复方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115185723A true CN115185723A (zh) 2022-10-14
CN115185723B CN115185723B (zh) 2023-06-02

Family

ID=83512631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210620123.XA Active CN115185723B (zh) 2022-06-02 2022-06-02 一种Region元信息修复方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115185723B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116795636A (zh) * 2023-06-21 2023-09-22 广州市玄武无线科技股份有限公司 一种业务系统数据监控方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049390A (zh) * 2012-12-14 2013-04-17 华为技术有限公司 应用元数据的数据处理方法及存储系统
US20130263122A1 (en) * 2012-03-30 2013-10-03 Sungard Availability Services Lp Private cloud replication and recovery
US20130282668A1 (en) * 2012-04-20 2013-10-24 Cloudera, Inc. Automatic repair of corrupt hbases
CN104202387A (zh) * 2014-08-27 2014-12-10 华为技术有限公司 一种元数据恢复方法及相关装置
WO2016155002A1 (en) * 2015-04-03 2016-10-06 Yahoo! Inc. Method and system for data recovery in a data system
CN110019199A (zh) * 2017-09-29 2019-07-16 株式会社理光 数据存储、查询方法、装置、设备、计算机可读存储介质
CN111209138A (zh) * 2018-11-22 2020-05-29 浙江宇视科技有限公司 数据存储系统的运维方法及装置
CN113434462A (zh) * 2021-06-21 2021-09-24 北京金山云网络技术有限公司 Hdfs数据的转移方法及装置、存储介质、电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130263122A1 (en) * 2012-03-30 2013-10-03 Sungard Availability Services Lp Private cloud replication and recovery
US20130282668A1 (en) * 2012-04-20 2013-10-24 Cloudera, Inc. Automatic repair of corrupt hbases
CN103049390A (zh) * 2012-12-14 2013-04-17 华为技术有限公司 应用元数据的数据处理方法及存储系统
CN104202387A (zh) * 2014-08-27 2014-12-10 华为技术有限公司 一种元数据恢复方法及相关装置
WO2016155002A1 (en) * 2015-04-03 2016-10-06 Yahoo! Inc. Method and system for data recovery in a data system
CN110019199A (zh) * 2017-09-29 2019-07-16 株式会社理光 数据存储、查询方法、装置、设备、计算机可读存储介质
CN111209138A (zh) * 2018-11-22 2020-05-29 浙江宇视科技有限公司 数据存储系统的运维方法及装置
CN113434462A (zh) * 2021-06-21 2021-09-24 北京金山云网络技术有限公司 Hdfs数据的转移方法及装置、存储介质、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
天一涯: "hbase目录结构及元数据修复", 《HTTPS://BLOG.CSDN.NET/YUAN1164345228/ARTICLE/DETAILS/115750992》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116795636A (zh) * 2023-06-21 2023-09-22 广州市玄武无线科技股份有限公司 一种业务系统数据监控方法、装置、电子设备及存储介质
CN116795636B (zh) * 2023-06-21 2024-02-13 广州市玄武无线科技股份有限公司 一种业务系统数据监控方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115185723B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN107463661B (zh) 数据的导入方法及装置
CN103744745B (zh) 一种数据存储的检测方法、设备及分布式存储系统
CN115185723B (zh) 一种Region元信息修复方法、系统、装置及存储介质
CN109597763B (zh) 一种对多项数据进行归一化的一致性验证方法及装置
CN110908920A (zh) 一种接口功能测试方法、装置及相关组件
CN106202848A (zh) 医学影像文件的获取方法、用户终端及主服务器
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN110750416A (zh) 一种故障信息自动化处理的方法及装置
CA3142579A1 (en) Method and apparatus for validation of event tracking acquired data
CN112837008A (zh) 条码读取方法、装置、设备及存储介质
CN116166629A (zh) 一种文件格式转换方法、装置、设备及可读存储介质
CN114238018B (zh) 日志采集文件完整性检测方法、系统、装置及存储介质
CN111104531A (zh) 一种检测数据的输入格式转换方法、装置、设备及介质
CN115618428A (zh) 一种基于区块链技术的数据完整性校验方法及系统
CN116166615A (zh) 一种针对业务系统的数据归档方法、设备及介质
CN115309334A (zh) 磁盘管理方法、装置、设备及存储介质
CN113821166A (zh) 一种聚合多版本小对象的方法、装置及设备
CN110196793B (zh) 针对插件数据库的日志分析方法及设备
CN112783751A (zh) 一种增量代码扫描方法、装置、电子设备和存储介质
CN110851323A (zh) 数据备份方法、装置及电子设备
CN111241036A (zh) 一种异步io数据处理方法、装置、设备及介质
CN114564472B (zh) 元数据扩充方法以及存储介质、电子设备
CN117093831B (zh) 电子证照构建方法及装置
CN111274208A (zh) 锁定文件的方法和装置
CN114356232B (zh) 数据读写方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant