CN109918231B - 数据重整的异常修复方法、装置、设备和存储介质 - Google Patents

数据重整的异常修复方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109918231B
CN109918231B CN201910149672.1A CN201910149672A CN109918231B CN 109918231 B CN109918231 B CN 109918231B CN 201910149672 A CN201910149672 A CN 201910149672A CN 109918231 B CN109918231 B CN 109918231B
Authority
CN
China
Prior art keywords
data
reforming
log
abnormal
column storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910149672.1A
Other languages
English (en)
Other versions
CN109918231A (zh
Inventor
周智伟
王攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN201910149672.1A priority Critical patent/CN109918231B/zh
Publication of CN109918231A publication Critical patent/CN109918231A/zh
Application granted granted Critical
Publication of CN109918231B publication Critical patent/CN109918231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种数据重整的异常修复方法、装置、设备和存储介质,其中该方法包括:基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型;根据数据重整日志的类型确定对应的异常修复操作;对数据重整日志对应的列存储表执行异常修复操作。本发明实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性。

Description

数据重整的异常修复方法、装置、设备和存储介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据重整的异常修复方法、装置、设备和存储介质。
背景技术
传统的存储数据的方式是行存储,但是行存储的查询性能较低。为了提高数据查询性能,用列存储方式存储数据的方法应运而生。
列存储表的查询性能固然优于行存储表,但是其增删改性能低于行存储表。为了提高列存储表的增删改性能,可以使用辅助表的方法用于存储增删改的数据。辅助表能提高列存储表的增删改性能,当辅助表中的数据较多时,可以采用数据重整的方式保证列存储表的查询性能。如果在数据重整的过程中因为一些意外情况导致掉电或数据库服务器停止运行,此时列存储表中的数据可能是错误的,进而造成后续对列存储表操作时的错误。
发明内容
本发明实施例提供了一种数据重整的异常修复方法、装置、设备和存储介质,可以解决现有技术中数据重整时因意外中断时造成的数据错误。
第一方面,本发明实施例提供了一种数据重整的异常修复方法,包括:
基于接收到的异常修复指令读取数据重整日志,确定所述数据重整日志的类型;
根据所述数据重整日志的类型确定对应的异常修复操作;
对所述数据重整日志对应的列存储表执行所述异常修复操作。
进一步的,根据所述数据重整日志的类型确定对应的异常修复操作,包括:
预先建立存储有所述数据重整日志的类型与所述异常修复操作的关联关系的异常关联表;
根据所述数据重整日志的类型以及所述异常关联表确定对应的异常修复操作。
进一步的,所述数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整。
进一步的,当所述数据重整日志的类型为所述中断重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
获取所述数据重整日志中的数据区的目标区号;
将所述列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于所述目标区号的数据删除,停止数据重整;或者,
继续对所述列存储表对应的数据区中大于所述目标区号的数据区进行数据重整。
进一步的,当所述数据重整日志的类型为所述数据区重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
对所述列存储表对应的插入辅助表继续进行数据重整,并清空所述插入辅助表以及所述列存储表对应的删除辅助表和更新辅助表。
进一步的,当所述数据重整日志的类型为所述插入辅助表重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
清空所述列存储表对应的删除辅助表和更新辅助表。
进一步的,当所述数据重整日志的类型为所述完成重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
结束所述异常修复操作。
进一步的,对所述数据重整日志对应的列存储表执行所述异常修复操作之后,还包括:
将所述列存储表的标志存储在预设的标志链表中,所述标志链表用于异常修复操作重复判断。
第二方面,本发明实施例还提供了一种数据重整的异常修复装置,该装置包括:
日志模块,用于基于接收到的异常修复指令读取数据重整日志,确定所述数据重整日志的类型;
修复确定模块,用于根据所述数据重整日志的类型确定对应的异常修复操作;
修复执行模块,用于对所述数据重整日志对应的列存储表执行所述异常修复操作。
进一步的,所述修复确定模块包括:
关联表单元,用于预先建立存储有所述数据重整日志的类型与所述异常修复操作的关联关系的异常关联表;
操作确定单元,根据所述数据重整日志的类型以及所述异常关联表确定对应的异常修复操作。
进一步的,所述数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整。
进一步的,当所述数据重整日志的类型为所述中断重整时,所述修复执行模块包括第一修复单元,所述第一修复单元具体用于:
获取所述数据重整日志中的数据区的目标区号;
将所述列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于所述目标区号的数据删除,停止数据重整;或者,
继续对所述列存储表对应的数据区中大于所述目标区号的数据区进行数据重整。
进一步的,当所述数据重整日志的类型为所述数据区重整时,所述修复执行模块包括第二修复单元,所述第二修复单元具体用于:
对所述列存储表对应的插入辅助表继续进行数据重整,并清空所述插入辅助表以及所述列存储表对应的删除辅助表和更新辅助表。
进一步的,当所述数据重整日志的类型为所述插入辅助表重整时,所述修复执行模块包括第三修复单元,所述第三修复单元具体用于:
清空所述列存储表对应的删除辅助表和更新辅助表。
进一步的,当所述数据重整日志的类型为所述完成重整时,所述修复执行模块包括第四修复单元,所述第四修复单元具体用于:
结束所述异常修复操作。
进一步的,该装置还包括标志链表模块,所述标志链表模块具体用于:
对所述数据重整日志对应的列存储表执行所述异常修复操作之后,将所述列存储表的标志存储在预设的标志链表中,所述标志链表用于异常修复操作重复判断。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的数据重整的异常修复方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据重整的异常修复方法。
本发明实施例基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型,根据数据重整日志的类型确定对应的异常修复操作,并对数据重整日志对应的列存储表执行异常修复操作。本发明实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性。
附图说明
图1为本发明实施例一中的数据重整的异常修复方法的流程图;
图2为本发明实施例一中的数据重整的异常修复的示意图;
图3为本发明实施例二中的数据重整的异常修复方法的流程图;
图4为本发明实施例三中的数据重整的异常修复装置的结构示意图;
图5为本发明实施例四中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的数据重整的异常修复方法的流程图,本实施例可适用于实现数据库中对列存储表进行数据重整时出现异常进行修复的情况,该方法可以由数据重整的异常修复装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于设备中,例如该设备可以为电脑、平板或者智能手机等。
图2为本发明实施例一中的数据重整的异常修复的示意图,本实施例中的技术方案是在数据库中数据重整的过程中由于一些意外情况导致掉电或数据库服务器停止运行等异常情况出现时,对数据重整过程实现的异常修复。本实施例中在数据重整过程中预先设置多种类型的数据重整日志,并设置对应的异常修复操作,异常出现并且数据库重启之后,根据不同类型的数据重整日志进行不同的异常修复操作。如图2所示,数据重整日志的类型可以包括类型A、类型B和类型C,其中类型A对应的是异常修复操作a,类型B对应的是异常修复操作b,类型C对应的是异常修复操作c。
如图1所示,该方法具体可以包括:
S110、基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型。
其中,异常修复指令用于指示数据库在数据重整过程中发生异常并且重启时进行修复。本实施例中针对的列存储表是指包括辅助表的列存储表,数据重整是指数据库中对其中的列存储表以及其辅助表进行数据整理和重新存储的处理。其中辅助表包括插入辅助表、删除辅助表和更新辅助表。进一步的,异常修复指令的接收方式可以根据具体情况进行设定,例如当数据库重启时,数据重整的异常修复装置可以确定接收到异常修复指令。
本实施例中数据重整的异常修复装置可以在数据重整的过程中,即数据重整的每个步骤,设置不同类型的数据重整日志,数据重整日志的类型和数据重整日志的类型的数量本实施例中不作限定,可以根据实际情况进行设定。
可选地,数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整等。例如,当列存储表对应的一个数据区完成了数据重整,则设置一条数据重整日志,类型可以为中断重整,可以采用“SECTION”表示,日志内容为该列存储表的标识(即ID)和该数据区的区号,标识完成了对该数据区的数据重整;又如,当列存储表对应的所有数据区均完成数据重整,则设置一条数据重整日志,类型可以为数据区重整,可以采用“SECTIONS”表示,日志内容为该列存储表的标识(即ID),用于标识该列存储表对应的数据区均完成了数据重整;又如,当列存储表对应的插入辅助表中完成数据重整并清空该插入辅助表之后,则设置一条数据重整日志,类型可以为插入辅助表重整,可以采用“RAUX”表示,日志内容也为该列存储表的标识(即ID),用于标识该列存储表对应的插入辅助表完成了数据重整;再如,当清空列存储表对应的删除辅助表和更新辅助表之后,可以设置一条数据重整日志,类型可以为完成重整,可以采用“TABLE”表示,日志内容也为该列存储表的标识(即ID),标识该列存储表完成了数据重整。
具体的,数据重整的异常修复装置在数据库重启后基于接收到的异常修复指令可以倒序的方式获取数据库中的数据重整日志,并读取该数据重整日志,根据数据重整日志中的类型标识确定该数据重整日志的具体类型。
S120、根据数据重整日志的类型确定对应的异常修复操作。
其中,异常修复操作为预先设置的与数据重整日志的类型相对应的修复操作,一个数据重整日志的类型对应唯一的异常修复操作,具体的异常修复操作可以根据实际情况进行设定,本实施例中不作限定。例如,当数据重整日志的类型为插入辅助表重整时,对应的异常修复操作为清空列存储表对应的删除辅助表和更新辅助表。
具体的,确定数据重整日志的类型之后,根据数据重整日志的类型与异常修复操作的关联关系确定该数据重整日志的类型对应的异常修复操作。
S130、对数据重整日志对应的列存储表执行异常修复操作。
具体的,确定数据重整日志的类型对应的异常修复操作之后,可以对该数据重整日志对应的列存储表执行该异常修复操作,以完成修复。
示例性的,当数据重整日志的类型为数据区重整时,对数据重整日志对应的列存储表执行异常修复操作,包括:对列存储表对应的插入辅助表继续进行数据重整,并清空插入辅助表以及列存储表对应的删除辅助表和更新辅助表。当数据重整日志的类型为数据区重整时,表示所有的数据区均完成了数据重整,此时可以继续进行数据重整,即对列存储表对应的插入辅助表基于更新辅助表和删除辅助表继续进行数据重整,重整完成之后,清空插入辅助表以及列存储表对应的删除辅助表和更新辅助表,即为实现了修复。
本实施例基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型,根据数据重整日志的类型确定对应的异常修复操作,并对数据重整日志对应的列存储表执行异常修复操作。本实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性。
实施例二
图3为本发明实施例二中的数据重整的异常修复方法的流程图。本实施例在上述实施例的基础上,进一步优化了上述数据重整的异常修复方法。相应的,如图3所示,本实施例的方法具体包括:
S210、基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型。
S220、预先建立存储有数据重整日志的类型与异常修复操作的关联关系的异常关联表。
其中,异常关联表用于存储数据重整日志的类型和异常修复操作的关联关系,异常关联表的具体形式可以根据实际情况进行设定,本实施例中对此不作限定。
异常修复操作可以是预先设置的与数据重整日志的类型相对应的修复操作,一个数据重整日志的类型对应唯一的异常修复操作,具体的异常修复操作可以根据实际情况进行设定,本实施例中不作限定。例如,当数据重整日志的类型为插入辅助表重整时,对应的异常修复操作为清空列存储表对应的删除辅助表和更新辅助表。
S230、根据数据重整日志的类型以及异常关联表确定对应的异常修复操作。
具体的,确定数据重整日志的类型之后,根据该数据重整日志的类型可以在预先建立的异常关联表中进行查找,进而确定与该数据重整日志的类型相关联的异常修复操作。
可选地,S230之后,当数据重整日志的类型为中断重整时,可以执行S240-S250,其中S250(图中未示出)可以为S251或者S252。
S240、获取数据重整日志中的数据区的目标区号。
由于该数据重整日志的类型为中断重整,则代表数据重整过程中还未对列存储表对应的全部数据区完成数据重整,则可以获取当前数据重整日志中的数据区对应的目标区号。
S240之后,可以执行S251或者S252。
S251、将列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于目标区号的数据删除,停止数据重整。
当数据重整日志的类型为中断重整时,修复时可以停止数据重整,并将列存储表对应的删除辅助表和更新辅助表中区号小于或等于目标区号的数据删除,即将已经删除辅助表和更新辅助表中已经完成数据重整的数据删除,目标区号之后没有完成数据重整的数据区不再继续进行数据重整,并保留以保证列存储表的数据是正确的。
S252、继续对列存储表对应的数据区中大于目标区号的数据区进行数据重整。
当数据重整日志的类型为中断重整时,修复时还可以继续数据重整,即继续对列存储表对应的数据区中大于目标区号的数据区进行数据重整,并且对插入辅助表中也进行数据重整,清空插入辅助表、删除辅助表和更新辅助表。
S260、将列存储表的标志存储在预设的标志链表中。
其中,标志链表用于异常修复操作重复判断。数据库可以构造一个修复事务,其对应的内存结构中可以包括标志链表,可以采用“Tabid”来表示,用于记录在异常修复过程中遇到的不同的列存储表的标识(即ID)。
由于数据库可能同时对多个列存储表进行数据重整,数据重整的过程中形成的数据重整日志按照时间顺序记录,不同列存储表的数据重整日志会互相穿插在一起,因此通过设置的标识链表可以避免对同一个列存储表进行重复异常修复。
对一条数据重整日志对应的列存储表进行异常修复之后,可以将该列存储表的标志存储在预设的标志链表中,若后续再获取到该列存储表对应的数据重整日志,则直接忽略,不进行异常修复。
可选地,S230之后,当数据重整日志的类型为数据区重整时,还可以执行S270(图中未示出),具体的:
S270、对列存储表对应的插入辅助表继续进行数据重整,并清空插入辅助表以及列存储表对应的删除辅助表和更新辅助表。
当数据重整日志的类型为数据区重整时,表示所有的数据区均完成了数据重整,此时可以继续进行数据重整,即对列存储表对应的插入辅助表基于更新辅助表和删除辅助表继续进行数据重整,重整完成之后,清空插入辅助表以及列存储表对应的删除辅助表和更新辅助表,即为实现了修复。
可选地,S230之后,当数据重整日志的类型为插入辅助表重整时,还可以执行S280(图中未示出),具体的:
S280、清空列存储表对应的删除辅助表和更新辅助表。
当数据重整日志的类型为插入辅助表重整时,表示所有的数据区和插入辅助表均完成了数据重整,此时可以清空列存储表对应的删除辅助表和更新辅助表,完成数据重整。
可选地,S230之后,当数据重整日志的类型为完成重整时,还可以执行S290(图中未示出),具体的:
S290、结束异常修复操作。
当数据重整日志的类型为完成重整时,表示该数据重整日志的类型对应的列存储表已经完成了数据重整,则不需要修复,结束异常修复操作。
本实施例基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型,预先建立存储有数据重整日志的类型与异常修复操作的关联关系的异常关联表,根据数据重整日志的类型以及异常关联表确定对应的异常修复操作,并对数据重整日志对应的列存储表执行异常修复操作,将列存储表的标志存储在预设的标志链表中。本实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性;并且通过设置的标识链表可以避免对同一个列存储表进行重复异常修复。
实施例三
图4为本发明实施例三中的数据重整的异常修复装置的结构示意图,实现数据库中对列存储表进行数据重整时出现异常进行修复的情况。本发明实施例所提供的数据重整的异常修复装置可执行本发明任意实施例所提供的数据重整的异常修复方法,具备执行方法相应的功能模块和有益效果。该装置具体包括日志模块310、修复确定模块320和修复执行模块330,其中:
日志模块310,用于基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型;
修复确定模块320,用于根据数据重整日志的类型确定对应的异常修复操作;
修复执行模块330,用于对数据重整日志对应的列存储表执行异常修复操作。
本发明实施例基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型,根据数据重整日志的类型确定对应的异常修复操作,并对数据重整日志对应的列存储表执行异常修复操作。本发明实施例通过预先设置的不同的数据重整日志的类型可以确定不同的异常修复操作,并执行对应的异常修复,实现了对列存储表数据重整时数据库异常重启后的修复,保证了异常重启后列存储表数据的正确性。
进一步的,修复确定模块包括:
关联表单元,用于预先建立存储有数据重整日志的类型与异常修复操作的关联关系的异常关联表;
操作确定单元,根据数据重整日志的类型以及异常关联表确定对应的异常修复操作。
进一步的,数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整。
进一步的,当数据重整日志的类型为中断重整时,修复执行模块包括第一修复单元,第一修复单元具体用于:
获取数据重整日志中的数据区的目标区号;
将列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于目标区号的数据删除,停止数据重整;或者,
继续对列存储表对应的数据区中大于目标区号的数据区进行数据重整。
进一步的,当数据重整日志的类型为数据区重整时,修复执行模块包括第二修复单元,第二修复单元具体用于:
对列存储表对应的插入辅助表继续进行数据重整,并清空插入辅助表以及列存储表对应的删除辅助表和更新辅助表。
进一步的,当数据重整日志的类型为插入辅助表重整时,修复执行模块包括第三修复单元,第三修复单元具体用于:
清空列存储表对应的删除辅助表和更新辅助表。
进一步的,当数据重整日志的类型为完成重整时,修复执行模块包括第四修复单元,第四修复单元具体用于:
结束异常修复操作。
进一步的,该装置还包括标志链表模块,标志链表模块具体用于:
对数据重整日志对应的列存储表执行异常修复操作之后,将列存储表的标志存储在预设的标志链表中,标志链表用于异常修复操作重复判断。
本发明实施例所提供的数据重整的异常修复装置可执行本发明任意实施例所提供的数据重整的异常修复方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四中的设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备412的框图。图5显示的设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,设备412以通用终端的形式表现。设备412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该设备412交互的终端通信,和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图5所示,网络适配器420通过总线418与设备412的其它模块通信。应当明白,尽管图中未示出,可以结合设备412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据重整的异常修复方法,该方法包括:
基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型;
根据数据重整日志的类型确定对应的异常修复操作;
对数据重整日志对应的列存储表执行异常修复操作。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据重整的异常修复方法,该方法包括:
基于接收到的异常修复指令读取数据重整日志,确定数据重整日志的类型;
根据数据重整日志的类型确定对应的异常修复操作;
对数据重整日志对应的列存储表执行异常修复操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种数据重整的异常修复方法,其特征在于,包括:
基于接收到的异常修复指令读取数据重整日志,确定所述数据重整日志的类型;
根据所述数据重整日志的类型确定对应的异常修复操作;
对所述数据重整日志对应的列存储表执行所述异常修复操作;
其中,所述数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整,所述中断重整用于标识完成了对列存储表对应的一个数据区的数据重整,所述数据区重整用于标识列存储表对应的所有数据区均完成了数据重整,所述插入辅助表重整用于标识列存储表对应的插入辅助表完成了数据重整,所述完成重整用于标识列存储表完成了数据重整;
当所述数据重整日志的类型为所述中断重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
获取所述数据重整日志中的数据区的目标区号;
将所述列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于所述目标区号的数据删除,停止数据重整;或者,
继续对所述列存储表对应的数据区中大于所述目标区号的数据区进行数据重整。
2.根据权利要求1所述的方法,其特征在于,根据所述数据重整日志的类型确定对应的异常修复操作,包括:
预先建立存储有所述数据重整日志的类型与所述异常修复操作的关联关系的异常关联表;
根据所述数据重整日志的类型以及所述异常关联表确定对应的异常修复操作。
3.根据权利要求1所述的方法,其特征在于,当所述数据重整日志的类型为所述数据区重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
对所述列存储表对应的插入辅助表继续进行数据重整,并清空所述插入辅助表以及所述列存储表对应的删除辅助表和更新辅助表。
4.根据权利要求1所述的方法,其特征在于,当所述数据重整日志的类型为所述插入辅助表重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
清空所述列存储表对应的删除辅助表和更新辅助表。
5.根据权利要求1所述的方法,其特征在于,当所述数据重整日志的类型为所述完成重整时,
对所述数据重整日志对应的列存储表执行所述异常修复操作,包括:
结束所述异常修复操作。
6.根据权利要求1所述的方法,其特征在于,对所述数据重整日志对应的列存储表执行所述异常修复操作之后,还包括:
将所述列存储表的标志存储在预设的标志链表中,所述标志链表用于异常修复操作重复判断。
7.一种数据重整的异常修复装置,其特征在于,包括:
日志模块,用于基于接收到的异常修复指令读取数据重整日志,确定所述数据重整日志的类型;
修复确定模块,用于根据所述数据重整日志的类型确定对应的异常修复操作;
修复执行模块,用于对所述数据重整日志对应的列存储表执行所述异常修复操作;
其中,所述数据重整日志的类型包括中断重整、数据区重整、插入辅助表重整和完成重整,所述中断重整用于标识完成了对列存储表对应的一个数据区的数据重整,所述数据区重整用于标识列存储表对应的所有数据区均完成了数据重整,所述插入辅助表重整用于标识列存储表对应的插入辅助表完成了数据重整,所述完成重整用于标识列存储表完成了数据重整;
当数据重整日志的类型为中断重整时,修复执行模块包括第一修复单元,第一修复单元具体用于:
获取数据重整日志中的数据区的目标区号;
将列存储表对应的删除辅助表和更新辅助表中所属数据区的区号小于或等于目标区号的数据删除,停止数据重整;或者,
继续对列存储表对应的数据区中大于目标区号的数据区进行数据重整。
8.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据重整的异常修复方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的数据重整的异常修复方法。
CN201910149672.1A 2019-02-28 2019-02-28 数据重整的异常修复方法、装置、设备和存储介质 Active CN109918231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149672.1A CN109918231B (zh) 2019-02-28 2019-02-28 数据重整的异常修复方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149672.1A CN109918231B (zh) 2019-02-28 2019-02-28 数据重整的异常修复方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109918231A CN109918231A (zh) 2019-06-21
CN109918231B true CN109918231B (zh) 2021-02-26

Family

ID=66962579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149672.1A Active CN109918231B (zh) 2019-02-28 2019-02-28 数据重整的异常修复方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109918231B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112799884B (zh) * 2021-04-14 2021-08-03 北京八角科技有限责任公司 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631018B2 (en) * 2003-04-30 2009-12-08 Oracle International Corporation Flashback database
CN105740103A (zh) * 2016-02-02 2016-07-06 厦门市美亚柏科信息股份有限公司 一种基于日志的ntfs删除文件恢复方法和装置
CN105740248A (zh) * 2014-12-09 2016-07-06 华为软件技术有限公司 一种数据同步方法、装置及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541691B (zh) * 2011-12-27 2015-01-28 北京人大金仓信息技术股份有限公司 面向内存数据库oltp应用的日志检查点恢复方法
US9767178B2 (en) * 2013-10-30 2017-09-19 Oracle International Corporation Multi-instance redo apply
CN106339274B (zh) * 2015-07-14 2019-07-02 阿里巴巴集团控股有限公司 一种数据快照获取的方法及系统
CN106603258A (zh) * 2015-10-16 2017-04-26 北京国双科技有限公司 数据发送的方法及装置
US20170235781A1 (en) * 2016-02-16 2017-08-17 TmaxData Co., Ltd. Method, server and computer program stored in computer readable medium for managing log data in database
CN108664359B (zh) * 2018-05-23 2020-12-29 上海达梦数据库有限公司 一种数据库恢复方法、装置、设备及存储介质
CN108875077B (zh) * 2018-07-10 2021-02-09 上海达梦数据库有限公司 数据库的列存储方法、装置、服务器及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7631018B2 (en) * 2003-04-30 2009-12-08 Oracle International Corporation Flashback database
CN105740248A (zh) * 2014-12-09 2016-07-06 华为软件技术有限公司 一种数据同步方法、装置及系统
CN105740103A (zh) * 2016-02-02 2016-07-06 厦门市美亚柏科信息股份有限公司 一种基于日志的ntfs删除文件恢复方法和装置

Also Published As

Publication number Publication date
CN109918231A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
CN110555150B (zh) 一种数据监控方法、装置、设备和存储介质
CN108874441B (zh) 一种板卡配置方法、装置、服务器和存储介质
CN111324441A (zh) 运行环境的切换方法、装置、计算机设备和存储介质
CN110659210A (zh) 一种信息获取方法、装置、电子设备及存储介质
CN112363753A (zh) 数据校验方法、装置、电子设备及存储介质
CN113384896A (zh) 基于Unity的资源打包方法、装置、设备及介质
CN109918231B (zh) 数据重整的异常修复方法、装置、设备和存储介质
CN111708681B (zh) 一种日志处理方法、装置、设备及存储介质
CN112069158A (zh) 一种数据修复方法、装置、设备和存储介质
CN112988534A (zh) 异常数据处理方法、装置、设备及存储介质
CN112882743A (zh) 一种软件升级的方法
CN110888791A (zh) 一种日志处理方法、装置、设备和存储介质
CN109582318B (zh) Portobuf本地化的处理方法、装置、终端及存储介质
CN111444208A (zh) 一种数据更新方法及相关设备
CN111290881A (zh) 一种数据恢复方法、装置、设备及存储介质
CN109740027B (zh) 数据交换方法、装置、服务器和存储介质
CN112866979B (zh) 基于5g服务化接口的用户信息关联方法、装置、设备和介质
CN110085237B (zh) 交互过程的恢复方法、装置及设备
CN114090514A (zh) 分布式系统的日志检索方法及装置
CN113010114A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112114811A (zh) 一种编译方法、装置和设备
CN110795408A (zh) 基于对象存储的数据处理方法、装置、服务器和存储介质
CN112306819B (zh) 异常事件的回放方法、装置、电子设备以及存储介质
CN113127238B (zh) 数据库中导出数据的方法及装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant