CN113157496B - 应用于数据恢复的处理方法、相关装置、设备及存储介质 - Google Patents
应用于数据恢复的处理方法、相关装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113157496B CN113157496B CN202110467880.3A CN202110467880A CN113157496B CN 113157496 B CN113157496 B CN 113157496B CN 202110467880 A CN202110467880 A CN 202110467880A CN 113157496 B CN113157496 B CN 113157496B
- Authority
- CN
- China
- Prior art keywords
- data
- log
- filtering
- transaction
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种应用于数据恢复的处理方法、相关装置、设备及存储介质,用于通过将待回档日志数据转化为行级数据进行过滤和回滚处理,能够减少数据处理量,从而节约时间成本,提高运行效率。本申请实施例方法包括:获取数据恢复指令,其中,数据恢复指令指示数据过滤条件,且数据恢复指令携带用户标识;响应于数据恢复指令,从日志原始数据中获取用户标识所对应的待回档日志数据;对待回档日志数据进行单行遍历处理,得到N条行日志数据;根据数据过滤条件对每条行日志数据进行过滤处理,得到M条过滤行数据;针对每条过滤行数据,若过滤行数据满足预设的回滚条件,则对过滤行数据进行回滚处理,得到目标回档数据;输出目标回档数据。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种应用于数据恢复的处理方法、相关装置、设备及存储介质。
背景技术
随着互联网信息的飞速发展,人们能够从各种多媒体平台中获取大量的信息,但是在操作中容易时不时会出现误删除、误修改数据情况,或者用户想要进行数据回滚,就需要进行数据恢复。
但是,传统的回档技术,一般是通过业务人员根据线上操作日志,构造误删除的数据,或者通过数据库管理员(Database Administrator,DBA)使用二进制日志和备份的方式恢复数据,都需要非常费时费力,而且容易出错。
而且使用传统的回档技术,通常是根据全量冷备,即当全量数据文件处于完全静止状态时,构造出整个实例的数据,再通过正向滚动应用二进制日志来对全部数据进行数据恢复,无法单独为某一用户提供数据恢复,或者在全部数据恢复后,通过人工确认并从全部恢复的数据中提取特定的用户数据,导致恢复数据庞大,以及需要耗费大量的人力资源成本和时间成本,导致运行效率低。
发明内容
本申请实施例提供了一种应用于数据恢复的处理方法,用于通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
有鉴于此,本申请一方面提供一种应用于数据恢复的处理方法,包括:
获取数据恢复指令,其中,数据恢复指令指示数据过滤条件,且数据恢复指令携带用户标识;
响应于数据恢复指令,从日志原始数据中获取用户标识所对应的待回档日志数据;
对待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数;
根据数据过滤条件对每条行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数;
针对每条过滤行数据,若过滤行数据满足预设的回滚条件,则对过滤行数据进行回滚处理,得到目标回档数据;
输出目标回档数据。
本申请的另一方面提供一种应用于数据恢复的处理装置,包括:
获取单元,用于获取数据恢复指令,其中,数据恢复指令指示数据过滤条件,且数据恢复指令携带用户标识;
获取单元,还用于响应于数据恢复指令,从日志原始数据中获取用户标识所对应的待回档日志数据;
处理单元,用于对待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数;
过滤单元,用于根据数据过滤条件对每条行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数;
回滚单元,用于针对每条过滤行数据,若过滤行数据满足预设的回滚条件,则对过滤行数据进行回滚处理,得到目标回档数据;
输出单元,用于输出目标回档数据。
在一种可能的设计中,在本申请实施例的另一方面的第一种实现方式中,
确定单元,用于根据逻辑操作符的数量以及优先级确定数据过滤条件中的每个过滤子条件的复杂度,其中,逻辑操作符为用于联结或改变过滤子条件中的关键字;
过滤单元,还用于根据复杂度的优先级,通过过滤子条件对每条行日志数据进行过滤处理,得到M条过滤行数据。
在一种可能的设计中,在本申请实施例的另一方面的第二种实现方式中,
确定单元,还用于根据回调函数确定待回档日志数据是否属于查询语句;
处理单元,还用于若待回档日志数据不属于查询语句,则对待回档日志数据进行单行遍历处理;
处理单元,还用于若待回档日志数据属于查询语句,则根据数据过滤条件中的正则表达式对待回档日志数据进行匹配处理,得到匹配字符串;
存储单元,用于记录匹配字符串。
在一种可能的设计中,在本申请实施例的另一方面的第三种实现方式中,
确定子单元,用于根据过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据;
置换子单元,用于将第一语句类型数据与第二语句类型数据进行位置置换,得到第一回档数据;
置换子单元,还用于针对第一回档数据,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,得到第二回档数据;
获取子单元,用于获取数据过滤条件中的回档时间段;
输出子单元,用于按照回档时间段逆序输出第二回档数据,得到目标回档数据。
在一种可能的设计中,在本申请实施例的另一方面的第四种实现方式中,
处理单元,还用于对日志文件进行解析处理,得到多个日志事务,其中,每个日志事务对应有一个全局事务号;
确定单元,还用于根据用户标识与全局事务号的对应关系确定与用户标识相对应的日志事务;
存储单元,还用于将用户标识与日志事务对应存储为日志原始数据。
在一种可能的设计中,在本申请实施例的另一方面的第五种实现方式中,
处理单元,还用于根据数据过滤条件中的报错条件对日志事务进行匹配;
处理单元,还用于若日志事务不满足报错条件,则对日志事务进行忽略;
处理单元,还用于若日志事务满足报错条件,则对日志事务进行数据报错提示。
在一种可能的设计中,在本申请实施例的另一方面的第六种实现方式中,
确定单元,还用于根据全局事务号确定日志事务的事务类型;
获取单元,还用于根据事务类型获取更新事务类型对应的更新日志事务;
处理单元,还用于将更新日志事务的事务类型修改为写入事务类型,得到写入日志事务,并将写入日志事务发送至终端设备进行确认;
存储单元,还用于当接收到终端设备返回的确认信息时,将写入日志事务存储至数据库。
本申请另一方面提供了一种计算机设备,包括:存储器、收发器、处理器以及总线系统;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序时实现如上述各方面的方法;
总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。网络设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该网络设备执行上述各方面所提供的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
先通过响应于数据恢复指令,从日志原始数据中获取与数据恢复指令携带的用户标识相对应的待回档日志数据,并对待回档日志数据进行单行遍历处理以获取N条行日志数据,然后,根据数据恢复指令指示的数据过滤条件对每条行日志数据进行过滤处理来得到M条过滤行数据,进而当过滤行数据满足预设的回滚条件时,通过对过滤行数据进行回滚处理来获取目标回档数据,并输出目标回档数据。通过上述方式,实现了通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
附图说明
图1是本申请实施例中数据控制的一个架构示意图;
图2是本申请实施例中数据控制系统的另一个架构示意图;
图3是本申请实施例中应用于数据恢复的处理方法的一个实施例示意图;
图4是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图5是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图6是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图7是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图8是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图9是本申请实施例中应用于数据恢复的处理方法的另一个实施例示意图;
图10是本申请实施例中应用于数据恢复的处理方法的一个原理流程示意图;
图11是本申请实施例中应用于数据恢复的处理方法的一个回档处理示意图;
图12是本申请实施例中应用于数据恢复的处理方法的一个事务匹配流程示意图;
图13是本申请实施例中应用于数据恢复的处理方法的一个回档需求饼状示意图;
图14是本申请实施例中应用于数据恢复的处理装置的一个实施例示意图;
图15是本申请实施例中计算机设备的一个实施例示意图;
图16是本申请实施例中计算机设备的另一个实施例示意图。
具体实施方式
本申请实施例提供了一种应用于数据恢复的处理方法,用于通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解,本申请提供的应用于数据恢复的处理方法可以应用于各种支持关系型数据库管理系统(MySQL)进行数据恢复的场景中,作为示例,例如新闻资讯业务中对查询对象的浏览数据进行数据恢复。作为另一个示例,例如教育学习业务中对学习对象的学习数据进行数据恢复。作为再一示例,例如游戏存储业务中对游戏角色的游戏数据进行数据恢复,在上述种种场景中,为了完成数据恢复,现有技术中提供的解决方案为,通过大量的业务人员根据线上操作日志,构造误删除的数据,或者通过数据库管理员使用二进制日志和备份的方式恢复数据,需要非常大量的人力资源和时间成本,而且容易出错。
为了解决上述问题,本申请提出了一种应用于数据恢复的处理方法,该方法应用于图1所示的数据控制系统,请参阅图1,图1为本申请实施例中数据控制系统的一个架构示意图,如图所示,先通过响应于数据恢复指令,从日志原始数据中获取与数据恢复指令携带的用户标识相对应的待回档日志数据,并对待回档日志数据进行单行遍历处理以获取N条行日志数据,然后,根据数据恢复指令指示的数据过滤条件对每条行日志数据进行过滤处理来得到M条过滤行数据,进而当过滤行数据满足预设的回滚条件时,通过对过滤行数据进行回滚处理来获取目标回档数据,并输出目标回档数据,通过上述方式,实现了通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
需要说明的是,请参阅图2,图2是本申请实施例中数据控制系统的另一个架构示意图,其中,数据控制系统包括服务器和终端设备,且客户端部署于终端设备上。本申请涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器和终端设备的数量也不做限制。
为了解决上述问题,本申请提出了一种应用于数据恢复的处理方法,该方法一般由服务器或终端设备执行,相应地,应用于数据恢复的处理装置一般设置于服务器或终端设备中。
下面将对本申请中应用于数据恢复的处理方法进行介绍,请参阅图3以及图10,本申请实施例中应用于数据恢复的处理方法一个实施例包括:
在步骤S101中,获取数据恢复指令,其中,数据恢复指令指示数据过滤条件,且数据恢复指令携带用户标识。
在本实施例中,由于用户可以通过终端设备执行数据恢复的恢复操作,则终端设备可以接收用户对想要恢复的数据的选择操作,并根据用户的选择操作生成数据恢复指令的确认界面,以获取到用户确认的数据恢复指令。
具体地,数据恢复指令指的是用户对选择的想要恢复的数据的确定指令,其中,该数据恢复指令可以用于指示数据过滤条件,还可以携带有用户标识等,此处不做具体限制。用户标识也可以称为用户身份标识码(identity,ID),用于指示用户选择的想要恢复的数据,可以具体表现为整数(int)型的数字串,也可以具体表现为字符串等;更具体的,用户标识可以为一个独立标识,同时指示用户选择的想要恢复的数据,也可以为业务标识与注册标识组合的组合标识等具体此处也不做限定。数据过滤条件用于从用户存储的日志数据中过滤或筛选出用户想要进行恢复的数据,具体可以表现为单字段条件或多字段条件,也可以表现为时间段,还可以表现为通配符或正则表达式等,具体此处不做具体限制。
在步骤S102中,响应于数据恢复指令,从日志原始数据中获取用户标识所对应的待回档日志数据。
在本实施例中,在获取到数据恢复指令后,可以根据数据恢复指令中携带的用户标识从日志原始数据中获取与该用户标识相对应的待回档数据,以对待回档数据进行数据恢复,其中,待回档数据与用户标识具有一一对应的关系,该待回档数据是用户的存储日志,包括需回档数据以及非回档数据,可以理解为用户想要进行数据恢复的日志以及用户无需进行数据恢复的日志。
其中,日志原始数据是用于记录数据更新操作的二进制日志(binlog),具体可以表现为声明(statement),也可以表现为行(row),还可以表现为声明与行的混合形式(MIXED)等具体此处不做具体限制。
其中,声明(statement)是支持关系型数据库管理系统服务器(MySQL server)上的每一个数据更新操作以结构化查询语言(Structured Query Language,SQL)文本的形式记录到二进制日志(binlog)文件中。可以简单理解为,用户传什么SQL给服务器执行,服务器就将该SQL原封不动的记录到binlog中,不会保存数据修改前与修改后的镜像(image)。此时,所有用于指示改变、删除字段或者创建(alter drop create,DDL)的语句,以及插入、更新或删除(insert update delete,DML)的语句在binlog中都会以查询事务(QUERY_EVENT)的形式进行保存。
其中,行(row)是用于将所有DDL语句依然以SQL文本方式如查询事务(QUERY_EVENT)的形式进行保存;而所有DML则以二进制形式保存每一行数据的更新操作,每一行数据的更新记录中包含每一列更新前的镜像(Before Image)和更新后的镜像(AfterImage)。
需要说明的是,在row模式下,binlog是否记录每一行更新前后镜像还受日志行镜像(binlog_row_image)参数的影响。
例如,当日志行镜像参数为最高限度(FULL)即binlog_row_image=FULL时,无论某列的值是否有更新,都将记录所有列更新前的镜像(Before Image)和更新后的镜像(After Image);或者是当日志行镜像参数为最低限度(MINIMAL)即binlog_row_image=MINIMAL时,更新前的镜像(Before Image)只记录唯一识别列即唯一索引列、主键列,而更新后的镜像(After Image)只记录修改列;有或者是当日志行镜像参数为非二进制大对象(NOBLOB)即binlog_row_image=NOBLOB时,类似于FULL格式,记录所有列更新前后的镜像,但对于二进制大对象(binary large object,BLOB)用于在数据库中用来存储二进制文件的字段类型,或文本(TEXT)格式的列,如果不是唯一识别列或者唯一索引列、主键列,或者没有修改,则不进行记录。
具体地,为了能够有针对性对日志原始数据中的某一用户的想要恢复的日志数据进行单独的数据恢复,本实施例通过用户标识与待回档日志数据的对应关系,快速准确地从日志原始数据中获取与用户标识相对应的待回档日志数据,以避免传统数据恢复技术只能通过人工对全部用户的日志数据进行数据恢复,造成处理数据过多,时间成本高的情况,能够降低数据运算量,从而提高运行效率。
例如,假设日志原始数据为50条日志,其中,有20条待回档日志数据与用户标识A相对应,则可以通过用户标识与待回档日志数据的对应关系,在这50条日志原始数据中快速准确地获取与该用户表示A相对应的20条待回档日志数据。
在步骤S103中,对待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数。
在本实施例中,由于待回档日志数据中记录了大量的结构化查询文本形式的语句,为避免传统数据恢复技术通过直接对全部日志数据进行回档的操作,造成数据运算复杂度高的情况,本实施例通过将待回档日志数据转化为行级数据进行处理,能够通过针对单行数据进行处理来降低运算复杂度,从而提高运行效率。
具体地,在获取到待回档日志数据后,根据待回档日志数据的二进制日志(binlog)的存储形式,可以采用单行数据读取的方式,即行遍历来对该待回档日志数据进行数据输出,得到多条单行数据,即行日志数据,能够将待回档日志数据转化为行级的行日志数据来降低运算复杂度,从而提高运行效率。
在步骤S104中,根据数据过滤条件对每条行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数。
在本实施例中,由于待回档日志数据中包含有用户想要进行数据恢复的日志以及用户无需进行数据恢复的日志,为了能够准确地从待回档日志数据中快速提取出用户想要进行数据恢复的日志,本实施例通过对每条行日志数据进行过滤操作来剔除待回档日志数据中用户无需进行数据恢复的日志,从而准确获取用户想要进行数据恢复的日志数据。
具体地,在获取到行日志数据之后,可以根据数据过滤条件对每条行日志数据进行过滤处理,具体可以是通过封装在过滤器(filter)中的过滤字段来对每条行日志数据进行过滤处理,可以将封装在过滤器(filter)中的过滤字段理解为一个过滤网,在数据进行回档之前,通过一系列的过滤字段来对每条行日志数据进行匹配筛选,把不符合过滤字段规则的行日志数据进行剔除或忽略,以避免不必要进行数据恢复的行日志数据污染了需进行数据恢复的数据,可能会导致后续数据回档失败的情况,从而保证数据回档的可靠性。
进一步地,根据数据过滤条件对每条行日志数据进行过滤处理,还可以是采用指定字段,如库指定字段或者表指定字段等具体不限定,对行日志数据进行过滤处理,以快速准确地筛选出指定的需要进行数据回档的行日志数据,即过滤行数据。
为了便于理解,在一种实现方式中,假设想要从行日志数据中提取出第二行的行日志数据作为需要进行数据回档的日志数据,则可以将字段值设置为@2,其中,@2表示字段位置,即根据过滤字段为filter-rows="@2",能够根据该字段值在N条行日志数据中快速锁定处于@2位置的行日志数据作为过滤行数。
在另一种实现方式中,假设想要从行日志数据中提取出需要进行数据回档的库,则可以使得库名(flashback-databases)等于名称(name),即根据库指定字段“flashback-databases=name”,能够根据库名快速准确地过滤或筛选出行日志数据中符合该库名的日志数据,作为需要进行数据回档(flashback)的库。
在另一种实现方式中,假设想要从行日志数据中提取出需要进行数据回档的表,则可以使得表名(flashback-tables)等于名称(name),即表指定字段“flashback-tables=name”,能够根据表名快速准确地过滤、筛选出行日志数据中符合该表名的日志数据,作为需要进行数据回档(flashback)的表。
在步骤S105中,针对每条过滤行数据,若过滤行数据满足预设的回滚条件,则对过滤行数据进行回滚处理,得到目标回档数据。
在步骤S106中,输出目标回档数据。
在本实施例中,在获取到过滤行数据后,可以先通过预设的回滚条件对该过滤行数据进行是否可以进行数据回档的初步确认,其中,预设的回滚条件可以表现为符合关系型数据库管理系统服务器(MySQL server)可直接读取格式的数据,还可以是其他回滚条件,此处不作具体限制;然后,若筛选出满足的预设的回滚条件的行过滤数据,即可以理解为该行过滤数据可以进行数据回档,则可以根据数据库回闪机制(flashback)对可以进行数据回档的过滤行数据进行回滚处理,并按照时间点的先后顺序输出回滚后的数据,即目标回档数据,完成数据恢复。
具体地,在获取到过滤行数据后,为了进一步保证数据回档的可靠性,本实施例通过根据预设的回滚条件筛选出能够进行数据回档的过滤行数据,然后对满足预设的回滚条件的过滤行数据进行回滚处理,以获取满足用户数据恢复需求的目标回档数据,以减少数据回档失败的情况,从而减少数据运算复杂度,提高运行效率。
在本申请实施例中,提供了一种应用于数据恢复的处理方法,通过上述方式,实现了通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图4所示,该方法还包括:
在步骤S201中,根据逻辑操作符的数量以及优先级确定数据过滤条件中的每个过滤子条件的复杂度,其中,逻辑操作符为用于联结或改变过滤子条件中的关键字;
在步骤S202中,根据复杂度的优先级,通过过滤子条件对每条行日志数据进行过滤处理,得到M条过滤行数据。
在本实施例中,在对获取到的行日志数据进行过滤之前,为了提高过滤性能,保证过滤可靠性,本实施例先根据每个过滤子条件中的逻辑操作符的数量以及优先级来确定数据过滤条件中的每个过滤子条件的复杂度,并按照复杂度从高到低的顺序对过滤子条件进行排列,然后,过滤子条件的复杂度的优先级,分别对行日志数据进行过滤处理,以获取能够直观反映与用户关联性强弱的过滤行数据,以保证过滤的可靠性。
其中,逻辑操作符可以是逗号、句号或者空格等具体不做限定,且逻辑操作符的优先级符合编码逻辑规则,即可以理解为一过滤子条件中用于连接逻辑关键字的逻辑操作符的数量越多、优先级越高,则该过滤子条件的复杂度越高,与该过滤子条件相匹配的过滤行数据与用户的关联性越强。
其中,当过滤子条件中的逻辑关键字较少时,过滤子条件可以表现为将逻辑关键字表示为具体字段值;或者当过滤子条件中的逻辑关键字较多时,过滤子条件也可以表现为字符分隔值(Comma-SeparatedValues,CSV)格式的文件。
具体地,在对获取到的行日志数据进行过滤之前,可以根据每个过滤子条件中用于联结或改变过滤子条件中的关键字的逻辑操作符的数量和优先级来确定该过滤子条件的复杂度,然后,按照排列好的过滤子条件来对行日志数据进行过滤,能够快速准确地匹配出符合该过滤子条件的过滤行数据,以保证过滤的可靠性。
为了便于理解,在一种实现方式中,当过滤子条件中的逻辑关键字较少时,如该逻辑关键字为位置字段,本实施例继续使用filter-rows="@2"进行说明,其中,@2代表字段位置,filter-rows表示过滤行,当逻辑关键字为两个或两个以上时,即多个字段条件,可以使用逗号分隔;其中,默认使用空格来区分多行字段位置,如filter-rows="@2@3",然后按照该过滤子条件,先对显示创建表(show create table)中的多条行日志数据根据顺序往下从1开始来确定过滤行数据,或者根据提供可访问数据库元数据的方式的数据库(information_schema.COLUMNS)中的顺序位置(ORDINAL_POSITION)确定位置,以获取过滤行数据。
在另一种实现方式中,当过滤子条件中的逻辑关键字较多时,可以将该逻辑关键字封装成字符分隔值(Comma-Separated Values,CSV)格式的文件,然后通过filter-rows=keyfilter_back.csv来读取CSV格式文件中的逻辑关键字来对行日志数据进行过滤,其中,keyfilter_back.csv表示过滤键路CSV格式文件。
需要说明的是,为了进一步避免过滤的可靠性,本实施例针对支持的最大长度是255个字符的字符数据(varchar)、可以改变长度的二进制数据的二进制数据(varbinary)、可容纳单个字符的数据类型的字符数据(char)、二进制数据(binary)以及二进制大对象(blob)等数据类型,过滤子条件中的逻辑关键字可以指定为十六进制格式,例如filter-rows="@2:hex 0x64646464",其中,域(hex)表示为由任意数量的十六进制记录组成,且每个记录包含5个域,则该filter-rows="@2:hex 0x64646464"对应的字符串为selectunhex('64646464'),然后通过电脑编码系统代码(American Standard Code forInformation Interchange,ASCII)可输出“dddd”的字符串。
进一步地,针对过滤子条件中的逻辑关键字设置为无符号(UNSIGNED)类型时,只能存储从0到255的整数,不能用来储存负数,或者不设置无符号(UNSIGNED)类型时,可存储-128到127的整数(tinyint)型数字串,或者设置为整数(int)型数字串、较小整数(smallint)型的数字串、中间整数(mediumint)型数字串或者超整数(bigint)型数字串时,默认将该过滤子条件当做无符号(UNSIGNED)处理;或者当该过滤子条件中的逻辑关键字为给定的值包括负数时,需进行符号(SIGNED)设置,如@3:signed,以避免过滤出的过滤行数据出现遗漏。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图5所示,该方法还包括:
在步骤S301中,根据回调函数确定待回档日志数据是否属于查询语句;
在步骤S302中,若待回档日志数据不属于查询语句,则对待回档日志数据进行单行遍历处理;
在步骤S303中,若待回档日志数据属于查询语句,则根据数据过滤条件中的正则表达式对待回档日志数据进行匹配处理,得到匹配字符串;
在步骤S304中,记录匹配字符串。
在本实施例中,在对待回档日志数据进行单行遍历处理之前,由于待回档日志数据的内容形式可以是声明(statement)、行(row)或者声明与行的混合形式(MIXED)等都可以采用查询语句(QUERY_EVENT)的形式进行保存,而为了避免待回档数据在通过数据过滤条件进行过滤时可能会因为查询语句(QUERY_EVENT)的形式而被过滤器过滤掉,造成数据遗漏的情况,本实施例先通过回调函数(query-event-handler)来确认待回档日志数据是否属于查询语句,若待回档日志数据不属于查询语句,即可以理解为该待回档日志数据中的语句形式是可以直接进行过滤处理的语句,则可以对该待回档日志数据进行单行遍历处理,以进行后续的过滤处理;同时,当待回档日志数据属于查询语句时,由于查询语句包括DDL语句,可以理解为该类语句与原数据字段相比可能发生变化,而当该行数据涉及的表发生字段元数据变化时,会存在无法进行回档的情况,若强行回档则可能会损坏数据,故本实施例可以先通过采用回调函数(query-event-handler)来控制或处理该类查询语句;以及查询语句还包括DML语句,可以理解为该类虽然不涉及表字段元数据变化,但该类语句不存在用于记录数据修改的前镜像和或者后镜像的完整数据,也无法进行回档的数据,故可以采用与DDL语句相同的处理方式,此处不再赘述。
进一步地为了避免该待回档日志数据进行过滤或回档后导致回档失败或数据损坏的情况,本实施例可以根据数据过滤条件中的正则表达式或者通配符来对属于查询语句的待回档日志数据进行进一步地字符匹配,以获取能够进行数据回档的匹配字符串,并对匹配到的匹配字符串进行记录和存储,以使后续可以对这个匹配字符串进行回滚处理,以保证数据回档的可靠性和完整性。
其中,正则表达式可以表现为报错正则表达式(filter-statement-match-error)、忽略正则表达式(filter-statement-match-ignore)、保留正则表达式(filter-statement-match-keep)或者安全正则表达式(filter-statement-match-safe)等具体不做限定。
需要说明的是,当待回档日志数据匹配符合报错正则表达式时,可以立马报错退出,但如果同时匹配符合忽略正则表达式,则会对匹配到的匹配字符串进行忽略并记录到注释中;当待回档日志数据匹配符合保留正则表达式时,则对匹配到匹配字符串进行保留,但如果同时匹配符合错误正则表达式,则在输出匹配到的匹配字符串后仍然进行报错退出;当待回档日志数据匹配符合忽略正则表达式时,则将匹配到匹配字符串记录在注释中,但如果同时匹配符合错误正则表达式,则在输出匹配到的匹配字符串后仍然进行报错退出;当待回档日志数据匹配符合安全正则表达式时,则将匹配到匹配字符串记录在注释中;当待回档日志数据不符合匹配时,则进行报错退出。
具体地,在对待回档日志数据进行单行遍历处理之前,可以先根据回调函数确定待回档日志数据是否属于查询语句来避免后续对待回档日志数据造成过滤遗漏的情况,从而当待回档日志数据不属于查询语句时,可以对待回档日志数据进行单行遍历处理;同时,当待回档日志数据属于查询语句时,为了避免对待回档日志数据进行数据回档处理时被遗漏的情况,可以根据数据过滤条件中的正则表达式对待回档日志数据进行匹配,以获取能够进行数据回档的匹配字符串,并记录该匹配字符串。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图6所示,对过滤行数据进行回滚处理,得到目标回档数据包括:
在步骤S401中,根据过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据;
在步骤S402中,将第一语句类型数据与第二语句类型数据进行位置置换,得到第一回档数据;
在步骤S403中,针对第一回档数据,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,得到第二回档数据;
在步骤S404中,获取数据过滤条件中的回档时间段;
在步骤S405中,按照回档时间段逆序输出第二回档数据,得到目标回档数据。
在本实施例中,在对过滤行数据进行回滚处理时,根据先根据过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据,其中,过滤行数据的语句类型包括写入数据语句类型,如插入(INSERT)、替换(REPLACE)语句类型,该写入数据语句类型中包含有变更后的数据镜像(After Image);还包括更新数据语句类型,如更新(UPDATE)语句类型,更新数据语句类型中包含变更前后的数据镜像(Before Image和After Image);还包括删除数据语句类型,如删除(DELETE)语句类型,删除数据语句类型中包含变更前的数据镜像(Before Image);即第一语句类型数据以及第二语句类型数据可以语句类型的名称来确定为是写入数据、更新数据或者是删除数据,然后,根据数据库回闪机制中的三层反转机制来对过滤行数据进行回滚处理。
进一步地,先通过对单行数据进行反转更新处理来保证单行数据回档的准确率和可靠性,可以理解为第一层反转机制,即将第一语句类型数据与第二语句类型数据进行位置置换,来获取单行内位置更换后的第一回档数据。
为了便于理解,在一个实施例中,当第一语句类型数据为插入数据,且数据值为30,第二语句类型数据为删除数据,且数据值为32,则可以将第一语句类型数据与第二语句类型数据进行位置置换,此时插入数据变为删除数据,数值30变为32。
在另一个实施例中,如果当第一语句类型数据为删除数据,且数据值为62,第二语句类型数据为插入数据,且数据值为50,则可以将第一语句类型数据与第二语句类型数据进行位置置换,此时删除数据变为插入数据,数值62变为50。
进一步地,通过执行对最小执行单元的位置置换来保证每个最小执行单元的数据回档的正确性和可靠性,可以理解为第二反转机制,即通过将第一回档数据作为最小执行单元,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换来获取完成行间位置置换后的第二回档数据。
例如,第一回档数据中有两行第一语句类型数据,分别位于第一行和第四行,以及两行第二语句类型数据,分别位于第二行和第三行那么将分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,可以理解为现将当前处于第一行的第一语句类型数据与当前处于第四行的第一语句类型数据进行位置替换,同理,可以将当前处于第二行的第二语句类型数据与当前处于第三行的第二语句类型数据进行位置替换得到完成行间位置替换的第二回档数据。
进一步地,在完成行间数据回滚后,还需要对全部数据进行回滚以保证数据回档的完整性,本实施例通过在数据过滤条件中获取回档时间段,该回档时间段是用户选定的需要进行数据回档的时间段,不包括起始回档时间点、结束回档时间点以及其他顺序时间点,进而根据回档时间段的时间顺序来逆序输出日志数据,完成对全部过滤行数据的回滚处理,可以理解为第三层反转机制,即按照回档时间段逆序输出第二回档数据来获取目标回档数据。
例如,假设回档时间段为18:00到19:00,可以将19:00理解为结束回档时间点,18:00理解为起始回档时间点,则按照回档时间段的倒序,可优先输出结束回档时间点19:00对应的第二回档数据,最后输出起始回档时间点18:00对应的第二回档数据,从而将输出的数据作为目标回档数据,完成待回档日志数据的数据恢复。
为了便于理解,如图11所示,在图11示意的(a)中的过滤行数据分别为T1、T2、T3、T4和T5中分别包含的两条行数据,每个行数据中均包含有两个更新数据,例如T1中第一条行数据中分别包含的是第一语句类型数据“update where@1=x,@2=100”以及第二语句类型数据“set@1=x,@2=200”,在将第一语句类型数据与第二语句类型数据进行位置置换来得到单行内位置更换后的第一回档数据,如图11示意的(b)的T1变为第二语句类型数据“update where@1=x,@2=200”和第二语句类型数据“set@1=x,@2=100”;然后,将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换来获取行间位置替换的第二回档数据,即将T1行中两行更新数据进行位置置换;然后,逆序输出完成行间位置替换的第二回档数据,如图11示意的(b)T5行变成了T1行,T4行变成T2行,最后得到如图11示意的(b)中的目标回档数据。
具体地,为了保证对每条过滤行数据进行数据回档的完整性和可靠性,本实施例先根据过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据,然后将第一语句类型数据与第二语句类型数据进行位置置换来获取第一回档数据,以实现单行内的数据回档,进而,通过将每个第一回档数据当做一个最小执行单元,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换来获取第二回档数据,以实现在单元内的行间数据回档;最后,按照获取到的回档时间段逆序输出第二回档数据来获取目标回档数据,实现全部单元间的数据回档,保证了过滤行数据的完成数据回档,从而保证数据回档的完整性和可靠性。
需要说明的是,如图13所示,在游戏存储业务场景中的单用户、角色数据回档可以分别作为此类场景的一个代表,据统计,在基于数据库回闪进行数据回档的场景中,如图13示意中的A1表示单用户、角色回档的需求一般占总需求的50%,如图13示意中的A2表示单库回档占总需求的的21%,如图13示意中的A3表示构造需求占总需求的7%,如图13示意中的A4表示全服全区回档占总需求的11%以及如图13示意中的A5表示单表回档占总需求的11%。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图7所示,
在步骤S501中,对日志文件进行解析处理,得到多个日志事务,其中,每个日志事务对应有一个全局事务号;
在步骤S502中,根据用户标识与全局事务号的对应关系确定与用户标识相对应的日志事务;
在步骤S503中,将用户标识与日志事务对应存储为日志原始数据。
在本实施例中,在从日志原始数据中获取用户标识所对应的待回档日志数据之前,由于日志原始数据都是以日志文件的形式存储在数据库中的,为了能够将日志原始数据顺利转换为行级数据,本实施例可以先通过关系型数据库管理系统(MySQL)对日志文件进行解析处理,得到处理后的多个日志事务(event)。
其中,每个日志文件都是由一系列日志事务(event)组成,日志文件中的日志事务(event)是格式描述事务(FORMAT_DESCRIPTION_EVENT)为开始,以旋转事务(ROTATE_EVENT)为文件结尾,中间是其他日志事务的组合。
进一步地,每个日志事务(event)是由标头(event header)和事务数据(eventdata)组成,其中,标头(event header)中的字段标识(type_code)用于唯一标识当前日志事务的语句类型,如标识插入数据的日志事务为30,即“WRITE_ROWS_EVENT=30”,或者标识更新数据的日志事务为31,即“UPDATE_ROWS_EVENT=31”,对标识删除数据的日志事务为32,即“DELETE_ROWS_EVENT=32”。
进一步地,在使用关系型数据库管理系统(MySQL)对日志文件进行解析处理的过程中,每解析出一条日志事务,关系型数据库管理系统服务器(MySQL sever)都会为每个日志事务都是生成一个全局事务号(GTID,global transaction identifier),并可以通过全局事务(GTID_EVENT)来记录该编号。
进一步地,在获取到全局事务号之后,为了准确获取属于每个用户的日志事务,本实施例可以根据用户标识与全局事务号的对应关系来准确快速地确定与用户标识相对应的日志事务,然后,通过将用户标识与日志事务对应存储,可以得到包含有多个用户标识以及与其相对应的日志事务的日志原始数据,以便于后续需要对某一用户的日志数据进行数据恢复时能够根据该用户标识快速获取用户的按时间顺序逆序的待回档日志数据,从而在一定程度上保证运行效率以及数据恢复的可靠性。
具体地,在从日志原始数据中获取用户标识所对应的待回档日志数据之前,可以通过对日志文件进行解析处理来日志文件中的多个日志事务,以保证日志事务的完整性,且每个日志事务对应有一个全局事务号,然后,可以根据用户标识与全局事务号的对应关系来快速确定与用户标识相对应的日志事务,最后通过将用户标识与日志事务对应存储在数据库中,得到包含有多个用户标识以及与其相对应的日志事务的日志原始数据。
例如,一个日志文件进行解析后,得到包含有编号1至编号10的日志事务与用户标识A具有对应关系,以及编号11至编号15的日志事务与用户标识B具有对应关系的日志原始数据。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图8所示,
在步骤S601中,根据数据过滤条件中的报错条件对日志事务进行匹配;
在步骤S602中,若日志事务不满足报错条件,则对日志事务进行忽略;
在步骤S603中,若日志事务满足报错条件,则对日志事务进行数据报错提示。
在本实施例中,如图12所示,在对过滤行数据进行回滚处理之前,为了避免传统数据恢复技术在处理日志文件中创建、改变或删除字段(create/alter/drop,DDL)类型语句时,均采用直接忽略,会导致不可进行回档数据的损坏,容易导致后续回档失败且造成网络数据污染,因此本实施例根据数据过滤条件中的报错条件对日志事务进行匹配,其中,报错条件用于指示日志事务中不能进行数据回档的事务,报错条件具体可以表现为报错正则表达式或者报错通配符等具体不做限定;当日志事务不满足报错条件时,可以理解为该日志事务可以进行数据回档,且与用户的关联性不强,可以对日志事务进行忽略,不会对数据回档造成影响;同时,当日志事务满足报错条件时,可以理解为该日志事务不可以进行数据回档,且与用户的关联性较强,若对该日志事务进行忽略,则会对数据回档造成严重影响,如回档失败的情况,故本实施例通过对该日志事务进行数据报错提示,以使后续通过对该日志事务进行修正可以进行数据回档的使用,从而避免网络数据污染。
具体地,在对过滤行数据进行回滚处理之前,可以根据数据过滤条件中的报错条件如报错通配符来实现对日志事务的准确匹配,然后,当日志事务不满足报错条件时,则可以对该日志事务进行忽略;同时,当日志事务满足报错条件时,为避免网络数据污染,则可以对日志事务进行数据报错提示。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理方法另一个可选实施例中,如图9所示,该方法还包括:
在步骤S701中,根据全局事务号确定日志事务的事务类型;
在步骤S702中,根据事务类型获取更新事务类型对应的更新日志事务;
在步骤S703中,将更新日志事务的事务类型修改为写入事务类型,得到写入日志事务,并将写入日志事务发送至终端设备进行确认;
在步骤S704中,当接收到终端设备返回的确认信息时,将写入日志事务存储至数据库。
在本实施例中,在对日志事务进行数据报错提示之后,为了保证数据恢复的完整性,以及避免日志事务因被二次破坏而造成对当前数据的污染,本实施例先根据全局事务号来准确快速地确定日志事务的事务类型,然后可以根据事务类型获取更新事务类型对应的更新日志事务,以避免其他日志事务的干扰,进而,通过将更新日志事务的事务类型修改为写入事务类型来获取写入日志事务,能够用于表示该更新后的日志事务可能存在破坏风险,需要进行维护或更正,同时,通过将写入日志事务发送至终端设备进行确认并在接收到终端设备返回的确认信息后,才将写入日志事务存储至数据库,能够保证日志事务的安全性,从而在一定程度上实现更安全的数据恢复,避免二次破坏,保证数据回档的可靠性。
例如,以日志事务中有更新日志事务为30,则可以将该日志事务修改成写入日志事务30,即“update=30”修改成“write=30”。
具体地,在对日志事务进行数据报错提示之后,可以先根据全局事务号来准确地确定日志事务的事务类型,然后为了避免其他事务的干扰,可以根据事务类型获取更新事务类型对应的更新日志事务,进而将更新日志事务的事务类型修改为写入事务类型以获取写入日志事务,并将写入日志事务发送至终端设备进行确认,最后在接收到终端设备返回的确认信息后,才将写入日志事务存储至数据库,以保证日志事务的安全性。
下面对本申请中的应用于数据恢复的处理装置进行详细描述,请参阅图14,图14为本申请实施例中应用于数据恢复的处理装置的一个实施例示意图,应用于数据恢复的处理装置20包括:
获取单元201,用于获取数据恢复指令,其中,数据恢复指令指示数据过滤条件,且数据恢复指令携带用户标识;
获取单元201,还用于响应于数据恢复指令,从日志原始数据中获取用户标识所对应的待回档日志数据;
处理单元202,用于对待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数;
过滤单元203,用于根据数据过滤条件对每条行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数;
回滚单元204,用于针对每条过滤行数据,若过滤行数据满足预设的回滚条件,则对过滤行数据进行回滚处理,得到目标回档数据;
输出单元205,用于输出目标回档数据。
具体地,本实施例先通过获取单元201来准确从日志原始数据中快速获取与数据恢复指令中携带的用户标识所对应的待回档日志数据,进而处理单元202来将待回档日志数据转换为行级数据进行处理,以减少数据的处理量,并过滤单元203来准确地从行级数据中快速提取出与用户关联性较强的过滤行数据,以减少其他不必要日志数据的干扰,进一步地减少数据的处理量,从而提高运行效率,然后通过回滚单元204来实现对过滤行数据的行内数据或行间数据的回滚,以保证数据回档的完整性和可靠性,最后通过输出单元205输出该目标回档数据。
在本申请实施例中,提供了一种应用于数据恢复的处理装置,通过上述方式,实现了通过将待回档日志数据转化为行级数据进行过滤和回滚处理,不仅能够针对单独用户的待回档日志数据进行数据恢复,还能够减少数据处理量,从而节约时间成本,提高运行效率。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理装置的另一实施例中,
确定单元206,用于根据逻辑操作符的数量以及优先级确定数据过滤条件中的每个过滤子条件的复杂度,其中,逻辑操作符为用于联结或改变过滤子条件中的关键字;
过滤单元203,还用于根据复杂度的优先级,通过过滤子条件对每条行日志数据进行过滤处理,得到M条过滤行数据。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的游戏资源的测试装置的另一实施例中,
确定单元206,还用于根据回调函数确定待回档日志数据是否属于查询语句;
处理单元207,还用于若待回档日志数据不属于查询语句,则对待回档日志数据进行单行遍历处理;
处理单元207,还用于若待回档日志数据属于查询语句,则根据数据过滤条件中的正则表达式对待回档日志数据进行匹配处理,得到匹配字符串;
存储单元208,用于记录匹配字符串。
具体地,为了能够有效提高过滤器的过滤性能,本实施例先通过确定单元206来确定过滤器中的每个过滤子条件的复杂度,以保证过滤器的可靠性,然后通过过滤单元203使用复杂度优先级排列后过滤子条件来对每条行日志数据进行过滤处理,以保证数据过滤的有效性。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理装置的另一实施例中,
确定子单元2031,用于根据过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据;
置换子单元2032,用于将第一语句类型数据与第二语句类型数据进行位置置换,得到第一回档数据;
置换子单元2032,还用于针对第一回档数据,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,得到第二回档数据;
获取子单元2033,用于获取数据过滤条件中的回档时间段;
输出子单元2034,用于按照回档时间段逆序输出第二回档数据,得到目标回档数据。
具体地,为了保证数据回档的完整性,本实施例先通过确定子单元2031确定单行内每个数据的语句类型,然后根据语句类型的特性,可以通过置换子单元2032来先进行单行内的数据位置置换,然后在进行行间数据的位置置换,来保证对个单行日志数据的数据回档,最后通过输出子单元2034来按照在获取子单元2033中获取的回档时间段进行数据的逆序输出,来保证对日志数据进行数据回档的完整性和可靠性。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理装置的另一实施例中,
处理单元207,还用于对日志文件进行解析处理,得到多个日志事务,其中,每个日志事务对应有一个全局事务号;
确定单元206,还用于根据用户标识与全局事务号的对应关系确定与用户标识相对应的日志事务;
存储单元208,还用于将用户标识与日志事务对应存储为日志原始数据。
具体地,为了能够保证获取待回档日志数据的准确性,本实施例通过处理单元207来对数据库中的日志文件进行解析,并通过确定单元206将解析得到的日志事务通过全局事务号来建立与用户标识之间的对应关系,最后通过存储单元208来存储包含有用户标识以及与其相对应日志事务的日志原始数据,以使后续能够通过该用户标识准确获取相对应的日志事务。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理装置的另一实施例中,
处理单元207,还用于根据数据过滤条件中的报错条件对日志事务进行匹配;
处理单元207,还用于若日志事务不满足报错条件时,则对日志事务进行忽略;
处理单元207,还用于若日志事务满足报错条件时,则对日志事务进行数据报错提示。
具体地,为避免不能进行数据回档的日志事务造成数据回档失败的情况,本实施例通过处理单元207来将不能进行数据回档的日志事务进行报错提示,以及后续可以及时对该日志事务进行维护或修改。
可选地,在上述图14对应的实施例的基础上,本申请实施例提供的应用于数据恢复的处理装置的另一实施例中,
确定单元206,还用于根据全局事务号确定日志事务的事务类型;
获取单元201,还用于根据事务类型获取更新事务类型对应的更新日志事务;
处理单元207,还用于将更新日志事务的事务类型修改为写入事务类型,得到写入日志事务,并将写入日志事务发送至终端设备进行确认;
存储单元208,还用于当接收到终端设备返回的确认信息时,将写入日志事务存储至数据库。
具体地,保证日志事务的安全性,本实施例先确定单元206来确定日志事务的事务类型,并通过获取单元201准确筛选出可能存在数据破坏风险的更新日志事务,然后,通过处理单元207来该更新日志事务进行事务类型的更改,用于表示该日志可能需要进行维护和修正,并将更改后的日志事务发送至终端设备进行确认,最后通过存储单元208,将确认安全无误的日志事务存储至数据库,以保证日志事务的安全性,从而在一定程度上保证数据回档的可靠性。
本申请另一方面提供了一种计算机设备示意图,如图15所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该应用于数据恢复的处理装置可以为包括手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、销售终端(Point ofSales,POS)、车载电脑等任意终端设备,以应用于数据恢复的处理装置为手机为例:
图15示出的是与本发明实施例提供的应用于数据恢复的处理装置相关的手机的部分结构的框图。参考图15,手机包括:射频(Radio Frequency,RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity,WiFi)模块370、处理器380、以及电源390等部件。本领域技术人员可以理解,图15中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图15对手机的各个构成部件进行具体的介绍:
RF电路310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器380处理;另外,将设计上行的数据发送给基站。通常,RF电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem ofMobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division MultipleAccess,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器320可用于存储软件程序以及模块,处理器380通过运行存储在存储器320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元330可包括触控面板331以及其他输入设备332。触控面板331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器380,并能接收处理器380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331,输入单元330还可以包括其他输入设备332。具体地,其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元340可包括显示面板341,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板341。进一步的,触控面板331可覆盖显示面板341,当触控面板331检测到在其上或附近的触摸操作后,传送给处理器380以确定触摸事件的类型,随后处理器380根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图15中,触控面板331与显示面板341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板331与显示面板341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路360、扬声器361,传声器362可提供用户与手机之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号,传输到扬声器361,由扬声器361转换为声音信号输出;另一方面,传声器362将收集的声音信号转换为电信号,由音频电路360接收后转换为音频数据,再将音频数据输出处理器380处理后,经RF电路310以发送给比如另一手机,或者将音频数据输出至存储器320以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块370,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器320内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器380可包括一个或多个处理单元;可选的,处理器380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器380中。
手机还包括给各个部件供电的电源390(比如电池),可选的,电源可以通过电源管理系统与处理器380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像模块、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端设备所包括的处理器380用于执行如图3至图9对应的实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请另一方面提供了另一种计算机设备示意图,如图16所示,该应用于数据恢复的处理装置可以为服务器,该服务器400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)422(例如,一个或一个以上处理器)和存储器432,一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器422可以设置为与存储介质430通信,在服务器400上执行存储介质430中的一系列指令操作。
服务器400还可以包括一个或一个以上电源426,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,和/或,一个或一个以上操作系统441,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
服务器400还用于执行如图3至图9对应的实施例中的步骤。
本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如图3至图9所示实施例描述的方法中的步骤。
本申请的另一方面提供了一种包含指令的计算机程序产品当其在计算机或处理器上运行时,使得所述计算机或处理器执行如图3至图9所示实施例描述的方法中的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种应用于数据恢复的处理方法,其特征在于,包括:
获取数据恢复指令,其中,所述数据恢复指令指示数据过滤条件,且所述数据恢复指令携带用户标识;
响应于所述数据恢复指令,从日志原始数据中获取所述用户标识所对应的待回档日志数据;
对所述待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数;
根据所述数据过滤条件对每条所述行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数;
针对每条所述过滤行数据,若所述过滤行数据满足预设的回滚条件,则对所述过滤行数据进行回滚处理,得到目标回档数据,其中,所述对所述过滤行数据进行回滚处理,得到目标回档数据,包括:根据所述过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据;将所述第一语句类型数据与所述第二语句类型数据进行位置置换,得到第一回档数据;针对所述第一回档数据,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,得到第二回档数据;获取所述数据过滤条件中的回档时间段;按照所述回档时间段逆序输出所述第二回档数据,得到所述目标回档数据;
输出所述目标回档数据。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述数据过滤条件对每条所述行日志数据进行过滤处理,得到M条过滤行数据之前,所述方法还包括:
根据逻辑操作符的数量以及优先级确定所述数据过滤条件中的每个过滤子条件的复杂度,其中,所述逻辑操作符为用于联结或改变所述过滤子条件中的关键字;
根据所述数据过滤条件对每条所述行日志数据进行过滤处理,得到M条过滤行数据:
根据所述复杂度的优先级,通过所述过滤子条件对每条所述行日志数据进行过滤处理,得到M条过滤行数据。
3.根据权利要求1所述的方法,其特征在于,在所述对所述待回档日志数据进行单行遍历处理,得到N条行日志数据之前,所述方法还包括:
根据回调函数确定所述待回档日志数据是否属于查询语句;
若所述待回档日志数据不属于查询语句,则对所述待回档日志数据进行单行遍历处理;
若所述待回档日志数据属于查询语句,则根据所述数据过滤条件中的正则表达式对所述待回档日志数据进行匹配处理,得到匹配字符串;
记录所述匹配字符串。
4.根据权利要求1所述的方法,其特征在于,在所述从日志原始数据中获取所述用户标识所对应的待回档日志数据之前,所述方法包括:
对日志文件进行解析处理,得到多个日志事务,其中,每个所述日志事务对应有一个全局事务号;
根据所述用户标识与所述全局事务号的对应关系确定与所述用户标识相对应的所述日志事务;
将所述用户标识与所述日志事务对应存储为所述日志原始数据。
5.根据权利要求4所述的方法,其特征在于,在所述针对每条所述过滤行数据,若所述过滤行数据满足预设的回滚条件,则对所述过滤行数据进行回滚处理,得到目标回档数据之前,所述方法还包括:
根据所述数据过滤条件中的报错条件对所述日志事务进行匹配;
若所述日志事务不满足所述报错条件,则对所述日志事务进行忽略;
若所述日志事务满足所述报错条件,则对所述日志事务进行数据报错提示。
6.根据权利要求5所述的方法,其特征在于,在所述若所述日志事务满足所述报错条件,则对所述日志事务进行数据报错提示之后,所述方法还包括:
根据所述全局事务号确定所述日志事务的事务类型;
根据所述事务类型获取更新事务类型对应的更新日志事务;
将所述更新日志事务的事务类型修改为写入事务类型,得到写入日志事务,并将所述写入日志事务发送至终端设备进行确认;
当接收到所述终端设备返回的确认信息时,将所述写入日志事务存储至数据库。
7.一种应用于数据恢复的处理装置,其特征在于,包括:
获取单元,用于获取数据恢复指令,其中,所述数据恢复指令指示数据过滤条件,且所述数据恢复指令携带用户标识;
所述获取单元,还用于响应于所述数据恢复指令,从日志原始数据中获取所述用户标识所对应的待回档日志数据;
处理单元,用于对所述待回档日志数据进行单行遍历处理,得到N条行日志数据,N为大于零的正整数;
过滤单元,用于根据所述数据过滤条件对每条所述行日志数据进行过滤处理,得到M条过滤行数据,M为小于等于N的正整数;
回滚单元,用于针对每条所述过滤行数据,若所述过滤行数据满足预设的回滚条件,则对所述过滤行数据进行回滚处理,得到目标回档数据,其中,所述对所述过滤行数据进行回滚处理,得到目标回档数据,包括:根据所述过滤行数据的语句类型确定第一语句类型数据以及第二语句类型数据;将所述第一语句类型数据与所述第二语句类型数据进行位置置换,得到第一回档数据;针对所述第一回档数据,分别将当前处于第一行的第一语句类型数据与当前处于最后一行的第一语句类型数据进行位置置换,得到第二回档数据;获取所述数据过滤条件中的回档时间段;按照所述回档时间段逆序输出所述第二回档数据,得到所述目标回档数据;
输出单元,用于输出所述目标回档数据。
8.一种计算机设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序时实现如权利要求1至6中任一项所述的方法;
所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
9.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110467880.3A CN113157496B (zh) | 2021-04-28 | 2021-04-28 | 应用于数据恢复的处理方法、相关装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110467880.3A CN113157496B (zh) | 2021-04-28 | 2021-04-28 | 应用于数据恢复的处理方法、相关装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113157496A CN113157496A (zh) | 2021-07-23 |
CN113157496B true CN113157496B (zh) | 2023-03-10 |
Family
ID=76872006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110467880.3A Active CN113157496B (zh) | 2021-04-28 | 2021-04-28 | 应用于数据恢复的处理方法、相关装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113157496B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113836579B (zh) * | 2021-09-26 | 2024-04-09 | 多点生活(成都)科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436207A (zh) * | 2008-12-16 | 2009-05-20 | 浪潮通信信息系统有限公司 | 一种基于日志快照的数据恢复和同步方法 |
CN106776136A (zh) * | 2016-12-12 | 2017-05-31 | 网易(杭州)网络有限公司 | 数据库处理方法和装置 |
CN112612649A (zh) * | 2020-12-31 | 2021-04-06 | 广州鼎甲计算机科技有限公司 | Cache数据库的日志恢复方法、系统及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8676749B2 (en) * | 2008-07-31 | 2014-03-18 | Sybase, Inc. | Statement logging in databases |
US8510270B2 (en) * | 2010-07-27 | 2013-08-13 | Oracle International Corporation | MYSQL database heterogeneous log based replication |
-
2021
- 2021-04-28 CN CN202110467880.3A patent/CN113157496B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436207A (zh) * | 2008-12-16 | 2009-05-20 | 浪潮通信信息系统有限公司 | 一种基于日志快照的数据恢复和同步方法 |
CN106776136A (zh) * | 2016-12-12 | 2017-05-31 | 网易(杭州)网络有限公司 | 数据库处理方法和装置 |
CN112612649A (zh) * | 2020-12-31 | 2021-04-06 | 广州鼎甲计算机科技有限公司 | Cache数据库的日志恢复方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113157496A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868314B2 (en) | File processing method and mobile terminal | |
US20170286092A1 (en) | Terminal device and version upgrading method | |
CN111125269B (zh) | 一种数据管理方法、血缘关系显示方法和相关装置 | |
CN109375907B (zh) | 审核流程开发方法、业务审核方法、装置、设备及介质 | |
CN111240897B (zh) | 一种数据处理方法及相关设备 | |
CN110008234B (zh) | 一种业务数据搜索方法、装置及电子设备 | |
CN112363871A (zh) | 一种数据回档方法、装置及存储介质 | |
CN113157496B (zh) | 应用于数据恢复的处理方法、相关装置、设备及存储介质 | |
CN110633438A (zh) | 一种新闻事件处理的方法、终端、服务器及存储介质 | |
CN115982218A (zh) | 一种稽查痕迹的记录方法和装置 | |
CN116841794A (zh) | 一种数据的校验方法、装置以及存储介质 | |
CN115617899A (zh) | 一种数据可视化处理方法、装置、设备及存储介质 | |
CN111625737B (zh) | 一种标签展示方法、装置、设备和存储介质 | |
CN108629006A (zh) | 一种数据模型与数据库对象的同步方法及装置 | |
CN115145910A (zh) | 一种协议数据的管理方法以及相关装置 | |
EP4261701A1 (en) | Distributed file access method, and related device | |
CN117390002A (zh) | 配置管理数据库的检查方法、装置及电子设备 | |
CN117519666A (zh) | 一种信息处理方法、装置、设备以及存储介质 | |
CN117472265A (zh) | 一种数据处理方法以及相关设备 | |
CN116257503A (zh) | 一种数据迁移处理方法、装置、设备及存储介质 | |
CN117807132A (zh) | 分布式数据库直方图创建方法、装置、设备及存储介质 | |
CN117667955A (zh) | 一种数据处理方法和相关装置 | |
CN117743015A (zh) | 一种sql故障定位方法、装置、系统及设备 | |
CN117743355A (zh) | 一种分布式数据库并发更新方法、装置、设备及存储介质 | |
CN111143666A (zh) | 钢网库存查询方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40047938 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |