CN107239467A - 基于数据库的数据处理方法及装置 - Google Patents
基于数据库的数据处理方法及装置 Download PDFInfo
- Publication number
- CN107239467A CN107239467A CN201610187311.2A CN201610187311A CN107239467A CN 107239467 A CN107239467 A CN 107239467A CN 201610187311 A CN201610187311 A CN 201610187311A CN 107239467 A CN107239467 A CN 107239467A
- Authority
- CN
- China
- Prior art keywords
- data
- new
- entry
- data entry
- tables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/235—Update request formulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于数据库的数据处理方法,当数据库接收到数据更新指令后,产生相应的数据关联标识,该数据关联标识用于为数据库内不同的数据表内具有关联关系的数据建立关联关系。对于数据库内与数据更新指令相关联的每一张数据表内都增加一条与数据关联标识对应的新数据条目,并为该新数据条目增加预设锚标记。其中,新数据条目的唯一标识信息及数据内容根据数据更新信息确定。当数据库内具有关联关系的全部数据表内都包含与数据关联标识相对应的、且具有预设锚标记的新数据条目时,确定与该新数据条目唯一有效。采用该数据处理方法,摒弃事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
Description
技术领域
本发明涉及数据库技术领域,特别是涉及一种基于数据库的数据处理方法及装置。
背景技术
目前的数据基本都是关系型数据库,所谓关系型数据库是指建立在关系模型基础上的数据库,借助于集合代数等数据概念和方法来处理数据库中的数据。
当更新数据库内的数据时,可能需要对数据库内多个不同且相关联的数据表进行更新,为了保证数据库内数据的完整和准确性,数据库采用事务机制处理数据库内的数据。事务机制是数据库特有的术语,事务被作为并发控制的基本单元,事务就是一个操作序列,这些操作是一个不可分割的工作单位。例如,网上银行转账工作,从一个账号扣款,并使另一个账号增款,这两个操作或都执行或者都不执行,因此,这两个操作应该看作一个事务。事务是数据库维护数据一致性的单位,在每个事务结束时,都能保持数据一致性。
数据在高并发环境下使用食物机制需要消耗数据库的资源性能,而在大数据环境下,动辄千万的访问量和以PB为单位的数据量使数据库性能开销骤增,导致用户访问、查询或修改数据库内的数据时极其缓慢,用户体验极差。
发明内容
本发明实施例中提供了一种基于数据库的数据处理方法及装置,以解决现有技术中的数据采用事务机制消耗大量资源导致用户访问、查询或修改数据库内数据极其缓慢的问题。
为了解决上述技术问题,本发明实施例公开了如下技术方案:
第一方面,本发明提供一种基于数据库的数据处理方法,包括:
接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识,所述数据更新指令携带数据更新信息,所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系;
对于所述数据库内与所述数据更新指令相关联的每一张数据表,增加与所述数据关联标识对应的新数据条目,并为所述新数据条目增加预设锚标记,以及根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID;
若所述数据库内与所述数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目,则确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
可选地,若所述数据更新指令包含在数据表内增加新数据的操作,且所述数据更新信息包括新增数据内容,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据预设规则生成新数据条目对应的唯一标识信息;
确定所述新增数据内容为所述新数据条目的数据内容。
可选地,若所述数据更新指令包含修改数据表内原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息及修改后数据内容,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述原始数据条目的唯一标识信息为所述新数据条目的唯一标识信息;
确定所述修改后数据内容为所述新数据条目的数据内容。
可选地,若所述数据更新指令包含删除数据表内的原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述唯一标识信息为所述新数据条目的唯一标识信息;
根据所述数据更新指令,确定所述新数据条目指示原始数据条目为已删除状态。
可选地,所述方法还包括:
若所述数据库内与所述待更新指令相关联的全部数据表内存在至少一个数据表缺失与所述数据关联标识对应的新数据条目,或者,存在至少一个数据表内与所述数据关联标识对应的新数据条目缺失所述预设锚标记,则确定所述新数据条目无效。
第二方面,本发明提供一种基于数据库的数据处理装置,包括:
接收模块,用于接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识,所述数据更新指令携带数据更新信息,所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系;
数据处理模块,用于对于所述数据库内与所述数据更新指令相关联的每一张数据表,增加与所述数据关联标识对应的新数据条目,并为所述新数据条目增加预设锚标记,以及根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID;
第一确定模块,用于当所述数据库内与所述数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目时,确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
可选地,,若所述数据更新指令包含在数据表内增加新数据的操作,且所述数据更新信息包括新增数据内容,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据预设规则生成新数据条目对应的唯一标识信息;
确定所述新增数据内容为所述新数据条目的数据内容。
可选地,若所述数据更新指令包含修改数据表内原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息及修改后数据内容,则对于所述数据表,数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述原始数据条目的唯一标识信息为所述新数据条目的唯一标识信息;
确定所述修改后数据内容为所述新数据条目的数据内容。
可选地,若所述数据更新指令包含删除数据表内的原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述唯一标识信息为所述新数据条目的唯一标识信息;
根据所述数据更新指令,确定所述新数据条目指示原始数据条目为已删除状态。
可选地,所述装置还包括:
第二确定模块,用于当所述数据库内与所述待更新指令相关联的全部数据表内存在至少一个数据表缺失与所述数据关联标识对应的新数据条目,或者,存在至少一个数据表内与所述数据关联标识对应的新数据条目缺失所述预设锚标记时,确定所述新数据条目无效。
由以上技术方案可见,本发明实施例提供的基于数据库的数据处理方法,当更新数据库内的数据时,不再更新数据表中的原始数据条目,无论是增加、修改还是删除操作,都在数据表内增加一条新数据条目,即数据表中的数据只会增加不会减少。具体的,当数据库接收到数据更新指令后,产生相应的数据关联标识,该数据关联标识用于为数据库内不同的数据表内具有关联关系的数据建立关联关系。其中,数据更新指令中携带数据更新信息。对于数据库内具有关联关系的每一张数据表内都增加一条与数据关联标识对应的新数据条目,并为该新数据条目增加预设锚标记,其中,新数据条目的唯一标识信息及数据内容根据数据更新信息确定。当数据库内具有关联关系的全部数据表内都包含与数据关联标识相对应的、且具有预设锚标记的新数据条目时,确定与该新数据条目唯一有效。采用该数据处理方法,摒弃事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于数据库的数据处理方法的流程示意图;
图2为本发明实施例一种具体实例的数据处理流程示意图;
图3为本发明实施例一种基于数据库的数据处理装置的框图;
图4为本发明实施例另一种基于数据库的数据处理装置的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参见图1,为本发明实施例提供的一种基于数据库的数据处理方法的流程示意图,如图1所示,该方法可以包括以下步骤:
S110,接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识。
当对数据库进行操作时,针对数据库的操作序列会转换成数据更新指令提供给数据库,以使数据根据该数据更新指令执行相应的操作,例如,数据的增加、修改和删除等操作。
所述数据更新指令携带数据更新信息,所述更新信息可以包括待更新数据的名称信息及具体的更新内容;数据更新过程可以是在数据库中增加新的数据、修改数据库中的原始数据,或者,删除数据库中的原始数据。
所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系。本实施例中,数据关联标识是数据库的流水号,用来识别唯一的记录用的,一般由时间和序号组成的一个唯一的ID(Identification,身份)号,同一数据在数据库的不同数据表中相关联的数据所对应的流水号相同,也就是说不同数据表中的数据可以通过流水号建立关联,因此,在数据库接收到数据更新指令后会产生相应的流水号。
S120,对于数据库内与数据更新指令相关联的每一张数据表,增加与数据关联标识对应的新数据条目,并为新数据条目增加预设锚标记,以及,根据数据更新信息确定所述新数据条目的唯一标识信息及数据内容;所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID。
在数据库接收到数据更新指令后,根据该数据更新指令所包含的数据更新信息,在完成数据更新操作所需要更新的相关联的数据表中分别增加相应的新数据条目,并为新数据条目增加预设锚标记。
其中,不同数据表中增加的新数据条目都对应一个数据关联标识,但是,具有不同的唯一标识信息及数据内容。新数据条目的唯一标识信息及数据内容由数据更新信息确定。
其中,预设锚标记可以是预设字符或预设字符串,而且不同数据表中的新数据条目对应的预设锚标记可以相同也可以不相同,本申请对此并不限定。
数据库的操作涉及数据增加、修改、删除三种更新方式,在利用本发明的数据处理方法时,无论是增加、修改还是删除数据,不是在数据表中的原有数据条目上进行更新,而是在数据表中新插入一条新数据条目,新数据条目的唯一标识信息及数据内容根据更新需求确定,并为新数据条目增加预设锚标记。
例如,网上银行转账工作:从一个账号扣款并使另一个账号增款,这两个操作序列不可分割或都执行或都不执行,将需要扣款账户的扣款金额贷记到一个数据表中,同时,增款账号将相同的金额借记到另一个数据表中;即,这两个操作序列需要对两个数据表内的数据进行更新,利用本实施例所示的数据处理方法实现上述网上银行转账过程如下:
在接收到网上银行转账操作后,数据库会生成相应的流水号,首先,在扣款账号对应的数据表中增加一条与流水号对应的表示扣款金额的新数据条目,并为该数据条目增加预设锚标记(例如,扣款账号对应的数据表中的新数据条目的预设锚标记为1);然后,在增款账号对应的数据表中增加一条与流水号对应的表示增款金额的新数据条目,并为该数据条目增加预设锚标记(增款账号对应的数据表中的新数据条目的预设锚标记为2)。
此处网上银行转账的例子仅仅是示例性的简单说明,旨在说明转账过程的操作序列如何采用本实施例的数据处理方法,从而摒弃事务处理机制。
S130,若所述数据库内与数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目,则确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
如果数据库中与数据更新指令相关联的数据表中均包含与新生成的数据关联标识(即,流水号)对应的数据条目,而且,这些数据条目都具有预设锚标记,此时,认为数据表中增加的新数据条目唯一有效,即,新数据条目覆盖数据表中相应的原始数据。
步骤S120中网上银行转账的例子,只有当扣款账号及增款账号对应的数据表中都存在最新的流水号对应数据条目,且数据条目均具有预设锚标记时,认为这两个数据表中的新数据条目覆盖了相应的原始数据,新数据条目有效。
如果数据库发生异常(例如软件或硬件出现故障),数据库中与数据更新指令相关联的某些数据表中会缺失与数据关联标识对应的新数据条目,或者,某些数据表中与数据关联标识对应的新数据条目缺失对应的预设锚标记,此时,确定数据表中已增加的新数据条目无效,对应的原始数据依然有效。
本实施例提供的基于数据库的数据处理方法,当更新数据库内的数据时,不再更新数据表中的原始数据条目,无论是增加、修改还是删除操作,都在数据表内增加一条新数据条目,并为新数据条目增加预设锚标记,当数据库内相关联的各个数据表中的新数据条目均包含相应的预设锚标记时,确定各个数据表中的新数据条目有效,即覆盖了各个数据表中相应的原始数据。采用该数据处理方法,摒弃事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
下面结合一个具体实例分别介绍利用该数据处理方法的处理过程,例如,对于数据库的一个操作序列是,在表a中增加一条数据,然后,在表b中修改一条数据,最后,表c中删除一条数据;摒弃事务处理机制后,三张表都是进行新增数据的操作,只有这三张表中新增的数据全部具有最新时间点的预设锚标记时,针对三张表的增加、修改、删除操作才完成。
参见图2,为本发明实施例一具体实例的数据处理流程图,如图2所示,该方法包括以下步骤:
S210,数据库接收针对表a、表b、表c的数据更新指令。
数据更新指令中会包含对各个数据表要进行的具体操作及具体操作内容,例如,表a要增加的具体数据内容,表b要修改的数据名称及修改后的数据内容,表c要删除的数据名称等信息。
S220,数据库生成数据更新指令生成相应的流水号。
S230,在表a中增加一条与该流水号对应的第一数据条目,并为该第一数据条目增加第一预设锚标记;其中,该第一数据条目的唯一标识信息根据表a的预设规则生成,数据内容为数据更新指令中包含的要增加的具体数据。
第一数据条目的预设锚标记可以是预设字符或预设字符串,例如,第一预设锚标记可以是1。
S240,在表b中增加一条与该流水号对应的第二数据条目,并为该第二数据条目增加预设第二预设锚标记;其中,该第二数据条目的唯一标识信息与表b中要修改的原始数据的唯一标识信息相同,第二数据条目的数据内容为修改后的数据内容。
在表b中增加第二数据条目之前,需要更加数据更新信息所包含的表b要修改的原始数据的数据名称查询原始数据的唯一标识信息,将作为第二数据条目的唯一标识信息,以及根据数据更新信息所包含的表b要修改的具体数据内容填写第二数据条目的数据内容部分。
第二预设锚标记可以和第一预设锚标记相同,也可以不同于第一预设锚标记,例如,第二预设锚标记可以为2。当不同数据表中的预设锚标记不相同时,可以根据预设锚标记确定各个数据表的操作顺序。
S250,在表c中增加一条与该流水号对应的第三数据条目,并为该第三数据条目增加第三预设锚标记。其中,该第三预设锚标记的唯一标识信息与表c中要删除的原始数据的唯一标识信息相同,第三数据条目的数据内容为无效内容,例如,数据内容字段可以为空(即,该字段什么都不填),或者,数据内容字段可以填无效字符,例如,乱码。
本实施例中,对于数据的删除,进行逻辑删除处理,不是物理删除处理;所谓逻辑删除处理是指在要进行数据删除的数据表中,增加一条数据,增加的数据的唯一标识信息为要删除的数据的唯一标识信息,但是新增加的数据条目的数据内容是无效字符(例如,乱码或空),指示原始数据条目为已删除状态,利用新增加的数据条目覆盖要删除的数据条目,即数据表中存储的数据并没有从物理层面上删除,而是利用一条无效数据覆盖了要删除的数据。
在进行数据删除操作前,首先根据数据更新信息中包含的表c中要删除的数据名称,从表c中查询获得要删除的数据的唯一标识信息,并将该唯一标识信息作为新增加的第三数据条目的唯一标识信息。
第三预设锚标记可以与第一、第二预设锚标记相同,或均不同于第一、第二预设锚标记,例如,第三预设锚标记可以是3。
S260,当表a、表b和表c中均包含与所述流水号对应、且具有相应的预设锚标记的数据条目时,确定三张表中新增的三条数据条目唯一有效。
如果表a中存在与所述流水号对应且具有第一预设锚标记的第一数据条目、表b中存在与所述流水号对应且具有第二预设锚标记的第二数据条目,而且,表c中存在与所述流水号对应且具有第三预设锚标记的第三数据条目,则确定第一数据条目、第二数据条目和第三数据条目有效,且分别覆盖相应的原始数据条目,至此,表明成功执行了对于数据库的此次操作序列。
S270,当表a、表b和表c中至少一个表中不存在与所述流水号对应的新数据条目,或者,表a、表b和表c中任意一个表中的新数据条目缺失预设锚标记时,确定新数据条目无效。
如果数据库在执行上述的操作序列过程中发生异常(例如,数据库软件或硬件出现故障),在三张表中的至少一张表中找不到与该流水号对应的数据条目,或者,找不到第一预设锚标记、第二预设锚标记和第三预设锚标记中的至少一个,表明操作序列未成功执行,则三张表中的新数据条目无效且原始数据依然有效。
本实施例提供的基于数据库的数据处理方法,当更新数据库内的数据时,不再更新数据表中的原始数据条目;无论是增加、修改还是删除操作,都在数据表内增加一条新数据条目,并为新数据条目增加预设锚标记。当数据库内相关联的各个数据表中的新数据条目均包含相应的预设锚标记时,确定各个数据表中的新数据条目有效,即覆盖了各个数据表中相应的原始数据条目。采用该数据处理方法,摒弃了事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
与本发明提供的基于数据库的数据处理方法实施例相对应,本发明还提供了基于数据库的数据处理装置实施例。
参见图3,为本发明实施例提供的一种基于数据库的数据处理装置的框图,如图3所示,该装置可以包括接收模块110、数据处理模块120和第一确定模块130。
接收模块110,用于接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识;
所述数据更新指令携带数据更新信息,所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系。
当对数据库进行操作时,针对数据库的操作序列会转换成数据更新指令提供给数据库,以使数据根据该数据更新指令执行相应的操作,例如,数据的增加、修改和删除等操作。
所述数据更新指令携带数据更新信息,所述更新信息可以包括待更新数据的名称信息及具体的更新内容;数据更新过程可以是在数据库中增加新的数据、修改数据库中的原始数据,或者,删除数据库中的原始数据。
数据处理模块120,用于对于所述数据库内与所述数据更新指令相关联的每一张数据表,增加与所述数据关联标识对应的新数据条目,并为所述新数据条目增加预设锚标记,以及根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容;
所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID。
在数据库接收到数据更新指令后,根据该数据更新指令所包含的数据更新信息,在完成数据更新操作所需要更新的相关联的数据表中分别增加相应的新数据条目,并为新数据条目增加预设锚标记。
其中,不同数据表中增加的新数据条目都对应一个数据关联标识,但是,具有不同的唯一标识信息及数据内容。新数据条目的唯一标识信息及数据内容由数据更新信息确定。
其中,预设锚标记可以是预设字符或预设字符串,而且不同数据表中的新数据条目对应的预设锚标记可以相同也可以不相同,本申请对此并不限定。
数据库的操作涉及数据增加、修改、删除三种更新方式,在利用本发明的数据处理方法时,无论是增加、修改还是删除数据,不是在数据表中的原有数据条目上进行更新,而是在数据表中新插入一条新数据条目,新数据条目的唯一标识信息及数据内容根据更新需求确定,并为新数据条目增加预设锚标记。
在本发明的一些实施例中,若所述数据更新指令包含在数据表内增加新数据的操作,且所述数据更新信息包括新增数据内容,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据预设规则生成新数据条目对应的唯一标识信息;
确定所述新增数据内容为所述新数据条目的数据内容。
在本发明的一些实施例中,若所述数据更新指令包含修改数据表内原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息及修改后数据内容,则对于所述数据表,数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述原始数据条目的唯一标识信息为所述新数据条目的唯一标识信息;
确定所述修改后数据内容为所述新数据条目的数据内容。
在本发明的一些实施例中,若所述数据更新指令包含删除数据表内的原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述唯一标识信息为所述新数据条目的唯一标识信息;
根据所述数据更新指令,确定所述新数据条目指示原始数据条目为已删除状态。
对于数据的删除,进行逻辑删除处理,不是物理删除处理;所谓逻辑删除处理是指在要进行数据删除的数据表中,增加一条数据,增加的数据的唯一标识信息为要删除的数据的唯一标识信息,但是新增加的数据条目的数据内容是无效字符(例如,乱码或空),利用新增加的数据条目覆盖要删除的数据条目,即数据表中存储的数据并没有从物理层面上删除,而是利用一条无效数据覆盖了要删除的数据。
第一确定模块130,用于当所述数据库内与所述数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目时,确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
如果数据库中与数据更新指令相关联的数据表中均包含与新生成的数据关联标识(即,流水号)对应的数据条目,而且,这些数据条目都具有预设锚标记,此时,认为数据表中增加的新数据条目唯一有效,即,新数据条目覆盖数据表中相应的原始数据。
如果数据库发生异常(例如软件或硬件出现故障),数据库中与数据更新指令相关联的某些数据表中会缺失与数据关联标识对应的新数据条目,或者,某些数据表中与数据关联标识对应的新数据条目缺失对应的预设锚标记,此时,确定数据表中已增加的新数据条目无效,对应的原始数据依然有效。
本实施例提供的基于数据库的数据处理装置,当更新数据库内的数据时,不再更新数据表中的原始数据条目,无论是增加、修改还是删除操作,都在数据表内增加一条新数据条目,并为新数据条目增加预设锚标记,当数据库内相关联的各个数据表中的新数据条目均包含相应的预设锚标记时,确定各个数据表中的新数据条目有效,即覆盖了各个数据表中相应的原始数据。采用该数据处理装置,摒弃事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
参见图4,为本发明实施例另一种基于数据库的数据处理装置的框图,所述装置在图3所示实施例的基础上还包括第二确定模块210。
第二确定模块210,用于当所述数据库内与所述待更新指令相关联的全部数据表内存在至少一个数据表缺失与所述数据关联标识对应的新数据条目,或者,存在至少一个数据表内与所述数据关联标识对应的新数据条目缺失所述预设锚标记时,确定所述新数据条目无效。
本实施例提供的基于数据库的数据处理装置,当更新数据库内的数据时,不再更新数据表中的原始数据条目;无论是增加、修改还是删除操作,都在数据表内增加一条新数据条目,并为新数据条目增加预设锚标记。当数据库内相关联的各个数据表中的新数据条目均包含相应的预设锚标记时,确定各个数据表中的新数据条目有效,即覆盖了各个数据表中相应的原始数据条目。如果数据表中没有数据关联标识对应的新数据条目,或者,与数据关联标识对应的新数据条目没有锚标记,此时,数据表中新增的新数据条目无效,数据表中新数据条目对应的唯一数据标识对应的原始数据依然有效。采用该数据处理装置,摒弃了事务处理机制,避免过多占用数据库的性能资源,提高了数据库的响应速度,从而提高用户体验。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于数据库的数据处理方法,其特征在于,包括:
接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识,所述数据更新指令携带数据更新信息,所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系;
对于所述数据库内与所述数据更新指令相关联的每一张数据表,增加与所述数据关联标识对应的新数据条目,并为所述新数据条目增加预设锚标记,以及根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID;
若所述数据库内与所述数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目,则确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
2.根据权利要求1所述的方法,其特征在于,若所述数据更新指令包含在数据表内增加新数据的操作,且所述数据更新信息包括新增数据内容,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据预设规则生成新数据条目对应的唯一标识信息;
确定所述新增数据内容为所述新数据条目的数据内容。
3.根据权利要求1所述的方法,其特征在于,若所述数据更新指令包含修改数据表内原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息及修改后数据内容,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述原始数据条目的唯一标识信息为所述新数据条目的唯一标识信息;
确定所述修改后数据内容为所述新数据条目的数据内容。
4.根据权利要求1所述的方法,其特征在于,若所述数据更新指令包含删除数据表内的原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息,则对于所述数据表,所述根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,包括:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述唯一标识信息为所述新数据条目的唯一标识信息;
根据所述数据更新指令,确定所述新数据条目的指示原始数据条目为已删除状态。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
若所述数据库内与所述待更新指令相关联的全部数据表内存在至少一个数据表缺失与所述数据关联标识对应的新数据条目,或者,存在至少一个数据表内与所述数据关联标识对应的新数据条目缺失所述预设锚标记,则确定所述新数据条目无效。
6.根据权利要求1所述的方法,其特征在于,所述预设锚标记为预设字符或预设字符串。
7.一种基于数据库的数据处理装置,其特征在于,包括:
接收模块,用于接收数据更新指令,并根据所述数据更新指令产生相应的数据关联标识,所述数据更新指令携带数据更新信息,所述数据关联标识用于为数据库内多张不同的数据表内相关联的数据建立关联关系;
数据处理模块,用于对于所述数据库内与所述数据更新指令相关联的每一张数据表,增加与所述数据关联标识对应的新数据条目,并为所述新数据条目增加预设锚标记,以及根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容,所述唯一标识信息用于在同一张数据表中表征数据的身份标识ID;
第一确定模块,用于当所述数据库内与所述数据更新指令相关联的全部数据表内均包含与所述数据关联标识对应且具有对应的预设锚标记的新数据条目时,确定所述数据库内与所述数据关联标识对应的新数据条目唯一有效。
8.根据权利要求7所述的装置,其特征在于,若所述数据更新指令包含在数据表内增加新数据的操作,且所述数据更新信息包括新增数据内容,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据预设规则生成新数据条目对应的唯一标识信息;
确定所述新增数据内容为所述新数据条目的数据内容。
9.根据权利要求7所述的装置,其特征在于,若所述数据更新指令包含修改数据表内原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息及修改后数据内容,则对于所述数据表,数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述原始数据条目的唯一标识信息为所述新数据条目的唯一标识信息;
确定所述修改后数据内容为所述新数据条目的数据内容。
10.根据权利要求7-9中任一项所述的装置,其特征在于,若所述数据更新指令包含删除数据表内的原始数据条目的操作,所述数据更新信息包括所述原始数据条目的名称信息,则对于所述数据表,所述数据处理模块用于根据所述数据更新信息确定所述新数据条目的唯一标识信息及数据内容时,具体用于:
根据所述原始数据条目的名称信息,从所述预设数据表内查询所述原始数据条目对应的唯一标识信息,并确定所述唯一标识信息为所述新数据条目的唯一标识信息;
根据所述数据更新指令,确定所述新数据条目指示原始数据条目为已删除状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610187311.2A CN107239467B (zh) | 2016-03-29 | 2016-03-29 | 基于数据库的数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610187311.2A CN107239467B (zh) | 2016-03-29 | 2016-03-29 | 基于数据库的数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107239467A true CN107239467A (zh) | 2017-10-10 |
CN107239467B CN107239467B (zh) | 2020-04-10 |
Family
ID=59983939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610187311.2A Active CN107239467B (zh) | 2016-03-29 | 2016-03-29 | 基于数据库的数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107239467B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101473A (zh) * | 2018-08-09 | 2018-12-28 | 北京百度网讯科技有限公司 | 用于处理二维数据表的方法和装置 |
CN109325055A (zh) * | 2018-08-02 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 业务关联数据表的筛选及核对方法、装置、电子设备 |
CN109389510A (zh) * | 2018-08-13 | 2019-02-26 | 中国平安人寿保险股份有限公司 | 电子装置、赔付率发生率计算方法及存储介质 |
CN111061747A (zh) * | 2019-12-11 | 2020-04-24 | 金蝶软件(中国)有限公司 | 业务单据数据的更新方法及相关设备 |
CN111723087A (zh) * | 2019-03-19 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 数据血缘关系的挖掘方法、装置、存储介质和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259074A (ja) * | 2003-02-27 | 2004-09-16 | Yokogawa Electric Corp | 医療情報管理システム |
CN1858742A (zh) * | 2006-03-17 | 2006-11-08 | 华为技术有限公司 | 一种在实时数据库中实现更新数据的方法和系统 |
CN101102577A (zh) * | 2006-07-07 | 2008-01-09 | 中兴通讯股份有限公司 | 无线通信基站系统前后台数据库表数据增量同步方法 |
US20090313212A1 (en) * | 2008-06-17 | 2009-12-17 | Microsoft Corporation | Relational database with compound identifier |
JP2012043338A (ja) * | 2010-08-23 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | キャッシュ管理装置、キャッシュ管理プログラム及び記録媒体 |
CN102597995A (zh) * | 2009-10-31 | 2012-07-18 | 国际商业机器公司 | 同步数据库和非数据库资源 |
-
2016
- 2016-03-29 CN CN201610187311.2A patent/CN107239467B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259074A (ja) * | 2003-02-27 | 2004-09-16 | Yokogawa Electric Corp | 医療情報管理システム |
CN1858742A (zh) * | 2006-03-17 | 2006-11-08 | 华为技术有限公司 | 一种在实时数据库中实现更新数据的方法和系统 |
CN101102577A (zh) * | 2006-07-07 | 2008-01-09 | 中兴通讯股份有限公司 | 无线通信基站系统前后台数据库表数据增量同步方法 |
US20090313212A1 (en) * | 2008-06-17 | 2009-12-17 | Microsoft Corporation | Relational database with compound identifier |
CN102597995A (zh) * | 2009-10-31 | 2012-07-18 | 国际商业机器公司 | 同步数据库和非数据库资源 |
JP2012043338A (ja) * | 2010-08-23 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | キャッシュ管理装置、キャッシュ管理プログラム及び記録媒体 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325055A (zh) * | 2018-08-02 | 2019-02-12 | 阿里巴巴集团控股有限公司 | 业务关联数据表的筛选及核对方法、装置、电子设备 |
CN109101473A (zh) * | 2018-08-09 | 2018-12-28 | 北京百度网讯科技有限公司 | 用于处理二维数据表的方法和装置 |
CN109101473B (zh) * | 2018-08-09 | 2022-07-19 | 北京百度网讯科技有限公司 | 用于处理二维数据表的方法和装置 |
CN109389510A (zh) * | 2018-08-13 | 2019-02-26 | 中国平安人寿保险股份有限公司 | 电子装置、赔付率发生率计算方法及存储介质 |
CN111723087A (zh) * | 2019-03-19 | 2020-09-29 | 北京沃东天骏信息技术有限公司 | 数据血缘关系的挖掘方法、装置、存储介质和电子设备 |
CN111723087B (zh) * | 2019-03-19 | 2023-11-10 | 北京沃东天骏信息技术有限公司 | 数据血缘关系的挖掘方法、装置、存储介质和电子设备 |
CN111061747A (zh) * | 2019-12-11 | 2020-04-24 | 金蝶软件(中国)有限公司 | 业务单据数据的更新方法及相关设备 |
CN111061747B (zh) * | 2019-12-11 | 2023-08-29 | 金蝶软件(中国)有限公司 | 业务单据数据的更新方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107239467B (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107239467A (zh) | 基于数据库的数据处理方法及装置 | |
CN105205014B (zh) | 一种数据存储方法和装置 | |
CN110287479A (zh) | 命名实体识别方法、电子装置及存储介质 | |
CN105183764B (zh) | 一种数据分页方法及装置 | |
CN107395665A (zh) | 一种区块链业务受理及业务共识方法及装置 | |
CN105631035B (zh) | 数据存储方法和装置 | |
CN106933614A (zh) | 一种单页面应用升级方法及装置 | |
CN108122031A (zh) | 一种低功耗的神经网络加速器架构 | |
CN109885828A (zh) | 基于语言模型的词语纠错方法、装置、计算机设备及介质 | |
CN102006297B (zh) | 一种基于两级策略决策的访问控制方法及其系统 | |
CN109684079A (zh) | 显示数据处理方法、装置以及电子设备 | |
CN108280227A (zh) | 基于缓存的数据信息处理方法及装置 | |
CN110209875A (zh) | 用户内容画像确定方法、访问对象推荐方法和相关装置 | |
CN106708912A (zh) | 垃圾文件识别及管理方法、识别装置、管理装置和终端 | |
CN108520401B (zh) | 用户名单管理方法、装置、平台及存储介质 | |
CN109783321A (zh) | 监控数据管理方法、装置、终端设备 | |
CN110750363B (zh) | 计算机存储管理方法和装置、电子设备和存储介质 | |
CN109165712A (zh) | 分布式分期号的生成方法、装置和计算机存储介质 | |
CN107436920A (zh) | Node.js权限控制方法、存储介质、电子设备及系统 | |
CN107979683A (zh) | 终端应用控制方法、装置及系统 | |
CN116975095A (zh) | 数据存储方法、数据读取方法、数据处理系统和存储介质 | |
CN109815244A (zh) | 一种数据处理方法和装置 | |
CN112446812B (zh) | 一种基于区块链的政务信息自动推送方法及终端 | |
CN110019487A (zh) | 一种数据库连接管理方法及装置 | |
CN111026748B (zh) | 网络访问频次管控的数据压缩方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: Room 818, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080 Patentee after: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd. Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building block A Room 601 Patentee before: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |