CN107077491B - 联机模式和数据变换 - Google Patents
联机模式和数据变换 Download PDFInfo
- Publication number
- CN107077491B CN107077491B CN201580056638.XA CN201580056638A CN107077491B CN 107077491 B CN107077491 B CN 107077491B CN 201580056638 A CN201580056638 A CN 201580056638A CN 107077491 B CN107077491 B CN 107077491B
- Authority
- CN
- China
- Prior art keywords
- database
- old
- copy
- new
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24542—Plan optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
变换数据库同时在数据库的变换期间允许数据库中的数据可供数据库用户使用。方法包括为数据库项的旧副本创建元数据的新版本。方法还包括在根据新版本的元数据将数据从数据库项的旧副本迁移到数据库项的新副本时,在进行数据变换的同时,在数据库项的旧副本中创建将要变换的数据项副本。方法还包括在将数据从数据项的旧副本迁移到数据库项的新副本的同时,服务于对数据库项的旧副本进行的用户查询,以允许数据库保持联机同时对数据库中的数据项进行变换。
Description
背景技术
通常,数据库用户需要进行要求更新大量的数据的模式(例如,更改列的类型)或数据(例如,将姓名列分为两列:名字和姓氏)修改。这可以是进一步应用程序升级的一部分,或者由于模式的原始设计中的一些缺陷。这样的操作可能要求对数据库的表中的每一行更新。目前,这些操作只能被脱机执行,其为应用程序引入了大量的停机时间。当修改发生时,数据库表仍然无法访问,这可以导致针对一些大型表的数小时的不可用性。
此外,当这些更改是应用程序升级的一部分时,通常有需要在新应用程序可以被部署之前发生的多个模式或数据变换。例如,应用程序V1需要数据库模式V1,而应用程序V2需要数据库模式V2。
本文所要保护的主题不限于解决任一个缺点或只在诸如上述环境中操作的实施例。相反,仅提供背景以说明其中可以实践本文描述的一些实施例的一个示例性技术领域。
发明内容
本文所图示的一个实施例包括可以在计算环境中被实践的方法。该方法包括用于转换数据库的操作,同时允许数据库中的数据在数据库的转换期间对数据库用户是用的。方法包括为数据库的数据库项的旧副本创建新版本的元数据,以将数据库的数据库项的旧副本转换为数据库项的新副本,以对数据库项的旧副本中的项进行转换。方法还包括创建在数据库项的旧副本中要变换的数据项的副本,同时在将数据从数据库项的旧副本迁移到数据库项的新副本时对数据库项的旧副本中要变换的数据项进行变换,以对数据库项的旧副本中的数据项进行变换。方法还包括将数据库项的旧副本迁移到数据库项的新副本的同时,服务于对数据库项的旧副本进行的用户查询,以允许数据库保持联机的同时对数据库中的数据项进行变换。
提供本发明内容以简化的形式介绍一些概念,这些概念在下面的详细描述中进一步描述。本发明内容不旨在识别权利要求中主题的关键特征或必要特征,也不旨在用于辅助确定要求保护的主题的范围。
附加特征和优点将在下面的描述中阐述,并且部分将从描述中显而易见,或者可以通过本文教导的实践来了解。本发明的特征和优点可以借助所附权利要求中特别指出的仪器和组合来实现和获得。本发明的特征将从下面的描述和所附权利要求中变得更加显而易见,或者可以通过下文阐述的本发明的实践来了解。
附图说明
为了描述可以获得上述和其它优点和特征的方式,将通过参考在附图中图示的具体实施例来呈现上述简要描述的主题的更具体的描述。请理解,这些附图只描绘了典型的实施例,因此不被认为是在范围上的限制,将通过使用附图以附加的特征和细节来描述和解释实施例,在附图中:
图1图示了包括数据项的新副本和数据项的旧副本的数据库;
图2图示了变换数据库的操作;以及
图3图示了变换数据库的方法。
具体实施方式
以下示例在可从华盛顿州雷德蒙德的微软公司获得的的上下文中进行了说明。因此,所图示的特定数据库语句对于实现是特别的。然而,应当理解,其它实施例可以使用其他数据库产品及其对应的语句。现在参考图1,图示了示例数据库102。本文中的一些实施例可以实现数据库模式的旧版本104和数据库模式的数据库项的新版本新副本。此外,实施例可以根据数据库模式的旧版本104来维护数据库项的旧副本108,并且根据数据库模式的数据库项的新版本新副本来维护数据库项的新副本110。当数据库102可用于用户(即,数据库102联机)时,通过执行模式和数据类型改变操作,应用程序112可以对模式的旧版本104进行操作,直到数据库102中的所有必要的改变已经被完成。然后,数据库管理员114可以将模式切换到数据库项的新版本新副本,并且还可以在没有任何(或非常小的)停机时间的情况下升级应用程序112。本文实施例可以抽象出所有实现逻辑以从管理员114执行这样的操作。管理员114简单地描述所需的变换,和由系统内部处理诸如表的数据库项的各种副本的维护。
例如,参考图2,在一些实施例中,数据可以从旧的列类型迁移到新的列类型,同时将数据类型从旧的数据类型转换为新的数据类型。具体地,图2图示了模式改变,其中类型“int”的列被更改为类型“big int”的列,以允许在列中包括更大的数字。旧列中的int列中的条目被转换为“bigint”数据类型并被移入新列。实施例可以维护数据的两个副本108和110。迁移旧的副本108中的原始数据的后台线程116被修改为当数据被复制到新的副本110时转换特定列的数据类型。对于并发更新,维护数据的新副本110的查询计划的部分现在被修改以注入将数据转换为新的数据类型的数据类型转换运算符(例如在来自微软公司上的“CONVERT”运算符118)或者在其它产品中的其它数据类型转换运算符。即使这只是执行数据类型转换,这个逻辑也可以扩展到通过任意的用户定义的表达式来变换数据,允许应用程序更新所要求的更复杂的场景(比如将姓名分成两列)。
当数据库联机并对用户是可用的时,实施例可以执行以下阶段以迁移数据库。
·准备阶段:这个阶段将新版本的表添加到元数据、创建新的行集合、并启用版本控制来执行数据的快照扫描。
·构建阶段:构建阶段执行语句以复制数据库中的数据,诸如来自华盛顿州雷德蒙德微软公司的中的INSERT...SELECT,以填充表的新副本110。数据库查询优化器120知道这是“特别的”数据操作语言,并且生成将数据从旧版本108复制到新版本110的计划。如图2所图示,简单地从数据库中选择数据的操作可以访问旧版本108。插入、更新或删除数据的操作访问旧版本108和新版本110两者。
·最终阶段:在最终阶段,表格被排他地锁定(诸如中的SCH-M锁定的模式修改锁定)很短的时间,以便更新元数据,丢弃表的旧版本108。模式修改锁定阻止对表的并发访问。这意味着模式修改锁定阻止所有外部操作直到锁定被解除。
在联机模式和/或数据变换期间,并发选择操作正在访问表的旧版本108,但数据操纵操作(如插入、更新和删除)需要维护旧版本108和新版本110两者。元数据通知查询优化器,这是一个“联机”表,并且因此会图2所图示的生成一个特殊的查询计划以适当地对其进行维护。
在数据库联机时,可以重新使用此过程来支持广泛的操作。由用户指定的数据库项的新模式新副本来创建表的新版本110。
为了实现这一点,关系元数据被版本化,使得可以适当地完成表的新版本110的维护,应用所需的变换。此外,存储引擎122中的新副本110中的新的行集合是用模式的数据库项的新版本创建的。附加地,由表构建器124执行用于插入和选择数据的语句(诸如中的INSERT...SELECT语句)在将数据复制到表的新版本110时对数据进行变换。查询优化器120看到表的两个版本,并且生成适当的查询执行计划以在复制数据的同时应用变换。并发数据操纵语言操作可以从元数据中看到模式/数据的两个版本,并且查询优化器120在应用所需的变换的同时生成特殊计划以维护数据的新版本110。
另一个实现使用表构建过程,其中并发更新操作不必维护数据的新版本/副本,但后台任务处理更新的增量,并在将其复制到数据的新版本110时应用所需的变换。当增量变得非常小时,表被锁定,以便后台任务可以复制数据的最后一部分并终结操作。增量可以是例如需要处理的在100到1000行的数量级。然而,在一些实施例中,增量应足够小,以便迁移很快,并且仅需要几毫秒。
除了上述更通用的、可以覆盖大多数列修改、添加或删除操作(诸如中的ALTER COLUMN操作)的方法之外,实施例可以处理压缩列上的特定类型更改作为仅元数据操作。对于其中具有原始列类型的任何行格式和内容和具有新列类型的行格式和内容相同的情况是可能的。在这种情况下,实施例可以简单地更新关系引擎和存储引擎元数据,而不对行进行任何更新。目前,许多列修改、添加或删除操作都被处理为仅限元数据操作。然而,数据压缩提供了支持更多可能常用的情况的机会。
对于启用数据压缩的行集合,所有列都作为可变长度列存储在存储引擎中,并且与实施例正在使用的压缩算法相结合,上述要求例如对于以下类型改变是有效的:
·smallint->int->bigInt
·smallmoney->money
·char(N)->char(M),其中N<=M
·char(N)->varchar(M),其中N<=M
·binary(N)->binary(M),其中N<=M
·binary(N)->varbinary(M),其中N<=M
数据定义语言
数据定义语言可以包括允许用户指定在模式或数据变换中使用的操作将作为“联机”操作进行的附加选项。下面的示例示出了包含在中的ALTERTABLE...ALTER COLUMN语句,其中包含指示这是“联机”操作的参数:
参数[WITH ONLINE=ON/OFF]提供了指定将如何执行操作的能力。
元数据
在一些实施例中,对联机的列修改的数据定义语言以与脱机操作相同的逻辑开始,区别在于它仅采用意图共享锁而不是独占模式修改锁。这允许并发数据操纵语言继续进行。
元数据修改
即使元数据检查可以在意图共享锁(即,指示事务的意图通过在这些单独的资源上放置共享锁来读取在层次结构中较低的一些(但不是全部)资源,其阻止其它事务获取排他锁)下完成,元数据更新需要特殊处理,因为它们通常需要在表上的排他锁。要解决这个问题,而不是就地更新列元数据:
·用新属性(类型等)创建列的新副本。这意味着旧列的信息仍然可用。
·仅在存储器中创建新列,而不更新系统表。如果系统表被更新,实施例将提交更新它们以释放行锁的事务。这将对恢复产生问题。
·新列不会添加到表的列集合中,以便除非明确请求,并行查询不可见。这意味着代理器仍然可以像往常一样地加载所有列,并且不需要更改来处理“联机”列。
回滚时的元数据恢复
还实现特殊逻辑来处理回滚数据定义语言。通常,元数据假设数据定义语言操作正在对象上保持独占模式修改锁,并且没有其他实体可以保持引用,因此,在发生故障的情况下,实施例仅仅从元数据缓存中移除整个对象。磁盘一致性由事务回滚处理,因此在下一个请求实施例中,只需简单地从磁盘重新加载对象。
由于这是联机操作,所以实施例只在表上保留意图共享锁(而不是独占模式修改锁)。由于实施例在回滚时不能获得更多的锁,所以其它方可以保持对该对象的引用,因此实施例不能简单地将其从缓存中移除。
为了在回滚时清理元数据,实施例结合专门针对联机列修改操作的新虚拟日志记录结合使用参考计数。虚拟日志记录在不描述需要回滚的磁盘上的更改而只是可以调用数据库服务器代码来执行回滚内存值的一些逻辑的占位符的意义上是虚拟的。在回滚时,虚拟日志记录会将“联机”列标记为已中止,以便新查询无法获得对其的引用。如果列对象没有引用,它将丢弃它。否则,它将移除其引用,释放引用的最后一个实体实际上将会将其从元数据缓存中移除。
阻止并发操作
由于实施例在内存中进行元数据改变,所以实施例避免了两次“联机”操作的并发访问。为此,实施例将采取专门的锁来防止相同表上的并发联机操作。此锁在整个操作期间保持。
并发查询
如上所述,新列不会被添加到列集合中,并且除非明确请求,否则将不会是可见的。这意味着代理器将总是使用“旧”列元数据,并且查询优化器120将基于此来生成计划。
如图2所示,诸如中的SELECT查询的数据选择查询在联机表重建操作期间只能使用数据库项的旧副本108,因此它们将尝试访问包含“旧”列的行集合。由于用于计划生成的元数据与SE中的数据格式相匹配,因此所有数据选择查询都应正常工作。
实施例可以具有关于由在列修改操作期间发生的类型转换引起的错误的功能。例如,当用户访问列c1为“bigint”但是当前被改变为“int”的表时,如果所插入的值不适合“int”,则用户将得到对于类型“int”存在溢出的错误。然而,从用户的角度来看,列类型仍然是“bigint”,这是系统视图所报告的。因此,在一些实施例中,可以将附加信息添加到这些错误消息中以利用关于错误的原因的附加细节警告用户。
如果列修改操作被取消或失败(例如,因为对于给定行不能进行数据变换),则可以通过简单地销毁第二副本(例如数据库项的新副本110)来几乎立即完成回滚操作。
实施例可以利用各种实现的特征来实现某些优化。例如,由于实施例创建数据的新副本(例如数据库项的新副本110),诸如最小日志记录的优化可被用于加速操作并减少所需的日志空间。
下面的讨论现在涉及可以被执行的多种方法和方法动作。即使方法动作可以按照特定顺序进行讨论或以特定顺序示出在流程图中,但除非具体说明或需要因为动作取决于在此动作被执行之前完成的另一动作,否则不需要特别的排序。
现在参考图3,图示了方法300。方法300可以在计算环境中实践。方法300包括用于变换数据库的动作同时允许数据库中的数据在数据库的变换期间对数据库用户是可用的。方法包括为用于数据库的数据库项的旧副本创建元数据的新版本,以用于将数据库项的旧副本变换为用于数据库的数据库项的新副本,以变换数据库项的旧副本中的项(动作302)。例如,如图1所示,为数据库项的现有副本108创建数据库模式的新版本106。
方法300还包括在数据库项的旧副本中创建要被变换的数据项的副本,同时在将数据从数据库项的旧副本迁移到数据库项的新副本时,对所述数据库项的旧副本中的要被变换的所述数据项应用变换,以用于变换数据库项的旧副本中的数据项(动作304)。这是根据元数据的新版本完成的。因此,例如,根据数据库模式的新版本106,来自数据项的旧副本108的数据项被复制到数据项的新副本110。
方法300还包括当将数据从数据库项的旧副本迁移到数据库项的新副本时,服务于对数据库项的旧副本进行的用户查询以允许数据库保持联机同时变换数据库中的数据项(动作306)。因此,如图2所示,用户126可以发送由数据库项的旧副本108服务的各种数据库查询。
可以实施方法300,其中在数据库项的旧副本中创建要变换的数据项的副本包括:获取数据库项的旧副本的快照。
可以实施方法300,其中服务于对数据库项的旧副本进行的用户查询包括:服务于从数据库项的新副本和数据库项的旧副本的查询,包括当用户查询包括数据更新时更新数据库项的新副本和数据库项的旧副本两者。更新可以包括对现有数据项的插入操作、删除操作或修改操作中的至少一个。图2图示了针对插入、更新和删除操作所示的此更新路径的示例,其中当用户请求这样的操作时,对数据项的旧副本108和数据项的新副本110两者均进行修改。在一些这样的实施例中,方法300还可以包括将针对数据库项的旧副本的查询计划改变为针对数据库项的新副本和数据库项的旧副本两者的查询计划。在上面图示的示例中,这可以由查询优化器120执行。
可以实施方法300,其中服务于对数据库项的旧副本的用户查询包括:当用户查询仅包括检索数据时,服务于仅从数据库项的旧副本而不从数据库项的新副本的查询。例如,如图2所示,当命令是不修改、插入或删除数据的选择命令时,可以从数据库项的旧副本108中对查询进行服务。
可以实施方法300,其中变换数据库项的旧副本到数据库项的新副本包括拆分列。例如,姓名列可以被拆分为姓氏列和名字列。
可以实施方法300,其中变换数据库项的旧副本到数据库项的新副本包括改变列的数据属性。例如,实施例可以改变列的类型。在图2所示的示例中,类型从int更改为bigint。
可以实施方法300,其中变换数据库项的旧副本到数据库项的新副本包括添加新列。备选地或附加地,可以实施方法300,其中变换数据库项的旧副本到数据库项的新副本包括组合列。备选地或附加地,可以实施方法300,其中变换数据库项的旧副本到数据库项的新副本包括删除列。
方法300还可以包括恢复数据库,诸如例如通过检测数据库故障、以及通过丢弃数据库项的新副本并使用数据库项的旧副本继续数据库操作来回滚数据库。
由于使用数据库项的旧副本108和数据库项的新副本110两者,方法300的某些实施例还可以包括:标识由于维护数据库项的旧副本和数据库项的新副本两者而不需要执行的日志操作。
此外,这些方法可以由包括一个或多个处理器和诸如计算机存储器的计算机可读介质的计算机系统来实施。具体地,计算机存储器可以存储当由一个或多个处理器执行时使得执行诸如实施例中所述的动作的各种功能的计算机可执行指令。
本发明的实施例可以包括或利用包括计算机硬件的专用计算机或通用计算机,如下面更详细地讨论的。本发明范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这样的计算机可读介质可以是可由通用计算机系统或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本发明的实施例可以包括至少两种明显不同种类的计算机可读介质:物理计算机可读存储介质和传输计算机可读介质。
物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器(例如CD、DVD等)、磁盘存储器或其它磁存储设备、或可用于以计算机可执行指令或数据结构的形式存储的所需程序代码装置和可由通用计算机或专用计算机访问的任何其它介质。
“网络”被定义为使得能够在计算机系统和/或模块和/或其它电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其它通信连接(硬连线、无线或硬连线或无线的组合)传输或提供给计算机时,计算机将适当地视连接为传输介质。传输介质可以包括能用于以计算机可执行指令或数据结构的形式携带所需程序代码装置和可由通用计算机或专用计算机访问的网络和/或数据链路。以上组合也包括在计算机可读介质的范围内。
此外,在到达各种计算机系统组件时,可以将以计算机可执行指令或数据结构形式的程序代码装置自动地从传输计算机可读介质传送到物理计算机可读存储介质(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以在网络接口模块(例如,“NIC”)内的RAM中缓冲,然后最终传送到计算机系统RAM和/或在计算机系统处的更少的易失性计算机可读物理存储介质。因此,计算机可读物理存储介质可以包括在同样(或甚至主要)利用传输介质的计算机系统组件中。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某一功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令或者甚至是源代码。即使主题已经用特定于结构特征和/或方法动作的语言描述,但是应当理解,所附权利要求书中限定的主题不一定限于上述所描述的特征或动作。相反,所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解,本发明可以在具有许多类型的计算机系统配置的网络计算环境中实践,包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器的消费电子产品或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。本发明还可以在分布式系统环境中实现,其中通过网络(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)链接的本地计算机系统和远程计算机系统两者均执行任务。在分布式系统环境中,程序模块可以位于本地存储设备和远程存储设备两者中。
替代地或另外地,本文的功能描述可以至少部分地由一个或多个硬件逻辑组件来执行。例如但非限制,可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序特定标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)等。
在不脱离本发明的精神或特征的情况下,本发明可以以其它具体形式实施。所描述的实施例在所有方面被认为仅是说明性的而不是限制性的。因此,本发明的范围由所附权利要求书而不是上述描述来指示。与权利要求书等同的含义和范围内的所有改变将被包括在其范围内。
Claims (20)
1.一种在计算环境中变换数据库同时在所述数据库的所述变换期间允许所述数据库中的数据可用于数据库用户的方法,所述方法包括:
为所述数据库的旧数据库项创建元数据的新版本,以用于将数据库项的旧副本从旧列类型变换为所述数据库的呈新列类型的数据库项的新副本;
将所述旧数据库项的副本从所述旧列类型迁移到所述新列类型;
在迁移所述旧数据库项的所述副本的同时:
根据所述元数据的所述新版本来将所述旧数据库项的所述副本变换为数据库项的所述新副本;
接收对所述旧数据库项进行的用户查询,同时迁移所述旧数据库项的所述副本;以及
使用所述旧数据库项的所述副本服务于对所述旧数据库项进行的所述用户查询以允许所述数据库保持联机,同时将所述旧数据库项的所述副本变换为所述数据库中的数据库项的所述新副本。
2.根据权利要求1所述的方法,其中服务于对数据库项的所述旧副本进行的用户查询包括:
接收针对所述旧数据库项的查询;以及
将针对所述旧数据库项的所述查询改变为针对数据库项的所述新副本和所述旧数据库项的新查询。
3.根据权利要求1所述的方法,其中服务于对所述旧数据库项进行的用户查询包括:从数据库项的所述新副本和所述旧数据库项服务于所述查询。
4.根据权利要求3所述的方法,其中服务于对所述旧数据库项进行的用户查询还包括当所述用户查询包括数据更新时,更新数据库项的所述新副本和数据库项的所述旧副本两者。
5.根据权利要求1所述的方法,其中对所述旧数据库项进行的所述用户查询包括对数据库项的所述旧副本的数据更新,所述数据更新根据查询计划触发修改包括所述旧数据库项的表的请求,并且基于被修改的所述表的类型,改变所述查询计划以维护包括所述旧数据库项的所述表和包括数据库项的所述新副本的新表。
6.根据权利要求1所述的方法,其中将所述旧数据库项的所述副本变换为数据库项的所述新副本包括:分割列。
7.根据权利要求1所述的方法,其中将所述旧数据库项的所述副本变换为数据库项的所述新副本包括:改变用于列的数据属性。
8.根据权利要求1所述的方法,其中将所述旧数据库项的所述副本变换为数据库项的所述新副本包括:添加新列。
9.根据权利要求1所述的方法,其中将所述旧数据库项的所述副本变换为数据库项的所述新副本包括:组合列。
10.根据权利要求1所述的方法,其中将所述旧数据库项的所述副本变换为数据库项的所述新副本包括:删除列。
11.根据权利要求1所述的方法,还包括:
检测数据库故障;以及
通过丢弃数据库项的所述新副本来回滚所述数据库,并且利用所述旧数据库项继续数据库操作。
12.根据权利要求1所述的方法,还包括标识由于维护所述旧数据库项和数据库项的所述新副本两者而不需要执行的日志操作。
13.一种用于变换数据库同时在所述数据库的所述变换期间允许所述数据库中的数据可用于数据库用户的系统,所述系统包括:
一个或多个处理器;以及
一个或多个计算机可读介质,其中所述一个或多个计算机可读介质包括计算机可执行指令,所述计算机可执行指令当由所述一个或多个处理器中的至少一个处理器执行时,使得所述一个或多个处理器中的至少一个处理器执行以下操作:
为所述数据库的旧数据库项创建元数据的新版本,以用于将所述旧数据库项从旧列类型变换为所述数据库的呈新列类型的数据库项的新副本;
将所述旧数据库项的副本从所述旧列类型迁移到所述新列类型;
在迁移所述旧数据库项的所述副本的同时:
根据所述元数据的所述新版本来将所述旧数据库项所述副本变换数据库项的所述新副本;
接收对所述旧数据库项进行的用户查询,同时迁移所述旧数据库项的所述副本;以及
使用所述旧数据库项的所述副本服务于对所述旧数据库项进行的所述用户查询以允许所述数据库保持联机,同时将所述旧数据库项的所述副本变换为数据库项的所述新副本。
14.根据权利要求13所述的系统,其中服务于对数据库项的所述旧副本进行的用户查询包括:
接收针对所述旧数据库项的查询;以及
将针对所述旧数据库项的所述查询改变为针对数据库项的所述新副本和所述旧数据库项的新查询。
15.根据权利要求13所述的系统,还包括:
查询优化器,被配置为通过改变被应用于数据库项的所述新副本和所述旧数据库项两者的查询,支持服务于对所述旧数据库项进行的用户查询,包括当所述用户查询包括数据更新时,更新数据库项的所述新副本和所述旧数据库项两者。
16.根据权利要求13所述的系统,其中服务于所述旧数据库项上的用户查询包括:当所述用户查询仅包括检索数据时,从所述旧数据库项服务于所述查询。
17.一种或多种计算机可读存储介质,包括计算机可执行指令,所述计算机可执行指令当由一个或多个处理器执行时,使以下方法被执行:
为所述数据库的旧数据库项创建元数据的新版本,以用于将所述旧数据库项从旧列类型变换为所述数据库的呈新列类型的数据库项的新副本;
将所述旧数据库项的副本从所述旧列类型迁移到所述新列类型;
在迁移所述旧数据库项的所述副本的同时:
根据所述元数据的所述新版本来将所述旧数据库项的所述副本变换为数据库项的所述新副本;
接收对所述旧数据库项进行的用户查询,同时迁移所述旧数据库项的所述副本;以及
使用所述旧数据库项的所述副本服务于对所述旧数据库项进行的所述用户查询以允许所述数据库保持联机,同时将所述旧数据库项的所述副本变换为数据库项的所述新副本。
18.根据权利要求17所述的一种或多种计算机可读存储介质,其中服务于对数据库项的所述旧副本进行的用户查询包括:
接收针对所述旧数据库项的查询;以及
将针对所述旧数据库项的所述查询改变为针对数据库项的所述新副本和所述旧数据库项的新查询。
19.根据权利要求17所述的一种或多种计算机可读存储介质,其中服务于对所述旧数据库项进行的用户查询包括:从数据库项的所述新副本和所述旧数据库项服务于所述查询,包括当所述用户查询包括数据更新时,更新数据库项的所述新副本和所述旧数据库项两者。
20.根据权利要求17所述的一种或多种计算机可读存储介质,其中服务于所述旧数据库项上的用户查询包括:当所述用户查询仅包括检索数据时,从所述旧数据库项服务于所述查询。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/526,118 US11275760B2 (en) | 2014-10-28 | 2014-10-28 | Online schema and data transformations |
US14/526,118 | 2014-10-28 | ||
PCT/US2015/057274 WO2016069422A1 (en) | 2014-10-28 | 2015-10-26 | Online schema and data transformations |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107077491A CN107077491A (zh) | 2017-08-18 |
CN107077491B true CN107077491B (zh) | 2021-10-26 |
Family
ID=54427888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580056638.XA Active CN107077491B (zh) | 2014-10-28 | 2015-10-26 | 联机模式和数据变换 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11275760B2 (zh) |
EP (1) | EP3213229A1 (zh) |
JP (1) | JP2017534986A (zh) |
CN (1) | CN107077491B (zh) |
BR (1) | BR112017005613A2 (zh) |
RU (1) | RU2017114700A (zh) |
WO (1) | WO2016069422A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10025823B2 (en) | 2015-05-29 | 2018-07-17 | Oracle International Corporation | Techniques for evaluating query predicates during in-memory table scans |
US10769134B2 (en) * | 2016-10-28 | 2020-09-08 | Microsoft Technology Licensing, Llc | Resumable and online schema transformations |
US9805071B1 (en) * | 2016-11-10 | 2017-10-31 | Palantir Technologies Inc. | System and methods for live data migration |
US10310955B2 (en) | 2017-03-21 | 2019-06-04 | Microsoft Technology Licensing, Llc | Application service-level configuration of dataloss failover |
US10871945B2 (en) | 2018-04-13 | 2020-12-22 | Microsoft Technology Licensing, Llc | Resumable merge sort |
US20190325045A1 (en) * | 2018-04-20 | 2019-10-24 | Hewlett-Packard Development Company, L.P. | Schema data structure |
US11449487B1 (en) * | 2021-03-22 | 2022-09-20 | International Business Machines Corporation | Efficient indexing of columns with inappropriate data types in relational databases |
US11593382B2 (en) * | 2021-03-22 | 2023-02-28 | International Business Machines Corporation | Efficient storage of columns with inappropriate data types in relational databases |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6718320B1 (en) * | 1998-11-02 | 2004-04-06 | International Business Machines Corporation | Schema mapping system and method |
CN101226537A (zh) * | 2007-01-18 | 2008-07-23 | 国际商业机器公司 | 跟踪文件的方法和系统 |
US8712970B1 (en) * | 2007-04-09 | 2014-04-29 | Dell Software Inc. | Recovering a database to any point-in-time in the past with guaranteed data consistency |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6122644A (en) * | 1998-07-01 | 2000-09-19 | Microsoft Corporation | System for halloween protection in a database system |
US7089260B2 (en) | 2002-02-14 | 2006-08-08 | International Business Machines Corporation | Database optimization apparatus and method |
US6996558B2 (en) | 2002-02-26 | 2006-02-07 | International Business Machines Corporation | Application portability and extensibility through database schema and query abstraction |
US7213014B2 (en) * | 2003-03-27 | 2007-05-01 | International Business Machines Corporation | Apparatus and method for using a predefined database operation as a data source for a different database operation |
US20050071359A1 (en) | 2003-09-25 | 2005-03-31 | Elandassery Deepak S. | Method for automated database schema evolution |
US20050114404A1 (en) * | 2003-11-21 | 2005-05-26 | Bmc Software, Inc. | Database table version upload |
US8041675B1 (en) | 2004-08-02 | 2011-10-18 | Symantec Operating Corporation | Method for performing incremental backup of database files |
US7634515B2 (en) | 2005-05-13 | 2009-12-15 | Microsoft Corporation | Data model and schema evolution |
JP4693540B2 (ja) | 2005-08-04 | 2011-06-01 | 富士通株式会社 | データベース再構成装置、およびデータベース再構成プログラム |
US20070174317A1 (en) | 2006-01-26 | 2007-07-26 | International Business Machines Corporation | System and method for modifying the structure and content of dissimilar databases |
US20070214104A1 (en) * | 2006-03-07 | 2007-09-13 | Bingjie Miao | Method and system for locking execution plan during database migration |
US7991798B2 (en) * | 2006-05-31 | 2011-08-02 | Oracle International Corporation | In place migration when changing datatype of column |
US7418453B2 (en) | 2006-06-15 | 2008-08-26 | International Business Machines Corporation | Updating a data warehouse schema based on changes in an observation model |
US8521706B2 (en) * | 2006-10-20 | 2013-08-27 | Oracle International Corporation | Low-downtime and zero-downtime upgrades of database-centric applications |
US8027955B2 (en) | 2007-03-19 | 2011-09-27 | Microsoft Corporation | Database management using a file to accumulate changes |
US8768978B2 (en) | 2007-07-30 | 2014-07-01 | Hewlett-Packard Development Company, L.P. | Single-operation on-line schema evolution |
US7873672B2 (en) | 2008-01-24 | 2011-01-18 | Microsoft Corporation | Efficient query processing of DML SQL statements |
US8538985B2 (en) * | 2008-03-11 | 2013-09-17 | International Business Machines Corporation | Efficient processing of queries in federated database systems |
JP2012504266A (ja) * | 2008-09-30 | 2012-02-16 | レインスター リミテッド | データ記憶のためのシステム及び方法 |
US8229952B2 (en) | 2009-05-11 | 2012-07-24 | Business Objects Software Limited | Generation of logical database schema representation based on symbolic business intelligence query |
US8825601B2 (en) | 2010-02-01 | 2014-09-02 | Microsoft Corporation | Logical data backup and rollback using incremental capture in a distributed database |
EP2548134A1 (en) | 2010-03-17 | 2013-01-23 | Telefonaktiebolaget LM Ericsson (publ) | Method for database storage of a table with plural schemas |
US8244698B2 (en) * | 2010-07-23 | 2012-08-14 | Google Inc. | Encoding a schema version in table names |
US20120036166A1 (en) * | 2010-08-06 | 2012-02-09 | Oracle International Corporation | Effective dating for table or relationship modifications |
US10803028B2 (en) | 2011-12-21 | 2020-10-13 | Sybase, Inc. | Multiphase approach to data availability |
US9063971B2 (en) * | 2012-12-03 | 2015-06-23 | Red Hat Israel, Ltd. | Schema and query abstraction for different LDAP service providers |
US9471617B2 (en) * | 2013-10-29 | 2016-10-18 | Sap Ag | Schema evolution via transition information |
WO2015121813A1 (en) * | 2014-02-11 | 2015-08-20 | Wix.Com Ltd. | System for synchronization of changes in edited websites and interactive applications |
US20170300521A1 (en) * | 2016-04-18 | 2017-10-19 | Sap Se | Concurrent accessing and processing of data during upgrade |
-
2014
- 2014-10-28 US US14/526,118 patent/US11275760B2/en active Active
-
2015
- 2015-10-26 RU RU2017114700A patent/RU2017114700A/ru not_active Application Discontinuation
- 2015-10-26 BR BR112017005613A patent/BR112017005613A2/pt not_active Application Discontinuation
- 2015-10-26 CN CN201580056638.XA patent/CN107077491B/zh active Active
- 2015-10-26 JP JP2017523269A patent/JP2017534986A/ja active Pending
- 2015-10-26 EP EP15790417.8A patent/EP3213229A1/en not_active Ceased
- 2015-10-26 WO PCT/US2015/057274 patent/WO2016069422A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6718320B1 (en) * | 1998-11-02 | 2004-04-06 | International Business Machines Corporation | Schema mapping system and method |
CN101226537A (zh) * | 2007-01-18 | 2008-07-23 | 国际商业机器公司 | 跟踪文件的方法和系统 |
US8712970B1 (en) * | 2007-04-09 | 2014-04-29 | Dell Software Inc. | Recovering a database to any point-in-time in the past with guaranteed data consistency |
Non-Patent Citations (3)
Title |
---|
Globetp:template-based database replication for scalable web applications;Tobias Groothuyse等;《16TH INTERNATIONAL WORLD WIDE WEB CONFERENCE》;20070131;第1-10页 * |
Mikael Ronstrom.On-line Schema Update for a Telecom Database.《DATA ENGINEERING, 2000. PROCEEDINGS. 16TH》.2000, * |
On-line Schema Update for a Telecom Database;Mikael Ronstrom;《DATA ENGINEERING, 2000. PROCEEDINGS. 16TH》;20000303;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
BR112017005613A2 (pt) | 2017-12-12 |
RU2017114700A (ru) | 2018-10-30 |
EP3213229A1 (en) | 2017-09-06 |
WO2016069422A1 (en) | 2016-05-06 |
US20160117375A1 (en) | 2016-04-28 |
CN107077491A (zh) | 2017-08-18 |
US11275760B2 (en) | 2022-03-15 |
JP2017534986A (ja) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107077491B (zh) | 联机模式和数据变换 | |
KR102432304B1 (ko) | 클라이언트 동기화에서의 위반 해결 | |
KR102579190B1 (ko) | 일관된 데이터베이스 스냅샷들을 이용한 분산 데이터베이스에서의 백업 및 복원 | |
US6321374B1 (en) | Application-independent generator to generate a database transaction manager in heterogeneous information systems | |
US8996466B2 (en) | Extend crud to support lifecyle management and business continuity | |
EP1877906B1 (en) | Maintenance of link level consistency between database and file system | |
US9411866B2 (en) | Replication mechanisms for database environments | |
US7822727B1 (en) | System and methodology for performing read-only transactions in a shared cache | |
US10268692B2 (en) | Multi-procedure support in data migration | |
US20180329930A1 (en) | Upgrading systems with changing constraints | |
EP2746965B1 (en) | Systems and methods for in-memory database processing | |
US10929398B2 (en) | Distributed system with accelerator and catalog | |
US11991272B2 (en) | Handling pre-existing containers under group-level encryption | |
US11962686B2 (en) | Encrypting intermediate data under group-level encryption | |
US11880495B2 (en) | Processing log entries under group-level encryption | |
US11683161B2 (en) | Managing encryption keys under group-level encryption | |
US20170153951A1 (en) | Incremental synchronous hierarchical system restoration | |
US11907162B2 (en) | Minimizing data volume growth under encryption changes | |
US20230195747A1 (en) | Performant dropping of snapshots by linking converter streams | |
US11657046B1 (en) | Performant dropping of snapshots by converter branch pruning | |
US11500733B2 (en) | Volatile database caching in a database accelerator | |
WO2022193893A1 (en) | Volatile database caching in a database accelerator | |
US20230188324A1 (en) | Initialization vector handling under group-level encryption | |
US20210294703A1 (en) | Enhanced Database Recovery by Maintaining Original Page Savepoint Versions | |
Iqbal Hossain | SQL query based data and structure uniformity maintenance in heterogeneous database environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |