CN105493028A - 用于云分析的数据一致性和回退 - Google Patents
用于云分析的数据一致性和回退 Download PDFInfo
- Publication number
- CN105493028A CN105493028A CN201380072719.XA CN201380072719A CN105493028A CN 105493028 A CN105493028 A CN 105493028A CN 201380072719 A CN201380072719 A CN 201380072719A CN 105493028 A CN105493028 A CN 105493028A
- Authority
- CN
- China
- Prior art keywords
- batch
- data
- rollback
- server
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/80—Database-specific techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种提取-转换-加载(ETL)平台,在给定时段批量获取一致的数据集,并提供回退所述批量的能力。所述批量可在时间间隔被获取,并且ELT平台从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时,系统将不会覆盖现有数据,而是将创建新的版本,以便保留改变历程。如果企业出于任何原因想回退数据,他们可以回退到任何先前的批量。
Description
背景技术
企业需要处理大量的数据,以进行战略上的决策及取得成功。数据常常以例如报表的型式提供。为了建立有意义的报表,企业依赖多个租用的软件以作为服务(SAAS)分析公司。构建与提供有意义的分析,通常需要大量资源和高昂的成本。
为了减少成本,越来越多企业采用云基础的SAAS应用模式。例如,企业需要存储销售记录在”Saleforce”应用程序、会计数据在”NetSuite”应用程序,以及账单数据在”Zuora”应用程序。具有有关公司的业绩和位置的详细信息是很重要的。不幸的是,分析应用程序无法从不同的SAAS应用程序合并,以及提供单一的视图。分析的应用程序也无法在不同数据型式的数据收集中提供数据一致性。所以需要的是一种改进的分析系统,以改进现有技术的分析系统。
发明内容
本发明包括一种提取-转换-加载(ETL)平台,在给定时段批量获取一致的数据集,并提供回退所述批量的能力。所述批量可在时间间隔被获取,并且ELT平台可从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时,系统将不会覆盖现有数据,而是将创建新的版本,以便保留改变历程。如果企业出于任何原因想回退数据,他们可以回退到任何先前的批量。
在实施方案中,一种用于数据收集的方法包括藉由服务器从一个或多个多租户应用程序收集第一批量数据,并与第一时段相关联。藉由服务器从一个或多个租户应用程序收集第二批量数据,并与所述第一时段之后的第二时段相关联。所述第二批量数据可被标记作为当前批量数据。回退事件被检测以及所述第一批量数据在回退请求后被标记作为当前的批量数据。
在实施方案中,一种用于收集数据的系统包括存储器、处理器以及一个或多个存储在存储器以及可由处理器执行的模块。模块可被执行以从一个或多个多租户应用程序收集第一批量数据,并与第一时段相关联;从一个或多个租户应用程序收集第二批量数据,并与所述第一时段之后的第二时段相关联;并标记所述第二批量数据作为当前批量数据。模块更可执行检测回退事件以及在回退请求后标记所述第一批量数据作为当前批量数据。
附图说明
图1是示例性的数据分析系统的框图。
图2是用于执行数据回退的示例性方法。
图3是用于收集批量数据的示例性方法。
图4A是具有数据变更的示例性批量日志。
图4B是具有回退的示例性批量日志。
图5是用于实施本技术的装置的框图。
具体实施方式
本发明包括一种提取-转换-加载(ETL)平台,在给定时段批量获取一致的数据集,并提供回退所述批量的能力。所述批量可在时间间隔被获取,并且ELT平台可从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时,系统将不会覆盖现有数据,而是将创建新的版本,以便保留改变历程。如果企业出于任何原因想回退数据,他们可以回退到任何先前的批量。
本系统具有许多优于现有技术的优点。虽然一些现有技术的SAAS分析提供商提供分析,但这些系统不提供历程跟踪或快照趋势功能。构建具有历程追踪或快照趋势功能需要复杂的ETL和回退功能。一旦数据被取出,并放置在一个SAAS分析系统以及硬件故障发生在SAAS应用供应商,如果SAAS应用供应商回退其系统此前的一些时间点,在SAAS分析系统的数据将与SAAS应用程序不一致。在这种情况下,唯一可能的解决方法是删除SAAS分析中的一切,从SAAS应用程序重新提供数据和清除所有历程记录。
数据一致性也是过去SAAS分析系统的问题。所有的SAAS应用程序提供了一个API来存取他们的数据。然而使用他们提供的API获取数据并不提供数据一致性。例如,从Salesforce获取数据时,此处理可能在时间T1获取所有的账户,然后在时间T10获取所有的机会。在时间T10获取所有的机会将导致在时间T1与T10之间建立的新机会的账户信息还未被获取。由于接收无账户信息的机会可产生错误的报表输出,这可能会导致不一致的数据集。
当本系统从任何故障自行还原(商务应用程序/应用集成器/数据采集器/ETL系统),ETL系统能够自动重启数据提取处理,因为它持续查询数据收集状态以及基于时间戳查找较新的成功批量数据。ETL系统可以从过去的任何时间重播数据提取处理,而不需要任何人工干预。这种自动还原能力和自动重启能力保证数据的一致性。所述系统可确保多租户的完整数据隔离,并保证持续交付异类的持久性数据存储。
图1是示例性的数据分析系统的框图。图1中的系统包括租户服务器110与115、客户端设备120、集成服务器125、数据收集服务器(DCS)130、中间数据库135、提取-转换-加载(ETL)服务器140、仓库数据库145、分析服务器150以及客户端设备155。设备110-155中的每一个可经由网络(未绘示)互相通信。网络可以藉由专用网络、公共网络、Wi-Fi网络、广域网(WAN)、局域网(LAN)、内联网、因特网、蜂窝网络或这些网络的组合来实现。
服务器110与115以及客户端设备120的每一个可以与多租户中的一个租户(客户组织)关联。多租户中的每一个租户可包括一个或多个服务器以及客户端设备。每一个服务器和客户端可包括经由集成服务器125由数据收集服务器130收集的数据。在实施方案中,集成服务器125可与不同的SAAS提供商通信,不论是从云或特定机器提供,并与数据收集服务器130通信。客户端120可以被实现为台式机、便携式电脑、笔记本电脑、平板计算机、智能电话或其它计算设备。
数据收集服务器130可从设备110-120上的一个或多个租户应用程序经由集成服务器125收集数据,以及存储数据于中间服务器135。数据收集服务器可传送批量指令到集成服务器125以响应接收的启动批量请求。数据收集服务器可提供任何部份的中间数据到ETL服务器140,例如当接收来自ETL服务器140的数据请求。当数据被收集时,它存储以及保留。数据批量不会被新近收集的数据覆盖。
ETL服务器140从数据收集服务器130接收中间数据,并且可转换数据为更有用的格式给用户。例如,数据转换可以包括仅选择某些列加载到一个星形模式、转换编码值、导出新的计算值、对数据进行排序、聚集数据、转置或转移数据、一列分割成多个列以及其他的处理。数据一旦通过ETL服务器140转换,它可提供到数据仓库155以供将来分析。
仓库数据库145可从ETL服务器140接收转换后的数据,并提供所述数据到分析服务器150以供处理。当数据被加载到仓库数据库145,所述数据存储在一个星形模式并保留。转换后的数据不会在仓库数据库145覆盖。这允许需要的时候回退到先前的批量数据。批量日志147可以存储在仓库数据库147。批量日志可被更新并保留以跟踪有关每批数据的信息,并且可以使用于数据回退。批量日志可以存储为表格格式,并且可以包括每一批量属性,诸如批量ID、租户ID、数据开始日期和时间、数据结束日期和时间、DCS处理状态、中间数据库ID、ETL处理状态以及ETL服务器ID。DCS的处理状态以及ETL处理状态可以包括未开始、处理中、成功和失败。批量日志可通过ETL服务器140、数据收集服务器130和图1系统中的其他服务器进行更新。尽管示出为存储在仓库数据库145,批量日志147可以被存储在图1系统内的其它服务器或数据库。
分析服务器150可以检索存储在数据仓库155的星型模式中转换后的数据,并对数据执行分析。分析结果可以图表、图形、报表或其它格式提供给用户的客户端设备155。
虽然示出为一个服务器或设备,图1系统的每个服务器和客户机可使用一个或多个实际的或逻辑的机器、服务器和客户端设备实现。图1中系统的一个或多个模块也可以结合起来。此外,尽管通信的示例使用箭头示出,它的意图以及应当理解的是,图1系统中的每一个服务器和客户机可以通过网络从而与彼此通信。
图2是用于执行数据回退的示例性方法。在步骤210,收集第一批量数据。批量数据可以被数据收集服务器130在一个时段中从租户设备110-120经由集成服务器125收集。批量日志可在批量数据收集期间和之后更新,并且所收集的数据被标记上批量ID信息。收集第一批量数据的方法更详细的讨论参照图3如下。
批量数据被收集后,该批量可被存储或“分级”在中间数据库135。一旦分级后,所述批量可在ETL服务器140进行转换。ETL服务器140对每批量执行转换功能。转换后的批量数据接着提供至仓库数据库145。分析服务器150可存取位于仓库数据库145的转换数据,以生成图表、图形、报表以及其他分析转换后数据的工具。
在步骤220,收集第二批量数据。第二批量数据可包括如第一批量的相同数据物件(销售信息、时机信息等),但将覆盖不同的时段。在一些实施方案中,第二批量将自动地在数据包括先前成功批量的刚结束时间后的开始时间。关于执行收集第二批量数据的描述在图3。第二批量数据在没有被第一批量或其他批量所覆盖或删除下能被中间数据库135分级。类似地,当第二批量被转换并存储在仓库数据库145,在第二批量数据存储时没有其它数据被覆盖或删除。
在步骤230,第二批量如当前批量被标记。所述批量将如批量日志147中的当前批量被标记。第二批量是最新批量,并将有可能被用于执行分析。图4A提供了具有第二批量被标记为当前批量的示例批量日志。
在步骤240,检测回退事件。回退事件可包括接收来自用户回退将被执行的输入。例如,管理者定义当前批量不应使用,并请求回退到先前的批量。回退事件也可包括非用户启动的自动事件。例如,如果数据加载到仓库数据库145失败,回退事件可因此失败而自动触发。
在步骤250,一旦检测到回退事件,第一批量(即,先前成功的批量)被指定为当前批量。在一些实施方案中,当前的批量信息从批量日志147中删除,前一批量标记为当前的批量。批量日志反映回退的例子示于图4B。
图3是用于收集批量数据的示例性方法。在步骤310,DCS130接收来自集成服务器125的开始批量信息。开始批量信息可以周期性地接收,或由集成服务器125发起以响应用户请求。
在步骤320,DCS130发送批量指令到集成服务器125以响应所述请求。批量指令可以指示数据开始时间和日期、数据结束时间和日期、要收集的数据以及批量ID。例如,批量指令可以指示收集于2013年1月1日上午8:00至2013年1月1日上午10:00时段所创建或改变的员工记录、销售记录及收入纪录,并称所述数据批量为批号001。所述批量日志由DCS130更新以标示批量ID以及DCS处理的所述批量为“未开始”。
在步骤330,DCS130接收批量数据。在一些实施方案中,DCS130可接收所有的批量数据请求、部份的数据或没有数据。当数据从集成服务器125由DCS130所接收,DCS处理状态可标示”处理中”。在步骤340中,一旦批量数据被提供至DCS服务器130,集成服务器125提供批量结束信息至DCS130。对于批量数据的请求可以指定收集由租户维护的所有新数据和更改的数据。如果没有租户数据在指定的时段更改或更新,没有数据将被提供,以及没有新的批量创建。
在步骤350,DCS服务器130可对中间数据库中收集的批量数据分级。由DCS130做出批量数据分级是否失败或成功的决定。在步骤380,如果DSC130接收所有批量数据都分级或加载进入中间数据库135,批量日志147中的分级批量数据标记为“成功”。如果批量列为失败,则批量从批量日志移除,并且下一批将试图收集在相同的时段收集相同的数据。在一些实施方案中,所述批量日志可以通过生成的脚本被更新,并通过DCS130、ETL135或图1系统的其它部分被执行。
图4A是具有数据变更的示例性批量日志。图4A的批量表格包括七个栏位,标题为“前/后”、“键”、“数量”、“开始”、“结束”、“批次ID”和“当前”。所述键可通过当前记录栏位添加到存储在中间数据库135和仓库数据库145的所有数据。在图4A的例子中,在批量数据的时机已经从$500变更为$1000。在原始批量集合中,所述键具有1的值,时机的量是500,批量数据开始于1990年1月1日和结束于2099年12月31日,所述数据具有为1的批量ID并被标记为当前的数据。
检测出发生在2012年8月1日的变化后,原来批量的列1已替换(因此,删除线在第1列的数据),并替换为两批量,該两批量如日志数据的第二列和第三列所表示。数据的第二列表示企业键是1,所述量为500时,日期开始于1900年1月1日和日期结束于2012年7月31日,批量ID为1,所述批量非当前记录。第三栏表示企业键是1,量为1000时,日期开始于2012年8月1日和日期结束于2099年12月31日,批量ID为2,所述批量是当前记录。
图4B是具有回退的示例性批量日志。图4B具有与图4A中那些批量日志相同的标题。图4B示出在回退的情况中导致当前记录从批量ID2被改变为批量ID1的批量日志。图4B中的批量日志的首两列与图4A的批量日志的最后两列配对。该两列皆被图4A的第一列替换(因此带删除线)在此成为当前记录。
图5是实施本技术的装置的框图。图5示出示例性的计算系统500,其可以被用于实现使用本发明的技术的计算设备。图5的系统500可以在包括租户服务器110和115、用户端设备120、集成服务器125、DCS130、中间数据库135、ETL服务器140、仓库数据库145、分析服务器150以及客户端设备155等的情境中实现。图5的系统500包括一个或多个处理器510以及主存储器520。主存储器520可存储部份指令和数据供处理器510执行。主存储器可在执行时存储可执行代码。图5的系统500更包括存储器530,其可包括大容量存储器和便携式存储器,天线540、输出设备550、用户输入设备560、显示系统570和外围设备580。
在图5中所示的组件被描绘为经由单个总线590连接。然而,这些组件可以通过一个或多个数据传输装置相连接。例如,处理器单元510和主存储器520可以经由本地微处理器总线连接,存储器530、外围设备580以及显示系统570可以经由一个或多个输入/输出(I/O)总线连接。
存储设备530可以包括由磁盘驱动器或光盘驱动器实现的大容量存储,也可以是供处理器单元510用于存储数据和指令的非易失性存储设备。存储设备530可以存储系统软件作为实现本发明实施例以达到加载软件进入主存储器520的目的。
存储器530的便携式存储装置与便携式非易失性存储媒体共同操作,诸如软盘、压缩盘或数字视频盘,从图5的计算机系统500输入数据和代码,以及输出数据和代码至所述计算机系统500。系统软件用于实现本发明的实施例可以被存储在诸如便携式媒体,并经由便携式存储装置输入到计算机系统500。
天线540可以包括一个或多个天线,用于与另一设备无线通信。例如天线516可以用于通过Wi-Fi、蓝牙与蜂窝网络或其他无线协议和系统无线通信。所述一个或多个天线可以由包括控制器的处理器510控制发送和接收无线信号。例如,处理器510执行存储在存储器512的程序,以控制天线540发送无线信号到蜂窝网络和接收来自蜂窝网络的无线信号。
如示于图5中的系统500,包括输出装置550和输入装置560。合适的输出设备的示例包括扬声器、打印机、网络接口和显示器。输入设备560可以包括触摸屏、麦克风、加速计、摄像头以及其他设备。输入装置560可包括字母数字键盘,如键盘,用于输入字母数字和其它信息,或一个指示设备,例如鼠标、轨迹球、指示笔或光标方向键。
显示系统570可以包括液晶显示器(LCD)、LED显示器或其它合适的显示装置。显示系统570接收文本和图形信息,并且处理该信息用于输出到显示装置。
外围设备580可以包括任何类型的计算机支持装置,以添加更多功能至计算机系统。例如,外围设备580可以包括调制解调器或路由器。
图5的计算机系统500所包含的部件是那些通常存在于计算系统,例如但不限于台式计算机、膝上型计算机、笔记本计算机、便携式计算机、平板计算机、智能电话、个人数字助理(PDA),或可适合用于本发明实施例的其他计算机,并且旨在表示本领域中公知的计算机部件的广泛种类。因此,图5的计算机系统500可以是个人计算机、手持计算设备、电话、移动计算装置、工作站、服务器、小型计算机、大型计算机或任何其他计算设备。所述计算机还可以包括不同的总线配置、网络平台、多处理器平台等。可以使用各种操作系统,包括Unix、Linux、Windows、MacintoshOS、PalmOS和其它合适的操作系统。
本文所述技术的前述详细描述已经以图示和说明的目的呈现。它并非意在详尽无遗或将技术限制于所公开的确切形式。许多修改和变化可根据上述教导。所描述的实施例被选择以最好地解释本技术的原理和其实际应用,从而使本领域技术人员能够最好地以适合于预期的特定用途在各种实施例和各种修改利用所述技术。其意图在于所述技术的范围由所附的权利要求限定。
Claims (19)
1.一种用于数据收集的方法,包括:
藉由服务器从一个或多个多租户应用程序收集第一批量数据,并与第一时段相关联;
藉由服务器从一个或多个租户应用程序收集第二批量数据,并与所述第一时段之后的第二时段相关联;
标记所述第二批量数据作为当前批量数据;
检测回退事件;以及
在回退请求后,标记所述第一批量数据作为所述当前批量数据。
2.如权利要求1所述的方法,其中,所述第一批量数据以及所述第二批量数据包括相同的数据对象。
3.如权利要求1所述的方法进一步包括建立批量日志。
4.如权利要求3所述的方法,所述批量日志包括用于每一批量的独特标识符。
5.如权利要求3所述的方法进一步包括建立用于包含变更后的数据的每一批量的新批量录入。
6.如权利要求3所述的方法,所述批量日志包括用于每一批量的中间数据库标识以及ETL服务器标识符。
7.如权利要求1所述的方法,进一步包括,当后续批量无法加载到收集服务器时,登录后续批量为失败。
8.如权利要求1所述的方法,其中,所述回退事件是请求执行回退到先前的批量。
9.如权利要求1所述的方法,其中,当数据无法载入数据库,所述回退事件自动产生。
10.一种计算机可读的非临时性存储媒体,其具有实施在其上的程序,所述程序是可由处理器执行的以进行用于收集数据的方法,所述方法包括:
从一个或多个多租户应用程序收集第一批量数据,并与第一时段相关联;
从一个或多个租户应用程序收集第二批量数据,并与所述第一时段之后的第二时段相关联;
标记所述第二批量数据作为所述当前批量数据;
检测回退事件;以及
在回退请求后,标记所述第一批量数据作为所述当前批量数据。
11.如权利要求10所述的方法,其中,所述第一批量数据以及所述第二批量数据包括相同的数据对象。
12.如权利要求10所述的方法,进一步包括建立批量日志。
13.如权利要求12所述的方法,所述批量日志包括用于每一批量的独特标识符。
14.如权利要求12所述的方法,进一步包括建立用于包含变更后的数据的每一批量的新批量录入。
15.如权利要求12所述的方法,所述批量日志包括用于每一批量的中间数据库标识以及ETL服务器标识符。
16.如权利要求10所述的方法,进一步包括当后续批量无法加载到收集服务器时,登录后续批量为失败。
17.如权利要求10所述的方法,其中,所述回退事件是请求执行回退到先前的批量。
18.如权利要求10所述的方法,其中,当数据无法载入数据库,所述回退事件自动产生。
19.一种用于收集数据的系统,包括:
存储器;
处理器;以及
一个或多个存储在存储器以及可由处理器执行的模块:
从一个或多个多租户应用程序收集第一批量数据,并与第一时段相关联;
从一个或多个租户应用程序收集第二批量数据,并与所述第一时段之后的第二时段相关联;
标记所述第二批量数据作为当前批量数据;
检测回退事件;以及
在回退请求后,标记所述第一批量数据作为所述当前批量数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/764,446 US9141680B2 (en) | 2013-02-11 | 2013-02-11 | Data consistency and rollback for cloud analytics |
US13/764,446 | 2013-02-11 | ||
PCT/US2013/046280 WO2014123565A1 (en) | 2013-02-11 | 2013-06-18 | Data consistency and rollback for cloud analytics |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105493028A true CN105493028A (zh) | 2016-04-13 |
CN105493028B CN105493028B (zh) | 2019-01-11 |
Family
ID=51298192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380072719.XA Active CN105493028B (zh) | 2013-02-11 | 2013-06-18 | 用于云分析的数据一致性和回退 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9141680B2 (zh) |
EP (1) | EP2954402B1 (zh) |
CN (1) | CN105493028B (zh) |
WO (1) | WO2014123565A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9596279B2 (en) | 2013-02-08 | 2017-03-14 | Dell Products L.P. | Cloud-based streaming data receiver and persister |
US9141680B2 (en) | 2013-02-11 | 2015-09-22 | Dell Products L.P. | Data consistency and rollback for cloud analytics |
US9191432B2 (en) | 2013-02-11 | 2015-11-17 | Dell Products L.P. | SAAS network-based backup system |
US9442993B2 (en) | 2013-02-11 | 2016-09-13 | Dell Products L.P. | Metadata manager for analytics system |
CN104360905B (zh) * | 2014-10-29 | 2019-01-29 | 中国建设银行股份有限公司 | 一种应用于it系统的自适应控制方法和装置 |
US11853313B2 (en) * | 2015-12-03 | 2023-12-26 | Oracle International Corporation | System and method for load plan intelligent run in a multidimensional database |
US10860597B2 (en) * | 2016-03-30 | 2020-12-08 | Workday, Inc. | Reporting system for transaction server using cluster stored and processed data |
US10671641B1 (en) * | 2016-04-25 | 2020-06-02 | Gravic, Inc. | Method and computer program product for efficiently loading and synchronizing column-oriented databases |
US10467070B2 (en) | 2016-09-15 | 2019-11-05 | Oracle International Corporation | Processing cloud services and intelligence cloud services integration |
US10372548B2 (en) | 2016-11-17 | 2019-08-06 | International Business Machines Corporation | Copying data from multiple point-in-time copies to a log storage to use to roll-back a source storage |
US10261868B2 (en) * | 2016-11-17 | 2019-04-16 | International Business Machines Corporation | Using a forward log storage and backward log storage to recover a storage to a forward or backward point-in-time |
US11687567B2 (en) * | 2017-09-21 | 2023-06-27 | Vmware, Inc. | Trigger based analytics database synchronization |
US11080151B2 (en) | 2018-09-27 | 2021-08-03 | Hewlett Packard Enterprise Development Lp | Restoration of cloud management platform |
KR102119258B1 (ko) | 2018-11-14 | 2020-06-05 | 주식회사 실크로드소프트 | 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법 |
WO2020139074A1 (en) * | 2018-12-26 | 2020-07-02 | Mimos Berhad | System and method for monitoring data errors in extract, transform and load (etl) flow |
US11210174B2 (en) | 2019-10-24 | 2021-12-28 | EMC IP Holding Company LLC | Automated rollback for database objects |
KR20200056357A (ko) | 2020-03-17 | 2020-05-22 | 주식회사 실크로드소프트 | 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법 |
US12050586B2 (en) * | 2020-06-29 | 2024-07-30 | Ncr Voyix Corporation | Rollback-free referential integrity update processing |
US11343134B1 (en) | 2020-11-05 | 2022-05-24 | Dell Products L.P. | System and method for mitigating analytics loads between hardware devices |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1308293A (zh) * | 2000-02-09 | 2001-08-15 | 索尼公司 | 电子货币系统和电子货币终端 |
US20050256892A1 (en) * | 2004-03-16 | 2005-11-17 | Ascential Software Corporation | Regenerating data integration functions for transfer from a data integration platform |
US20070156985A1 (en) * | 2005-12-30 | 2007-07-05 | Industrial Technology Research Institute | Snapshot mechanism in a data processing system and method and apparatus thereof |
US7895474B2 (en) * | 2007-05-03 | 2011-02-22 | International Business Machines Corporation | Recovery and restart of a batch application |
US20120150791A1 (en) * | 2008-06-02 | 2012-06-14 | Ian Alexander Willson | Methods and systems for loading data into a temporal data warehouse |
Family Cites Families (103)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5325519A (en) * | 1991-10-18 | 1994-06-28 | Texas Microsystems, Inc. | Fault tolerant computer with archival rollback capabilities |
US6035298A (en) | 1995-10-19 | 2000-03-07 | British Telecommunications Public Limited Company | Accessing plural independent databases having plural database schemas |
US5729743A (en) * | 1995-11-17 | 1998-03-17 | Deltatech Research, Inc. | Computer apparatus and method for merging system deltas |
AU6336698A (en) * | 1997-02-26 | 1998-09-29 | Siebel Systems, Inc. | Distributed relational database |
AU6183798A (en) | 1997-02-27 | 1998-09-29 | Siebel Systems, Inc. | Method of migrating to a successive level of a software distribution incorporating local modifications |
US6573907B1 (en) | 1997-07-03 | 2003-06-03 | Obvious Technology | Network distribution and management of interactive video and multi-media containers |
US7225249B1 (en) | 1997-09-26 | 2007-05-29 | Mci, Llc | Integrated systems for providing communications network management services and interactive generating invoice documents |
US6321374B1 (en) * | 1997-11-07 | 2001-11-20 | International Business Machines Corporation | Application-independent generator to generate a database transaction manager in heterogeneous information systems |
US6212524B1 (en) | 1998-05-06 | 2001-04-03 | E.Piphany, Inc. | Method and apparatus for creating and populating a datamart |
WO2000068841A2 (en) | 1999-05-12 | 2000-11-16 | Iwitness, Inc. | Interactive data stream recording system |
US6405219B2 (en) * | 1999-06-22 | 2002-06-11 | F5 Networks, Inc. | Method and system for automatically updating the version of a set of files stored on content servers |
US6493744B1 (en) | 1999-08-16 | 2002-12-10 | International Business Machines Corporation | Automatic rating and filtering of data files for objectionable content |
US6721767B2 (en) * | 2000-01-31 | 2004-04-13 | Commvault Systems, Inc. | Application specific rollback in a computer system |
US7657887B2 (en) * | 2000-05-17 | 2010-02-02 | Interwoven, Inc. | System for transactionally deploying content across multiple machines |
US6711593B1 (en) * | 2000-06-26 | 2004-03-23 | Camstar Systems, Inc. | System and method for live update of a manufacturing system |
US6631374B1 (en) * | 2000-09-29 | 2003-10-07 | Oracle Corp. | System and method for providing fine-grained temporal database access |
US7076496B1 (en) * | 2001-02-23 | 2006-07-11 | 3Com Corporation | Method and system for server based software product release version tracking |
US7191183B1 (en) | 2001-04-10 | 2007-03-13 | Rgi Informatics, Llc | Analytics and data warehousing infrastructure and services |
US6732095B1 (en) | 2001-04-13 | 2004-05-04 | Siebel Systems, Inc. | Method and apparatus for mapping between XML and relational representations |
US6662277B2 (en) | 2001-07-31 | 2003-12-09 | Hewlett-Packard Development Company, L.P. | Cache system with groups of lines and with coherency for both single lines and groups of lines |
US20030046422A1 (en) | 2001-09-04 | 2003-03-06 | Ravi Narayanan | Object-oriented routing |
US6775681B1 (en) * | 2002-02-26 | 2004-08-10 | Oracle International Corporation | Evaluation of grouping sets by reduction to group-by clause, with or without a rollup operator, using temporary tables |
US7249118B2 (en) | 2002-05-17 | 2007-07-24 | Aleri, Inc. | Database system and methods |
US6721765B2 (en) * | 2002-07-02 | 2004-04-13 | Sybase, Inc. | Database system with improved methods for asynchronous logging of transactions |
US7013367B2 (en) | 2002-07-18 | 2006-03-14 | Intel Corporation | Caching associative memory using non-overlapping data |
NZ539138A (en) * | 2002-09-23 | 2006-09-29 | Neos Financial Systems Ltd | Transaction processing system |
US7636815B1 (en) | 2003-04-09 | 2009-12-22 | Klaiber Alexander C | System and method for handling direct memory accesses |
US7487173B2 (en) | 2003-05-22 | 2009-02-03 | International Business Machines Corporation | Self-generation of a data warehouse from an enterprise data model of an EAI/BPI infrastructure |
US7523462B1 (en) | 2003-05-27 | 2009-04-21 | International Business Machines Corporation | Method for providing a real time view of heterogeneous enterprise data |
US20040254964A1 (en) * | 2003-06-12 | 2004-12-16 | Shoji Kodama | Data replication with rollback |
US7779039B2 (en) | 2004-04-02 | 2010-08-17 | Salesforce.Com, Inc. | Custom entities and fields in a multi-tenant database system |
US20050209983A1 (en) | 2004-03-18 | 2005-09-22 | Macpherson Deborah L | Context driven topologies |
US7290166B2 (en) * | 2004-07-28 | 2007-10-30 | Intel Corporation | Rollback of data |
US8275399B2 (en) | 2005-09-21 | 2012-09-25 | Buckyball Mobile Inc. | Dynamic context-data tag cloud |
US7640264B1 (en) | 2005-09-23 | 2009-12-29 | Emc Corporation | System and methods for querying a report database |
US7546312B1 (en) | 2005-09-23 | 2009-06-09 | Emc Corporation | System and methods for modeling a report query database |
US20060047780A1 (en) | 2005-11-08 | 2006-03-02 | Gregory Patnude | Method and apparatus for web-based, schema-driven application-server and client-interface package using a generalized, data-object format and asynchronous communication methods without the use of a markup language. |
US7689593B2 (en) | 2005-12-30 | 2010-03-30 | Sap Ag | Systems and methods for accessing a shared space in a provider-tenant environment |
US20070168537A1 (en) | 2006-01-18 | 2007-07-19 | Archan Misra | Method for intelligent and automated transmission of local context in converged signaling |
US8209305B2 (en) | 2006-04-19 | 2012-06-26 | Microsoft Corporation | Incremental update scheme for hyperlink database |
US7698258B2 (en) | 2006-06-02 | 2010-04-13 | Microsoft Corporation | Searchable storage system |
US20080077613A1 (en) | 2006-09-27 | 2008-03-27 | Ffd, Inc. | User Interface Displaying Hierarchical Data on a Contextual Tree Structure |
US8161010B2 (en) * | 2006-10-04 | 2012-04-17 | Salesforce.Com, Inc. | Methods and systems for providing fault recovery to side effects occurring during data processing |
GB0623237D0 (en) | 2006-11-22 | 2007-01-03 | Ibm | Issuing syncpoints during execution of a batch application |
US7827350B1 (en) * | 2007-04-27 | 2010-11-02 | Netapp, Inc. | Method and system for promoting a snapshot in a distributed file system |
US20090024915A1 (en) * | 2007-04-27 | 2009-01-22 | Bea Systems, Inc. | Web based application constructor using objects as pages |
US20080281702A1 (en) | 2007-05-11 | 2008-11-13 | Michael Kirkwood | System and method for providing mobile coupon information in a network |
KR100902588B1 (ko) * | 2007-06-26 | 2009-06-11 | 주식회사 동부하이텍 | 드라이버 설계 방법 |
US8788510B2 (en) * | 2007-08-17 | 2014-07-22 | Salesforce.Com, Inc. | System, method, and computer program product for runtime invocation of an appropriate version of program instructions in an on-demand database |
US20090055439A1 (en) | 2007-08-24 | 2009-02-26 | Ketera Technologies, Inc. | Flexible Dimension Approach In A Data Warehouse |
US8347292B2 (en) | 2007-08-30 | 2013-01-01 | International Business Machines Corporation | Transaction aggregation to increase transaction processing throughout |
JP4875024B2 (ja) | 2008-05-09 | 2012-02-15 | 株式会社東芝 | 画像情報伝送装置 |
TW200947431A (en) | 2008-05-15 | 2009-11-16 | Quanta Storage Inc | Back-up method for defective data |
US8271430B2 (en) | 2008-06-02 | 2012-09-18 | The Boeing Company | Methods and systems for metadata driven data capture for a temporal data warehouse |
US8176256B2 (en) | 2008-06-12 | 2012-05-08 | Microsoft Corporation | Cache regions |
CN101620609B (zh) | 2008-06-30 | 2012-03-21 | 国际商业机器公司 | 多租户数据存储和访问方法和装置 |
US20100005013A1 (en) | 2008-07-03 | 2010-01-07 | Retail Decisions, Inc. | Methods and systems for detecting fraudulent transactions in a customer-not-present environment |
US8423524B1 (en) | 2008-09-12 | 2013-04-16 | Salesforce.Com, Inc. | System, method and computer program product for storing reports for use by tenants of a multi-tenant on-demand database service |
US8165700B2 (en) | 2008-10-02 | 2012-04-24 | Fisher-Rosemount Systems, Inc. | Complete integration of stand-alone batch operator interface capabilities into generic human machine interface using componentized objects |
CA2751383A1 (en) | 2009-02-10 | 2010-08-19 | Zap Holdings Limited | Creation of a data store |
US9208188B2 (en) * | 2009-02-17 | 2015-12-08 | Microsoft Technology Licensing, Llc | Tenant management of a hosted multi-tenant application |
CA2660748C (en) | 2009-03-31 | 2016-08-09 | Trapeze Software Inc. | System for aggregating data and a method for providing the same |
JP5440067B2 (ja) | 2009-09-18 | 2014-03-12 | 富士通株式会社 | キャッシュメモリ制御装置およびキャッシュメモリ制御方法 |
US10229157B2 (en) | 2009-10-05 | 2019-03-12 | Salesforce.Com, Inc. | Implementing composite custom indices in a multi-tenant database |
US8504513B2 (en) | 2009-11-25 | 2013-08-06 | Microsoft Corporation | Auto-generation of code for performing a transform in an extract, transform, and load process |
US20110126168A1 (en) * | 2009-11-25 | 2011-05-26 | Crowdsource Technologies Ltd. | Cloud plarform for managing software as a service (saas) resources |
US8495250B2 (en) | 2009-12-16 | 2013-07-23 | International Business Machines Corporation | Asynchronous file operations in a scalable multi-node file system cache for a remote cluster file system |
US8549353B2 (en) | 2009-12-29 | 2013-10-01 | Microgen Aptitutde Limited | Batch processing error handling modes |
US8832651B2 (en) * | 2010-03-30 | 2014-09-09 | Hewlett-Packard Development Company, L.P. | Central service provisioning system |
US10162851B2 (en) * | 2010-04-19 | 2018-12-25 | Salesforce.Com, Inc. | Methods and systems for performing cross store joins in a multi-tenant store |
GB2480599A (en) * | 2010-05-17 | 2011-11-30 | Tech Universit T Muenchen | Hybrid OLTP and OLAP database |
US9495427B2 (en) | 2010-06-04 | 2016-11-15 | Yale University | Processing of data using a database system in communication with a data processing framework |
CN102918534B (zh) | 2010-06-10 | 2016-05-04 | 惠普发展公司,有限责任合伙企业 | 查询管道 |
US20120023109A1 (en) | 2010-07-13 | 2012-01-26 | Viprocom | Contextual processing of data objects in a multi-dimensional information space |
KR20120045586A (ko) | 2010-10-29 | 2012-05-09 | 한국전자통신연구원 | 다중 테넌트용 SaaS 애플리케이션 설정 장치 및 방법 |
CN102693169B (zh) * | 2011-03-25 | 2015-01-28 | 国际商业机器公司 | 在多租户环境下恢复租户数据的方法、设备和数据库系统 |
US8751449B2 (en) * | 2011-04-04 | 2014-06-10 | Symantec Corporation | Managing performance within an enterprise object store file system |
US9152739B2 (en) | 2011-04-06 | 2015-10-06 | Nterop Corporation | Method and apparatus for pushing situationally relevant data |
US9396242B2 (en) | 2011-04-11 | 2016-07-19 | Salesforce.Com, Inc. | Multi-master data replication in a distributed multi-tenant system |
US20130019235A1 (en) | 2011-07-11 | 2013-01-17 | Salesforce.Com, Inc. | Mechanism for facilitating management of metadata and metada-based update of software |
US9229934B2 (en) * | 2011-07-12 | 2016-01-05 | Salesforce.Com, Inc. | Method and system for document integration |
US8898656B2 (en) | 2011-08-29 | 2014-11-25 | Salesforce.Com, Inc. | Mechanism for facilitating dynamic format transformation of software applications in an on-demand services environment |
US8880493B2 (en) | 2011-09-28 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | Multi-streams analytics |
US8935181B2 (en) | 2011-10-17 | 2015-01-13 | Bjorn Johan Rosenberg | Municipal bond tracking and evaluation system |
CN104067281A (zh) | 2011-11-28 | 2014-09-24 | 惠普发展公司,有限责任合伙企业 | 按多个时间维度的聚类事件数据 |
US9244951B2 (en) | 2012-03-08 | 2016-01-26 | International Business Machines Corporation | Managing tenant-specific data sets in a multi-tenant environment |
CN104641614B (zh) | 2012-04-13 | 2018-04-13 | 高盛有限责任公司 | 用于可扩展的结构化数据分布的系统和方法 |
US9348652B2 (en) * | 2012-07-02 | 2016-05-24 | Vmware, Inc. | Multi-tenant-cloud-aggregation and application-support system |
US10025638B2 (en) * | 2012-07-02 | 2018-07-17 | Vmware, Inc. | Multiple-cloud-computing-facility aggregation |
US9256412B2 (en) * | 2012-07-04 | 2016-02-09 | Sap Se | Scheduled and quarantined software deployment based on dependency analysis |
US9245145B2 (en) | 2012-07-16 | 2016-01-26 | Salesforce.Com, Inc. | Methods and systems for regulating database activity |
US8972405B1 (en) * | 2012-07-26 | 2015-03-03 | Emc Corporation | Storage resource management information modeling in a cloud processing environment |
US9418101B2 (en) | 2012-09-12 | 2016-08-16 | International Business Machines Corporation | Query optimization |
US8874508B1 (en) * | 2012-10-02 | 2014-10-28 | Symantec Corporation | Systems and methods for enabling database disaster recovery using replicated volumes |
US9692632B2 (en) * | 2012-11-29 | 2017-06-27 | International Business Machines Corporation | Migration to managed clouds |
US9282166B2 (en) * | 2012-11-29 | 2016-03-08 | International Business Machines Corporation | Management infrastructure analysis for cloud migration |
US9734220B2 (en) | 2012-12-04 | 2017-08-15 | Planet Os Inc. | Spatio-temporal data processing systems and methods |
US9208212B2 (en) | 2012-12-17 | 2015-12-08 | Sap Ag | Field extensibility in a multi-tenant environment with columnar database support |
US20140223100A1 (en) | 2013-02-07 | 2014-08-07 | Alex J. Chen | Range based collection cache |
US9596279B2 (en) * | 2013-02-08 | 2017-03-14 | Dell Products L.P. | Cloud-based streaming data receiver and persister |
US9141680B2 (en) | 2013-02-11 | 2015-09-22 | Dell Products L.P. | Data consistency and rollback for cloud analytics |
US9442993B2 (en) | 2013-02-11 | 2016-09-13 | Dell Products L.P. | Metadata manager for analytics system |
US9191432B2 (en) | 2013-02-11 | 2015-11-17 | Dell Products L.P. | SAAS network-based backup system |
-
2013
- 2013-02-11 US US13/764,446 patent/US9141680B2/en active Active
- 2013-06-18 EP EP13874570.8A patent/EP2954402B1/en active Active
- 2013-06-18 WO PCT/US2013/046280 patent/WO2014123565A1/en active Application Filing
- 2013-06-18 CN CN201380072719.XA patent/CN105493028B/zh active Active
-
2015
- 2015-09-22 US US14/862,007 patent/US9646042B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1308293A (zh) * | 2000-02-09 | 2001-08-15 | 索尼公司 | 电子货币系统和电子货币终端 |
US20050256892A1 (en) * | 2004-03-16 | 2005-11-17 | Ascential Software Corporation | Regenerating data integration functions for transfer from a data integration platform |
US20070156985A1 (en) * | 2005-12-30 | 2007-07-05 | Industrial Technology Research Institute | Snapshot mechanism in a data processing system and method and apparatus thereof |
US7895474B2 (en) * | 2007-05-03 | 2011-02-22 | International Business Machines Corporation | Recovery and restart of a batch application |
US20120150791A1 (en) * | 2008-06-02 | 2012-06-14 | Ian Alexander Willson | Methods and systems for loading data into a temporal data warehouse |
Also Published As
Publication number | Publication date |
---|---|
US20160085794A1 (en) | 2016-03-24 |
WO2014123565A1 (en) | 2014-08-14 |
EP2954402B1 (en) | 2020-12-30 |
EP2954402A1 (en) | 2015-12-16 |
US9141680B2 (en) | 2015-09-22 |
CN105493028B (zh) | 2019-01-11 |
US9646042B2 (en) | 2017-05-09 |
EP2954402A4 (en) | 2016-08-24 |
US20140229423A1 (en) | 2014-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105493028A (zh) | 用于云分析的数据一致性和回退 | |
US11941017B2 (en) | Event driven extract, transform, load (ETL) processing | |
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
US10122783B2 (en) | Dynamic data-ingestion pipeline | |
CN110489699B (zh) | 一种异步数据采集方法及系统 | |
US8874600B2 (en) | System and method for building a cloud aware massive data analytics solution background | |
Johns | Information management for health professions | |
CN107515933A (zh) | 修改源数据库表结构的方法、服务器、系统及存储介质 | |
CN103778133A (zh) | 一种数据库对象的变更方法及装置 | |
US9191432B2 (en) | SAAS network-based backup system | |
CN113688288B (zh) | 数据关联分析方法、装置、计算机设备和存储介质 | |
US10585877B1 (en) | System and method for achieving high quality data integrity | |
CN110032594B (zh) | 可定制化的多源数据库的数据抽取方法、装置及存储介质 | |
CN112825069A (zh) | 数据库数据的分析方法、设备、系统及存储介质 | |
CN112035471B (zh) | 一种事务处理方法及计算机设备 | |
US9589038B1 (en) | Attribute tracking, profiling, and recognition | |
CN111125045B (zh) | 一种轻量级etl处理平台 | |
CN106919566A (zh) | 一种基于海量数据的查询统计方法及系统 | |
CN116049138A (zh) | 交易数据的数据追溯方法、追溯装置和追溯系统 | |
CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
CN112860456A (zh) | 日志处理方法和装置 | |
CN108614838B (zh) | 一种用户群索引处理方法、装置及系统 | |
LU501015B1 (en) | Economic database management system | |
CN113448671A (zh) | 报表呈现方法、装置、终端设备及存储介质 | |
Hilker et al. | Central Finance and SAP S/4HANA: The Comprehensive Guide (SAP PRESS) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |