CN105493028B - 用于云分析的数据一致性和回退 - Google Patents

Abstract

一种提取‑转换‑加载(ETL)平台,在给定时段批量获取一致的数据集，并提供回退所述批量的能力。所述批量可在时间间隔被获取，并且ELT平台从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时，系统将不会覆盖现有数据，而是将创建新的版本，以便保留改变历程。如果企业出于任何原因想回退数据，他们可以回退到任何先前的批量。

Description

用于云分析的数据一致性和回退

背景技术

企业需要处理大量的数据，以进行战略上的决策及取得成功。数据常常以例如报表的型式提供。为了建立有意义的报表，企业依赖多个租用的软件以作为服务(SAAS)分析公司。构建与提供有意义的分析，通常需要大量资源和高昂的成本。

为了减少成本，越来越多企业采用云基础的SAAS应用模式。例如，企业需要存储销售记录在”Saleforce”应用程序、会计数据在”NetSuite”应用程序，以及账单数据在”Zuora”应用程序。具有有关公司的业绩和位置的详细信息是很重要的。不幸的是，分析应用程序无法从不同的SAAS应用程序合并，以及提供单一的视图。分析的应用程序也无法在不同数据型式的数据收集中提供数据一致性。所以需要的是一种改进的分析系统，以改进现有技术的分析系统。

发明内容

本发明包括一种提取-转换-加载(ETL)平台,在给定时段批量获取一致的数据集，并提供回退所述批量的能力。所述批量可在时间间隔被获取，并且ELT平台可从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时，系统将不会覆盖现有数据，而是将创建新的版本，以便保留改变历程。如果企业出于任何原因想回退数据，他们可以回退到任何先前的批量。

在实施方案中，一种用于数据收集的方法包括藉由服务器从一个或多个多租户应用程序收集第一批量数据，并与第一时段相关联。藉由服务器从一个或多个租户应用程序收集第二批量数据，并与所述第一时段之后的第二时段相关联。所述第二批量数据可被标记作为当前批量数据。回退事件被检测以及所述第一批量数据在回退请求后被标记作为当前的批量数据。

在实施方案中，一种用于收集数据的系统包括存储器、处理器以及一个或多个存储在存储器以及可由处理器执行的模块。模块可被执行以从一个或多个多租户应用程序收集第一批量数据，并与第一时段相关联；从一个或多个租户应用程序收集第二批量数据，并与所述第一时段之后的第二时段相关联；并标记所述第二批量数据作为当前批量数据。模块更可执行检测回退事件以及在回退请求后标记所述第一批量数据作为当前批量数据。

附图说明

图1是示例性的数据分析系统的框图。

图2是用于执行数据回退的示例性方法。

图3是用于收集批量数据的示例性方法。

图4A是具有数据变更的示例性批量日志。

图4B是具有回退的示例性批量日志。

图5是用于实施本技术的装置的框图。

具体实施方式

本发明包括一种提取-转换-加载(ETL)平台,在给定时段批量获取一致的数据集，并提供回退所述批量的能力。所述批量可在时间间隔被获取，并且ELT平台可从不同云/预置应用程序取得新的或改变的数据。它将存储所述数据在云或预置以构建数据历程。当ETL平台获取新的数据时，系统将不会覆盖现有数据，而是将创建新的版本，以便保留改变历程。如果企业出于任何原因想回退数据，他们可以回退到任何先前的批量。

本系统具有许多优于现有技术的优点。虽然一些现有技术的SAAS分析提供商提供分析，但这些系统不提供历程跟踪或快照趋势功能。构建具有历程追踪或快照趋势功能需要复杂的ETL和回退功能。一旦数据被取出，并放置在一个SAAS分析系统以及硬件故障发生在SAAS应用供应商，如果SAAS应用供应商回退其系统此前的一些时间点，在SAAS分析系统的数据将与SAAS应用程序不一致。在这种情况下，唯一可能的解决方法是删除SAAS分析中的一切，从SAAS应用程序重新提供数据和清除所有历程记录。

数据一致性也是过去SAAS分析系统的问题。所有的SAAS应用程序提供了一个API来存取他们的数据。然而使用他们提供的API获取数据并不提供数据一致性。例如，从Salesforce获取数据时，此处理可能在时间T1获取所有的账户，然后在时间T10获取所有的机会。在时间T10获取所有的机会将导致在时间T1与T10之间建立的新机会的账户信息还未被获取。由于接收无账户信息的机会可产生错误的报表输出，这可能会导致不一致的数据集。

当本系统从任何故障自行还原(商务应用程序/应用集成器/数据采集器/ETL系统)，ETL系统能够自动重启数据提取处理，因为它持续查询数据收集状态以及基于时间戳查找较新的成功批量数据。ETL系统可以从过去的任何时间重播数据提取处理，而不需要任何人工干预。这种自动还原能力和自动重启能力保证数据的一致性。所述系统可确保多租户的完整数据隔离，并保证持续交付异类的持久性数据存储。

图1是示例性的数据分析系统的框图。图1中的系统包括租户服务器110与115、客户端设备120、集成服务器125、数据收集服务器(DCS)130、中间数据库135、提取-转换-加载(ETL)服务器140、仓库数据库145、分析服务器150以及客户端设备155。设备110-155中的每一个可经由网络(未绘示)互相通信。网络可以藉由专用网络、公共网络、Wi-Fi网络、广域网(WAN)、局域网(LAN)、内联网、因特网、蜂窝网络或这些网络的组合来实现。

服务器110与115以及客户端设备120的每一个可以与多租户中的一个租户(客户组织)关联。多租户中的每一个租户可包括一个或多个服务器以及客户端设备。每一个服务器和客户端可包括经由集成服务器125由数据收集服务器130收集的数据。在实施方案中，集成服务器125可与不同的SAAS提供商通信，不论是从云或特定机器提供，并与数据收集服务器130通信。客户端120可以被实现为台式机、便携式电脑、笔记本电脑、平板计算机、智能电话或其它计算设备。

数据收集服务器130可从设备110-120上的一个或多个租户应用程序经由集成服务器125收集数据，以及存储数据于中间服务器135。数据收集服务器可传送批量指令到集成服务器125以响应接收的启动批量请求。数据收集服务器可提供任何部份的中间数据到ETL服务器140，例如当接收来自ETL服务器140的数据请求。当数据被收集时，它存储以及保留。数据批量不会被新近收集的数据覆盖。

ETL服务器140从数据收集服务器130接收中间数据，并且可转换数据为更有用的格式给用户。例如，数据转换可以包括仅选择某些列加载到一个星形模式、转换编码值、导出新的计算值、对数据进行排序、聚集数据、转置或转移数据、一列分割成多个列以及其他的处理。数据一旦通过ETL服务器140转换，它可提供到数据仓库155以供将来分析。

仓库数据库145可从ETL服务器140接收转换后的数据，并提供所述数据到分析服务器150以供处理。当数据被加载到仓库数据库145，所述数据存储在一个星形模式并保留。转换后的数据不会在仓库数据库145覆盖。这允许需要的时候回退到先前的批量数据。批量日志147可以存储在仓库数据库147。批量日志可被更新并保留以跟踪有关每批数据的信息，并且可以使用于数据回退。批量日志可以存储为表格格式，并且可以包括每一批量属性，诸如批量ID、租户ID、数据开始日期和时间、数据结束日期和时间、DCS处理状态、中间数据库ID、ETL处理状态以及ETL服务器ID。DCS的处理状态以及ETL处理状态可以包括未开始、处理中、成功和失败。批量日志可通过ETL服务器140、数据收集服务器130和图1系统中的其他服务器进行更新。尽管示出为存储在仓库数据库145，批量日志147可以被存储在图1系统内的其它服务器或数据库。

分析服务器150可以检索存储在数据仓库155的星型模式中转换后的数据，并对数据执行分析。分析结果可以图表、图形、报表或其它格式提供给用户的客户端设备155。

虽然示出为一个服务器或设备，图1系统的每个服务器和客户机可使用一个或多个实际的或逻辑的机器、服务器和客户端设备实现。图1中系统的一个或多个模块也可以结合起来。此外，尽管通信的示例使用箭头示出，它的意图以及应当理解的是，图1系统中的每一个服务器和客户机可以通过网络从而与彼此通信。

图2是用于执行数据回退的示例性方法。在步骤210，收集第一批量数据。批量数据可以被数据收集服务器130在一个时段中从租户设备110-120经由集成服务器125收集。批量日志可在批量数据收集期间和之后更新，并且所收集的数据被标记上批量ID信息。收集第一批量数据的方法更详细的讨论参照图3如下。

批量数据被收集后，该批量可被存储或“分级”在中间数据库135。一旦分级后，所述批量可在ETL服务器140进行转换。ETL服务器140对每批量执行转换功能。转换后的批量数据接着提供至仓库数据库145。分析服务器150可存取位于仓库数据库145的转换数据，以生成图表、图形、报表以及其他分析转换后数据的工具。

在步骤220，收集第二批量数据。第二批量数据可包括如第一批量的相同数据物件(销售信息、时机信息等)，但将覆盖不同的时段。在一些实施方案中，第二批量将自动地在数据包括先前成功批量的刚结束时间后的开始时间。关于执行收集第二批量数据的描述在图3。第二批量数据在没有被第一批量或其他批量所覆盖或删除下能被中间数据库135分级。类似地，当第二批量被转换并存储在仓库数据库145，在第二批量数据存储时没有其它数据被覆盖或删除。

在步骤230，第二批量如当前批量被标记。所述批量将如批量日志147中的当前批量被标记。第二批量是最新批量，并将有可能被用于执行分析。图4A提供了具有第二批量被标记为当前批量的示例批量日志。

在步骤240，检测回退事件。回退事件可包括接收来自用户回退将被执行的输入。例如，管理者定义当前批量不应使用，并请求回退到先前的批量。回退事件也可包括非用户启动的自动事件。例如，如果数据加载到仓库数据库145失败，回退事件可因此失败而自动触发。

在步骤250，一旦检测到回退事件，第一批量(即，先前成功的批量)被指定为当前批量。在一些实施方案中，当前的批量信息从批量日志147中删除，前一批量标记为当前的批量。批量日志反映回退的例子示于图4B。

图3是用于收集批量数据的示例性方法。在步骤310，DCS 130接收来自集成服务器125的开始批量信息。开始批量信息可以周期性地接收，或由集成服务器125发起以响应用户请求。

在步骤320，DCS130发送批量指令到集成服务器125以响应所述请求。批量指令可以指示数据开始时间和日期、数据结束时间和日期、要收集的数据以及批量ID。例如，批量指令可以指示收集于2013年1月1日上午8:00至2013年1月1日上午10:00时段所创建或改变的员工记录、销售记录及收入纪录，并称所述数据批量为批号001。所述批量日志由DCS 130更新以标示批量ID以及DCS处理的所述批量为“未开始”。

在步骤330，DCS 130接收批量数据。在一些实施方案中，DCS 130可接收所有的批量数据请求、部份的数据或没有数据。当数据从集成服务器125由DCS 130所接收，DCS处理状态可标示”处理中”。在步骤340中，一旦批量数据被提供至DCS服务器130，集成服务器125提供批量结束信息至DCS 130。对于批量数据的请求可以指定收集由租户维护的所有新数据和更改的数据。如果没有租户数据在指定的时段更改或更新，没有数据将被提供，以及没有新的批量创建。

在步骤350，DCS服务器130可对中间数据库中收集的批量数据分级。由DCS 130做出批量数据分级是否失败或成功的决定。在步骤380，如果DSC 130接收所有批量数据都分级或加载进入中间数据库135，批量日志147中的分级批量数据标记为“成功”。如果批量列为失败，则批量从批量日志移除，并且下一批将试图收集在相同的时段收集相同的数据。在一些实施方案中，所述批量日志可以通过生成的脚本被更新，并通过DCS 130、ETL 135或图1系统的其它部分被执行。

图4A是具有数据变更的示例性批量日志。图4A的批量表格包括七个栏位，标题为“前/后”、“键”、“数量”、“开始”、“结束”、“批次ID”和“当前”。所述键可通过当前记录栏位添加到存储在中间数据库135和仓库数据库145的所有数据。在图4A的例子中，在批量数据的时机已经从$500变更为$1000。在原始批量集合中，所述键具有1的值，时机的量是500，批量数据开始于1990年1月1日和结束于2099年12月31日，所述数据具有为1的批量ID并被标记为当前的数据。

检测出发生在2012年8月1日的变化后，原来批量的列1已替换(因此，删除线在第1列的数据)，并替换为两批量，該两批量如日志数据的第二列和第三列所表示。数据的第二列表示企业键是1，所述量为500时，日期开始于1900年1月1日和日期结束于2012年7月31日，批量ID为1，所述批量非当前记录。第三栏表示企业键是1，量为1000时，日期开始于2012年8月1日和日期结束于2099年12月31日，批量ID为2，所述批量是当前记录。

图4B是具有回退的示例性批量日志。图4B具有与图4A中那些批量日志相同的标题。图4B示出在回退的情况中导致当前记录从批量ID2被改变为批量ID1的批量日志。图4B中的批量日志的首两列与图4A的批量日志的最后两列配对。该两列皆被图4A的第一列替换(因此带删除线)在此成为当前记录。

图5是实施本技术的装置的框图。图5示出示例性的计算系统500，其可以被用于实现使用本发明的技术的计算设备。图5的系统500可以在包括租户服务器110和115、用户端设备120、集成服务器125、DCS 130、中间数据库135、ETL服务器140、仓库数据库145、分析服务器150以及客户端设备155等的情境中实现。图5的系统500包括一个或多个处理器510以及主存储器520。主存储器520可存储部份指令和数据供处理器510执行。主存储器可在执行时存储可执行代码。图5的系统500更包括存储器530，其可包括大容量存储器和便携式存储器，天线540、输出设备550、用户输入设备560、显示系统570和外围设备580。

在图5中所示的组件被描绘为经由单个总线590连接。然而，这些组件可以通过一个或多个数据传输装置相连接。例如，处理器单元510和主存储器520可以经由本地微处理器总线连接，存储器530、外围设备580以及显示系统570可以经由一个或多个输入/输出(I/O)总线连接。

存储设备530可以包括由磁盘驱动器或光盘驱动器实现的大容量存储，也可以是供处理器单元510用于存储数据和指令的非易失性存储设备。存储设备530可以存储系统软件作为实现本发明实施例以达到加载软件进入主存储器520的目的。

存储器530的便携式存储装置与便携式非易失性存储媒体共同操作，诸如软盘、压缩盘或数字视频盘，从图5的计算机系统500输入数据和代码，以及输出数据和代码至所述计算机系统500。系统软件用于实现本发明的实施例可以被存储在诸如便携式媒体，并经由便携式存储装置输入到计算机系统500。

天线540可以包括一个或多个天线，用于与另一设备无线通信。例如天线516可以用于通过Wi-Fi、蓝牙与蜂窝网络或其他无线协议和系统无线通信。所述一个或多个天线可以由包括控制器的处理器510控制发送和接收无线信号。例如，处理器510执行存储在存储器512的程序，以控制天线540发送无线信号到蜂窝网络和接收来自蜂窝网络的无线信号。

如示于图5中的系统500，包括输出装置550和输入装置560。合适的输出设备的示例包括扬声器、打印机、网络接口和显示器。输入设备560可以包括触摸屏、麦克风、加速计、摄像头以及其他设备。输入装置560可包括字母数字键盘，如键盘，用于输入字母数字和其它信息，或一个指示设备，例如鼠标、轨迹球、指示笔或光标方向键。

显示系统570可以包括液晶显示器(LCD)、LED显示器或其它合适的显示装置。显示系统570接收文本和图形信息，并且处理该信息用于输出到显示装置。

外围设备580可以包括任何类型的计算机支持装置，以添加更多功能至计算机系统。例如，外围设备580可以包括调制解调器或路由器。

图5的计算机系统500所包含的部件是那些通常存在于计算系统，例如但不限于台式计算机、膝上型计算机、笔记本计算机、便携式计算机、平板计算机、智能电话、个人数字助理(PDA)，或可适合用于本发明实施例的其他计算机，并且旨在表示本领域中公知的计算机部件的广泛种类。因此，图5的计算机系统500可以是个人计算机、手持计算设备、电话、移动计算装置、工作站、服务器、小型计算机、大型计算机或任何其他计算设备。所述计算机还可以包括不同的总线配置、网络平台、多处理器平台等。可以使用各种操作系统,包括Unix、Linux、Windows、Macintosh OS、Palm OS和其它合适的操作系统。

本文所述技术的前述详细描述已经以图示和说明的目的呈现。它并非意在详尽无遗或将技术限制于所公开的确切形式。许多修改和变化可根据上述教导。所描述的实施例被选择以最好地解释本技术的原理和其实际应用，从而使本领域技术人员能够最好地以适合于预期的特定用途在各种实施例和各种修改利用所述技术。其意图在于所述技术的范围由所附的权利要求限定。

Claims (13)

1.一种用于检索一致的数据集的方法，包括：

藉由服务器从一个或多个租户应用程序收集第一批量数据，并与第一时段相关联，其中所述第一批量数据包括一个或多个数据集；

在批量日志中更新所述第一批量数据，其中该更新发生在所述第一批量数据的收集期间和之后；

将所述第一批量数据存储在存储器中；

在所述批量日志中标记所述第一批量数据作为当前批量数据；

藉由所述服务器从一个或多个租户应用程序收集第二批量数据，并与所述第一时段之后的第二时段相关联，其中所述第二批量数据包括一个或多个数据集，并且其中所述第二批量数据的一个或多个所述数据集区别于所述第一批量数据的所述数据集；

在所述批量日志中更新所述第二批量数据，其中该更新发生在所述第二批量数据的收集期间和之后；

将所述第二批量数据存储在存储器中；

在所述批量日志中标记所述第二批量数据作为当前批量数据；

检测回退事件，该回退事件指示当前批量数据的数据集或当前批量数据不应被使用；

在所述回退事件后，标记所述第一批量数据作为所述当前批量数据；

使用所述批量日志从存储器中检索所述第一批量数据；以及

使用从存储器中检索到的第一批量数据覆盖不应被使用的与所述第二批量数据相对应的当前批量数据。

2.如权利要求1所述的方法，其中，所述第一批量数据以及所述第二批量数据包括相同的数据对象。

3.如权利要求1所述的方法，其中所述批量日志包括用于与批量数据相关联的每一数据集的独特标识符。

4.如权利要求1所述的方法进一步包括建立用于每一批量数据的新批量录入，其中每一新批量录入包含当前批量数据与先前的批量数据之间变更后的数据。

5.如权利要求1所述的方法，进一步包括，当后续批量无法加载到收集服务器时，记录后续批量失败。

6.如权利要求1所述的方法，其中，当数据无法载入数据库，所述回退事件自动产生。

7.一种计算机可读的非临时性存储媒体，其具有实施在其上的程序，所述程序是可由处理器执行的以进行用于检索一致的数据集的方法，所述方法包括：

藉由服务器从一个或多个租户应用程序收集第一批量数据，并与第一时段相关联，其中所述第一批量数据包括一个或多个数据集；

在批量日志中更新所述第一批量数据，其中该更新发生在所述第一批量数据的收集期间和之后；

将所述第一批量数据存储在存储器中；

在所述批量日志中标记所述第一批量数据作为当前批量数据；

藉由所述服务器从一个或多个租户应用程序收集第二批量数据，并与所述第一时段之后的第二时段相关联，其中所述第二批量数据包括一个或多个数据集，并且其中所述第二批量数据的一个或多个所述数据集区别于所述第一批量数据的所述数据集；

在所述批量日志中更新所述第二批量数据，其中该更新发生在所述第二批量数据的收集期间和之后；

将所述第二批量数据存储在存储器中；

在所述批量日志中标记所述第二批量数据作为所述当前批量数据；

检测回退事件，该回退事件指示当前批量数据的数据集或当前批量数据不应被使用；

在所述回退事件后，标记所述第一批量数据作为所述当前批量数据；

使用所述批量日志从存储器中检索所述第一批量数据；以及

使用从存储器中检索到的第一批量数据覆盖不应被使用的与所述第二批量数据相对应的当前批量数据。

8.如权利要求7所述的计算机可读的非临时性存储媒体，其中，所述第一批量数据以及所述第二批量数据包括相同的数据对象。

9.如权利要求7所述的计算机可读的非临时性存储媒体，其中所述批量日志包括用于与批量数据相关联的每一数据集的独特标识符。

10.如权利要求7所述的计算机可读的非临时性存储媒体，进一步包括建立用于每一批量数据的新批量录入，其中每一新批量录入包含当前批量数据与先前的批量数据之间变更后的数据。

11.如权利要求7所述的计算机可读的非临时性存储媒体，进一步包括当后续批量无法加载到收集服务器时，记录后续批量失败。

12.如权利要求7所述的计算机可读的非临时性存储媒体，其中，当数据无法载入数据库，所述回退事件自动产生。

13.一种用于检索一致的数据集的系统，包括：

存储器；

处理器；以及

一个或多个存储在存储器以及可由所述处理器执行的模块，该模块可被执行以：

藉由服务器从一个或多个租户应用程序收集第一批量数据，并与第一时段相关联，其中所述第一批量数据包括一个或多个数据集，

在批量日志中更新所述第一批量数据，其中该更新发生在所述第一批量数据的收集期间和之后，

将所述第一批量数据存储在存储器中，

在所述批量日志中标记所述第一批量数据作为当前批量数据，

藉由所述服务器从一个或多个租户应用程序收集第二批量数据，并与所述第一时段之后的第二时段相关联，其中所述第二批量数据包括一个或多个数据集，并且其中所述第二批量数据的一个或多个所述数据集区别于所述第一批量数据的所述数据集，

在所述批量日志中更新所述第二批量数据，其中该更新发生在所述第二批量数据的收集期间和之后，

将所述第二批量数据存储在存储器中，

在所述批量日志中标记所述第二批量数据作为当前批量数据，

检测回退事件，该回退事件指示当前批量数据的数据集或当前批量数据不应被使用，

在所述回退事件后，标记所述第一批量数据作为所述当前批量数据，

使用所述批量日志从存储器中检索所述第一批量数据，以及

使用从存储器中检索到的第一批量数据覆盖不应被使用的与所述第二批量数据相对应的当前批量数据。