CN104981768B - 基于云的串流数据接收机和保存程序 - Google Patents

Abstract

本系统接收串流原始数据并将上下文插入到原始数据中。上下文原始数据可以被分成小批并被传输到数据接收机和保存程序。原始数据可以包括上下文信息以及父子信息，以协助保存数据。上下文可以被用于在不分析数据的情况下将数据放置在存储区中，由此在存储数据批的同时节省时间和资源。

Description

基于云的串流数据接收机和保存程序

背景技术

企业必须处理大量的数据从而作出决策和取得成功。数据通常以诸如报告的形式提供。为了建立有意义的报告，企业依赖于多租户SAAS分析公司。建立和提供有意义的分析通常需要大量的资源，以及具有很高的成本。

建立报告通常需要获得数据、将数据转换成有意义的格式，并对有意义的数据进行分析来生成报告。数据存储、转换和处理需要数据模式以存储数据、转换数据和处理数据。这些任务通常通过管理员手动执行。目前，没有任何基于云的解决方案连接数据源并连续地为数据接收机供给原始数据以外的数据。

发明内容

本系统接收串流原始数据并将上下文插入原始数据中。上下文原始数据可以被分成小批并被传输到数据接收机和保存程序。原始数据可以包括上下文信息以及父子信息以帮助保存数据。上下文可以用来在不分析数据的情况下将数据放置在存储区中，由此在存储数据批的同时节省时间和资源。

在一个实施例中，用于串流数据的方法可以是通过从多个应用程序接收原始串流数据。上下文数据可以与一批原始数据关联。该一批原始数据和对应的上下文数据其后可以被传输到远程服务器。

在一个实施例中，用于通信导航数据的方法可以包括存储器、处理器、和一个或多个存储在存储器中且可以被处理器执行的模块。模块可以被执行以从多个应用程序接收原始串流数据、将上下文数据关联到一批原始数据、且将一批原始数据和对应的上下文数据传输到远程服务器。

附图说明

图1是示例性数据串流系统的框图。

图2是接收和保存数据的示例性方法。

图3是用于将上下文与原始数据关联的示例性方法。

图4是用于保存数据的示例性方法。

图5是用于自动更新数据映射结构的示例性方法。

图6是用于映射数据的示例性方法。

图7是用于执行本技术的装置的框图。

具体实施方式

本系统接收串流原始数据并将上下文插入到原始数据中。上下文数据可以被分成小批并被传输到数据接收机和保存程序。原始数据可以包括上下文信息以及父子信息，以帮助保存数据。上下文可以用于在不分析数据的情况下将数据放置在存储区中，由此节省存储数据批的时间和资源。

批可以是租户特定的、应用程序特定的，并分组为上下文感知的子组，以用于并行处理。上下文存储在记录中，并用批来处理，从而处理数据的应用程序不需要任何有关批数据的智能。上下文允许对多个应用程序和多个租户进行快速的、无状态的处理以及进行完全的数据隔绝。

上下文还提供对记录组的并行保存。本系统不需要处理数据来确定如何存储数据(例如，如何在存储区中存数据)。而是，上下文以记录格式存储，例如用表格来存储，并且包括具有上下文数据和批数据的父子数据的模式元数据。没有记录到模式的动态映射。目标模式可以基于租户信息和应用程序信息而被决定，并且可以高速动态地被决定。因此，如果记录A和记录B同时从租户A和租户B达到，则系统会基于租户和应用程序信息动态地决定记录的数据源。记录A可以保存在Hadoop/HBase数据存储单元中，而记录B可以存储在MySQL中。因此，本系统不仅是无模式的(schema-agnostic)，而且通过动态数据资源解决方案支持多边(polygot)保存。

一个或多个实施例可以使用全部或部分如下步骤。可以从数据提供程序/连接器(诸如，基于云的数据集成器)接收数据流初始消息。在接收到初始消息时，系统可以建立上下文(Tenantlnfo、Applnfo、Timinglnfo、Batchlnfo等)并将上下文信息发送回数据提供程序，然后将上下文插入原始数据中，从而让数据变得智能。上下文感知的原始数据可以被分成小批及并行传输到数据接收机和保存程序。原始数据可以包括附加的上下文信息以及父子信息以协助保存数据。在一些实施例中，本系统可以基于串流数据自动发现并创建模式。可以使用上下文来将数据放置在存储区中而不分析数据，由此在存储数据批的同时节省时间和资源。凭借上下文信息，数据可以自动地被诸如租户信息、应用程序信息、批信息和定时信息的参数共享，由此节省保存开销。在一些实施例中，本系统可以完全无状态的，并且可以不知道什么资源在发送什么数据以及什么时候和如何关联数据组，以及数据存储在哪里。

在实施例中，数据可以包括用于指示租户、应用程序、位置和与数据的关系的信息。在该上下文中，数据可以是租户感知的、应用程序感知的、位置感知的、和关系感知的。在一些实施例中，在数据流的一些阶段或在失败事件中(1>流起始，2>发送数据，3>流终止)集成服务器可以发送流终止信号(成功/失败)，从而本系统可以对特定批、应用程序和租户更新上下文状态。事实上,上下文信息的历史可以被存储到分开的元数据存储单元中,可以在任何失败的集成过程在重新启动后将会再次使用最后的成功批的上下文信息和将会从正确的时间窗获取数据。上下文信息还包括滑动时间窗,从而时间窗内任何过去的批将来可以被重演，以用于从源或目标保存存储单元进行数据恢复。独立探测上下文元数据可以在不影响主串流数据收集和保存流的情况下实现主动的错误发现、数据使用发现、弹性存储增加、自动升高处理带宽。基于上下文信息的自动存储提供和模式发现可以将进来的数据串流自动路由或重新路由到数据存储单元中。

可扩展的、非侵入的基于协议的技术可以被实现为打理多种类型的业务场景。这些场景包括将不同的业务应用程序、即时的业务分析和可视化、混搭来自不同资源的数据、实时业务提醒、业务决策制定和预测分析、基于云的业务数据备份和恢复集成起来，并通过利用本技术的特征来为不同的业务数据管理数据仓库。利用的特征可以包括(插入数据中的)上下文智能、完整的数据隔离、数据分享、数据扩展、上下文回滚、上下文备份、排序、自动重启、数据重演(时间机器)、主动的错误恢复、上下文查看(应用程序特定/租户特定/批特征/时间范围特定的)、上下文分析(租户/应用程序/对象的数据消耗模式)、和自动模式生成。

图1是示例性数据串流系统的框图。图1的系统包括租户服务器110和115、租户客户端(client)120、集成服务器125、数据收集服务器(DCS)130、分级数据库135、提取-变换-加载(ETL)服务器140、数据仓库数据库145、分析服务器150和客户端装置155。每个装置110-155可以通过网络(未示出)彼此通信。网络可以实施为个人网络、公共网络、WiFi网络、WAN、LAN、内联网、因特网、蜂窝网络或这些网络的组合。

服务器110和115及客户端装置120的每一者可以在多租户中与租户(客户组织)关联。多租户中的每个租户可以包括一个或多个服务器和客户端装置。每个服务器和客户端可以包括要由数据收集服务器130经由集成服务器125收集的数据。客户端装置120可以实施为台式、膝上、笔记本、平板电脑、智能手机或一些其他的计算装置。

在一些实施例中，可以从单个接入点(诸如多租户SaaS云网站)从“云”(例如，从通过网络提供的资源)无缝提供本技术，以及可以从任何类型的客户端装置体验整个流。该独特的方法为用于实现数据集成、数据收集和保存、数据分析和可视化的不同类型的软件和硬件节省了多种类型的基建成本。

在实施例中，集成服务器125可以与不同的SAAS供应商通信，不管该SAAS供应商是从云还是从特定的机器提供，以及集成服务器125可以与数据收集服务器130通信。集成服务器可以包括一个或多个用于实施本技术的各方面的模块。插入模块126可以将与数据批相关的上下文数据和父子数据插入表格中。上下文数据可以包括诸如应用程序ID、批ID、租户ID的信息，并且可以包括用于获取数据的时间滑动窗(诸如时间范围)。包括上下文的批数据可以变成应用程序感知、租户感知、和上下文感知的。插入模块也可以插入父子信息，诸如当前的批、批子组或记录是否是另一个批、子组或记录的下一代或上一代。当数据包括父子数据，其变得做好保存的准备。集成服务器125可以在批子组中发送与数据收集服务器130并行的无缝数据。

数据收集服务器130可以通过集成服务器125从装置110-120上的一个或多个租户应用程序中收集数据，并将数据存储在分级数据库135中。数据收集服务器可以响应于接收起始批请求，发送批指令到集成服务器125。指令可以包括被插入到数据表格中用于一个或多个批的上下文信息。一旦接收到批子组数据，则可以将数据保存在数据收集服务器130上的保存模块中。数据收集服务器可以用作串流数据接收机和保存程序(SDRP)。

数据收集服务器可以将分级数据的任何部分提供到ETL服务器140，例如在从ETL服务器140接收到数据请求时。当收集到数据时，数据被存储和保存。数据批不会被新收集的数据来重写。

虽然这里讨论了模块126-127和131，但是也可以使用其他的模块来实现这里所述的功能。模块126-127和131仅用作可以实施的许多可执行模块中的示例。

ETL服务器140从数据收集服务器130接收分级数据，并且可以将数据转换成对用户更有用的格式。例如，数据转换可以包括仅选择特定的列来载入星号格式、转换编码值、得出新的计算值、对数据进行排序、汇总数据、调换或旋转数据、将列分割成列多列和进行其他处理。一旦由ETL服务器140对数据进行了转换，则数据可以被提供到数据仓库145进行后续的分析。

应该理解，本方法不限于传统的分级-ETL-数据仓库方法。这只是实施本技术的一个示例。类似于从多个资源以并行且无状态模式接收上下文数据的能力的特征允许系统在不同的系统中(快速动态地创建模式)存储非结构化和结构化的数据，从而分析模块以快速开发同位置的列/关键值记录或大量索引/压缩的文件，并允许用户混搭来自各个资源的记录、创建KPI、执行分析功能和执行特别查询。

数据仓库数据库145可以从ETL服务器140接收转换的数据并将数据提供到分析数据库150用于处理。当数据被加载到数据仓库数据库145中时，则以星型模式存储和保存数据。转换的数据不会在数据仓库数据库145中被重写。如果需要，这允许回滚到先前的数据批。批日志147可以存储在数据仓库数据库145中。批日志可以被更新并保存以跟踪关于每个数据批的信息，并且可以被用于回滚数据。该批日志可以被存储为表格格式，并且可以包括每个批的属性，诸如批ID、租户ID、数据开始日期和时间、数据结束日期和时间、DCS处理状态、分级数据库ID、ETL处理状态、和ETL服务器ID。DCS处理状态和ETL处理状态可以包括未开始、处理中、成功和失败。批日志可以由ETL服务器140、数据收集服务器130和图1系统的其他服务器更新。虽然示出为存储在数据仓库数据库145中，但是批日志147可以被存储在图1系统的其他服务器或数据库内。

分析服务器150可以获得以星型模式存储在数据仓库145中的转换的数据，并对数据进行分析。分析结果可以以图表、表格、报告或其他格式的形式提供给客户端装置155上的用户。

虽然示出为一个服务器或一个装置，但是可以使用一个或多个实际的或逻辑的机器、服务器和客户端装置来实施图1系统的每个服务器和客户端。图1系统的一个或多个框图也可以组合。而且，通过使用箭头示出了通信的示例，该示例旨在并应该被理解成，图1系统中的每个服务器和客户端可以通过网络从而彼此进行通信。

图2是用于接收和保存数据的示例性方法。在步骤210，集成服务器125发送开始信号到数据收集服务器130。开始信号指示数据将被收集和发送到数据收集服务器。在步骤220，数据收集服务器130发送上下文数据到集成服务器125。上下文可以是语义上下文信息，包括应用程序ID(从其接收到串流数据的应用程序)、批ID(与串流数据相关的批)、租户ID(提供串流数据的租户)、和与收集的串流数据相关的时间范围。

在步骤230，集成服务器接收原始数据。可以从多租户系统中的一个或多个租户接收原始数据。然后在步骤240，集成服务器125将上下文关联到原始数据。将上下文关联到原始数据可以包括用上下文数据创建和更新表格。下面将更详细地讨论关于图3上下文关联到原始数据。在步骤250，数据批由集成服务器125分成子组。串流数据是无缝的，并且不需要任何特定的顺序。所以，批的划分可以为任何顺序和大小。

在步骤260中，集成服务器125将批子组和上下文数据在并列的串流中发送到数据收集服务器130。在步骤270中，数据被数据收集服务器130接收和保存。批数据可以被保存在不同的级别上。下面将更详细地讨论关于图4保存批数据的方法。集成服务器125发送停止批信号到数据收集服务器130。该信号表示当前批的数据收集结束。

图3是用于将上下文与原始数据关联起来的示例性方法。在步骤310，创建批表格。批表格可以每批创建或者可以为一组批批表格创建。在步骤320，与批相关的上下文数据可以被插入到表格中。通过将上下文数据插入批表格中，例如使用元数据模式，应用程序代码不会被管理一批记录的生命周期所需的额外的逻辑弄坏或改变。在步骤330，与数据批相关的父子数据被插入到表格中。父子数据允许在数据收集服务器130上进行数据保存。

图4是用于保存数据的示例性方法。在步骤410，数据收集服务器130对进入的批保存上下文信息。可以对批ID、租户ID、应用程序ID、批的状态、数据源、和其他信息执行保存。然后在步骤420，保存批的子组的上下文信息。保存批子组可以涉及组ID、批ID、租户ID、应用程序ID、目标实体和模式。在步骤430，批子组的各个记录的上下文信息被保存。记录水平保存可以包括自动模式决定和动态数据源发现。在步骤440，数据收集服务器130可以对上下文信息保存批处理终止。批处理终止数据保存性使得批记录的生命周期完成。上下文的弹性性质意味着可以增加任何数量的元数据，例如应用程序类别标识、应用程序标识、地理位置标识等等。

图5是用于自动更新数据映射结构的示例性方法。图5的方法可以为图3方法的步骤320提供更多细节。在步骤510,用于获得应用程序数据的代码被更新。代码可以基于对数据映射程序的改变被更新，以反映要收集的新的数据域或其他信息。可以通过由映射管理器应用程序(未示出)生成更新的代码，并将更新的代码提供到数据收集服务器130。在步骤520可以更新分级模式。分级模式可以通过映射管理器应用程序被更新，并将分级模式提供到分级数据存储单元135。

在步骤530，可以更新星型模式。星型模式可以被更新以反映从用户接收到的改变。一旦生成星型模式，则可以通过映射数据管理器将星型模式提供到数据仓库145。在步骤540，可以生成脚本代码来将分级模式中的数据转换成星型模式。部分转换的脚本至少可以从列映射数据生成并且可以将脚本提供到ETL服务器140以用户转换数据。在步骤550，用户接口被可以更新。用户接口可以被更新以允许用户修改最新的模式信息和脚本代码，从最近的模式生成报告，以及其他功能。可以通过网络浏览器或其他应用程序提供用户接口。

图6是用于映射数据的示例性方法。图6的方法可以提供图3方法的步骤330的更多细节。在步骤610，对一个或多个租户从一个或多个应用程序收集数据。可以根据数据收集脚本或由映射管理器应用程序提供的代码通过数据收集服务器130执行数据收集。在步骤620，收集的数据然后可以以分级模式存储。分级模式可以被映射管理器应用程序提供。然后在步骤630，将收集的数据从分级模式转换成星型模式。数据转化可以由ETL服务器140通过脚本或由映射管理器应用程序生成的其他代码来执行。然后在步骤640，星型模式数据存储在数据仓库145中。

在步骤650，可以接收对分析报告的用户请求。请求可由分析服务器150从客户端155处的用户接收。在步骤660，可以在星型模式数据上执行分析。分析可以是租户和应用程序特定的。例如，分析可以确定针对特定的办公场所本年每个月的销售额。在步骤670，然后根据分析结果提供报告。结果可以包括图表、表格、或处理数据的其他显示方式。

图7是用于实施本技术的装置的框图。图7示出了可以用来实现使用本技术的计算装置的示例性计算系统700。在服务器100-115、客户端装置115和155、服务器125、130、140和150、以及数据库135和145之类的上下文中可以实现图7的系统700。图7的计算系统700包括一个或多个处理器710和存储器720。主存储器720可以在某种程度上存储指令和数据以用于由处理器710执行。当操作进行中,主存储器可以存储可执行代码。图7的系统700还包括存储单元730，该存储单元可以包括大容量存储单元和便携式存储单元、天线740、输出装置750、用户输入装置760、显示系统770和外围装置780。

图7中示出的组件被描述为经由单个总线790连接。然而，组件可以通过一个或多个数据传输装置连接。例如，处理器单元710和主存储器720可以经由本地微处理器总线连接，以及存储单元730、外围装置780和显示系统770可以经由一个或多个输入/输出(I/O)总线连接。

存储装置730可以包括用磁盘驱动器或光盘驱动器实现的大容量存储单元，该存储装置730可以为非易失性存储装置，用于存储处理器单元710使用的数据和指令。为了将软件加载到主存储器720中，存储装置730可以存储用于实现本发明的实施例的系统软件。

存储单元730的便携式存储装置连同便携式非易挥发存储介质(诸如，软盘、压缩盘或数字视频盘)一起操作，以将数据和代码从图7的计算机系统700输入和向图7的计算机系统700输出。用于实现本发明实施例的系统软件可以存储在这样的便携式介质中，并经由便携式存储装置被输入到计算机系统700中。

天线740可以包括用于与其他装置无线通信的一个或多个天线。天线740例如可以用来经由WiFi、蓝牙、用蜂窝网络、或用其他无线协议和系统进行无线通信。一个或多个天线可以被可包括控制器的处理器710控制，以传输和接收无线信号。例如，处理器710执行存储在存储器720中的程序，使控制天线740传输无线信号到蜂窝网络和从蜂窝网络接收无线信号。

图7所示的系统700包括输出装置750和输入装置760。合适的输出装置的示例包括扬声器、打印机、网络接口、和显示器。输入装置760可以包括触摸屏、麦克风、加速度计、相机和其他设备。输入装置760可以包括字母数字键盘，如键盘，以用于输入字母数字和其它信息，或包括指示设备，如鼠标、轨迹球、指示笔、或光标方向键。

显示系统770可以包括液晶显示器(LCD)、LED显示器、或其他合适的显示装置。显示系统770接收文本或图形信息，并处理信息以输出到显示装置。

外围装置780可以包括任何类型的计算机支持设备，以向计算机系统添加额外的功能。例如，外围装置780可以包括调制解调器或路由器。

图7的计算机系统700中包括的组件通常在计算系统中可以找到，诸如但不限于台式计算机、膝上计算机、笔记本电脑、网络本电脑、平板电脑、智能电话、个人数据助理(PDA)、或其他可以适于使用本发明的实施例的计算机，并旨在表示本领域公知的较宽类别的这种计算机组件。因此，图7的计算机系统700可以为个人计算机、手持计算装置、电话、移动计算装置、工作站、服务器、小型计算机、大型计算机或任何其他计算装置。计算机还可以包括不同的总线配置、网络平台、多处理器平台等等。可以使用各种操作系统，包括Unix、Linux、Windows、Macintosh 05、Palm 05和其他合适的操作系统。

为了示出和描述的目的，在这里呈现了对技术的上述详细描述。这不旨在排他或将技术限制在所公开的具体形式。根据上面的教导，许多修改和变化是可能的。选择所述的实施例是为了最好地解释技术的原理和其实际的应用，从而使得本领域的技术人员能够在各种实施例中和通过做出各种可预期的适于特定用途的修改来最好地利用技术。意图是由所附权利要求来限定技术的范围。

Claims (21)

1.一种用于串流及存储数据的方法，包括：

自动地生成用于传输了初始消息的多个应用程序中的每一应用程序的上下文，其中用于特定应用程序的每一上下文不同于与其它应用程序相关联的其它上下文；

从所述多个应用程序接收原始串流数据；

将对应的上下文数据与从特定应用程序发送的一批原始数据关联起来，其中，所述关联包括：

创建批表格，以及

使用与从所述特定应用程序发送的所述一批原始数据相关联的上下文数据更新所述批表格；以及

将所述一批原始数据和对应的关联的上下文数据传输到远程服务器，其中所述远程服务器在不对所述原始数据进行一步处理的情况下，基于所述关联的上下文数据将所述一批原始数据存储在存储器中。

2.根据权利要求1所述的方法，还包括：

将起始批信号发送到所述远程服务器；以及

从所述远程服务器接收所述关联的上下文数据。

3.根据权利要求1所述的方法，其中所述批表格包括所述关联的上下文数据和对应的批标识。

4.根据权利要求1所述的方法，还包括将父子信息关联到所述一批原始数据。

5.根据权利要求4所述的方法，其中传输的一批原始数据被配置成至少部分基于所述父子信息被所述远程服务器保存。

6.根据权利要求1所述的方法，还包括将所述一批数据分成小批。

7.根据权利要求6所述的方法，其中所述小批被并行发送到所述远程服务器。

8.一种计算机可读非临时性存储介质，其上具有程序，该程序可被处理器执行以执行用于串流及存储数据的方法，该方法包括：

自动地生成用于传输了初始消息的多个应用程序中的每一应用程序的上下文，其中用于特定应用程序的每一上下文不同于与其它应用程序相关联的其它上下文；

从所述多个应用程序接收原始串流数据；

将对应的上下文数据与从特定应用程序发送的一批原始数据关联起来，其中，所述关联包括：

创建批表格，以及

使用与从所述特定应用程序发送的所述一批原始数据相关联的上下文数据更新所述批表格；以及

将所述一批原始数据和对应的关联的上下文数据传输到远程服务器，其中所述远程服务器在不对所述原始数据进行一步处理的情况下，基于所述关联的上下文数据将所述一批原始数据存储在存储器中。

9.根据权利要求8所述的计算机可读非临时性存储介质，所述方法还包括：

将起始批信号发送到所述远程服务器；以及

从所述远程服务器接收所述关联的上下文数据。

10.根据权利要求8所述的计算机可读非临时性存储介质，其中所述批表格包括所述关联的上下文数据和对应的批标识。

11.根据权利要求8所述的计算机可读非临时性存储介质，所述方法还包括将父子信息关联到所述一批原始数据。

12.根据权利要求11所述的计算机可读非临时性存储介质，传输的一批原始数据被配置成至少部分基于所述父子信息被所述远程服务器保存。

13.根据权利要求8所述的计算机可读非临时性存储介质，所述方法还包括将所述一批数据分成小批。

14.根据权利要求13所述的计算机可读非临时性存储介质，其中所述小批被并行发送到所述远程服务器。

15.一种用于串流及存储数据的系统，包括：

存储器；

处理器；以及

一个或多个模块，存储在存储器中并可由所述处理器执行以实现以下操作：

自动地生成用于传输了初始消息的多个应用程序中的每一应用程序的上下文，其中用于特定应用程序的每一上下文不同于与其它应用程序相关联的其它上下文；

从所述多个应用程序接收原始串流数据；

将对应的上下文数据与从特定应用程序发送的一批原始数据关联起来，其中，所述关联包括：

创建批表格，以及

使用与从所述特定应用程序发送的所述一批原始数据相关联的上下文数据更新所述批表格；以及

将所述一批原始数据和对应的关联的上下文数据传输到远程服务器，其中所述远程服务器在不对所述原始数据进行一步处理的情况下，基于所述关联的上下文数据将所述一批原始数据存储在存储器中。

16.根据权利要求15所述的系统，还包括：

将起始批信号发送到所述远程服务器；以及

从所述远程服务器接收所述关联的上下文数据。

17.根据权利要求15所述的系统，其中所述批表格包括所述关联的上下文数据和对应的批标识。

18.根据权利要求15所述的系统，所述一个或多个模块还可执行将父子信息关联到所述一批原始数据。

19.根据权利要求18所述的系统，传输的一批原始数据被配置成至少部分基于所述父子信息被所述远程服务器保存。

20.根据权利要求15所述的系统，所述一个或多个模块还可以执行将所述一批数据分成小批。

21.根据权利要求20所述的系统，其中所述小批被并行发送到所述远程服务器。