CN107636655A - 实时提供数据即服务（DaaS）的系统和方法 - Google Patents

Abstract

本发明提供系统和方法实施例用于实施数据即服务(Data as a Service，DaaS)。所述系统使用用户设备上的客户端侧库以及服务器或代理服务器实施以从相关数据源提取相关数据，并在将结果返回给客户端之前对所述数据进行处理。所述客户端向所述代理服务器发送用户查询，然后所述代理服务器发送子查询并实时或近实时从多个数据源接收响应这样，可以为用户提供来自多个源的更多信息而不使用低质量数据削弱高质量数据。

Description

实时提供数据即服务(DaaS)的系统和方法

相关申请案交叉申请

本申请要求2015年8月28日递交的发明名称为“实时提供数据即服务(DaaS)的系统和方法(System and Method for Providing Data as a Service(DaaS)in Real-time)”的第14/839,226号美国非临时专利申请案的在先申请优先权，该在先申请的全部内容以引用的方式并入本文本中。

技术领域

本发明涉及网络和数据查询，在具体实施例中，涉及一种用于实时提供数据即服务(Data as a Service，DaaS)的系统和方法。

背景技术

在通信系统和网络中，可以通过交换数据来执行要以期望的方式处理的功能和服务和/或来请求信息。例如，移动设备(例如智能手机)或其它用户设备(user equipment，UE)的用户请求数据并进行处理，以便在他们的设备上运行应用或者通过某种向他们传递信息的形式显示数据。例如，所请求的数据可以根据用户需求通过web浏览应用、电子邮件、地图、天气应用或者任何其它合适的形式进行查看。全球各地的用户通过网络，诸如互联网等，访问信息库。用户可以通过任何合适和可用的网络服务和设备来访问数据。

用户可从多个源请求数据以获得某一内容或主题的信息。但是数据的质量和可靠性可能随着源而发生变化。通过一种提高可靠性并增加信息量或价值的方式吸收或过滤这类数据对用户来说是有益的并且提供了更好的服务质量。实时提供信息时带来了更多的好处。当用户使用可用的网络连接速率在UE上请求数据并预期存在几乎即时的或短时延的响应时，情况也是如此。因此，需要一种能够从可靠性易变的多个源获得所请求的数据并进行处理以实时向用户呈现信息的方案。

发明内容

根据一实施例，一种用于近实时或实时提供数据即服务(data as a service，DaaS)的方法包括：在代理服务器处，接收来自客户端应用的查询，以及所述代理服务器从多个数据源请求数据以服务于所述查询。所述数据源在数据质量方面或数据结构方面或者在数据质量和数据结构两方面是异构的。所述方法还包括：从所述多个数据源中的每个数据源近实时或实时获得所述数据，根据所述每个数据源的可靠性为来自所述每个数据源的所述数据分配置信水平，以及合并来自所述多个数据源的包含所述置信水平的所述数据。所述合并数据被发回所述客户端应用。

根据另一实施例，一种用于近实时或实时提供DaaS的方法包括：用户设备上的客户端应用向代理服务器发送查询，以及从所述代理服务器近实时或实时接收来自多个数据源的合并响应。所述合并响应包括来自所述数据源的响应，所述响应的置信水平根据所述对应数据源的可靠性与所述响应相关联。

根据另一实施例，一种用于近实时或实时提供DaaS的网络服务器包括处理器和存储由所述处理器执行的程序的非瞬时性计算机可读存储介质。所述程序包括执行以下操作的指令：从客户端应用接收查询，以及从多个数据源请求数据以服务于所述查询。所述数据源在数据质量方面或数据结构方面是异构的。所述程序还包括执行以下操作的指令：从所述多个数据源中的每个数据源近实时或实时获得所述数据，根据所述每个数据源的可靠性为来自所述每个数据源的所述数据分配置信水平，合并来自所述多个数据源的包含所述置信水平的所述数据，以及向所述客户端应用发送所述合并数据。

根据又一实施例，一种用于近实时或实时提供DaaS的用户设备包括处理器和存储由所述处理器执行的程序的非瞬时性计算机可读存储介质。所述程序包括执行以下操作的指令：向代理服务器发送查询，以及从所述代理服务器近实时或实时接收来自多个数据源的合并响应。所述合并响应包括来自所述数据源的响应，所述响应的置信水平根据所述对应数据源的可靠性与所述响应相关联。

根据另一实施例，使用一种网络服务器来近实时或实时提供DaaS。所述网络服务器包括：接收元件，其在代理服务器处，接收来自客户端应用的查询；请求元件，其通过所述代理服务器从多个数据源请求数据以服务于所述查询，其中所述数据源在数据质量方面或数据结构方面或者在数据质量和数据结构两方面是异构的；获取元件，其从所述多个数据源中的每个数据源近实时或实时获得所述数据；分配单元，其根据所述每个数据源的可靠性为来自所述每个数据源的所述数据分配置信水平；合并元件，其合并来自所述多个数据源的包含所述置信水平的所述数据；以及发送元件，其向所述客户端应用发回所述合并数据。

根据另一实施例，使用一种用户设备来近实时或实时提供数据即服务(data as aservice，DaaS)。所述用户设备包括：发送元件，其通过用户设备上的客户端应用向代理服务器发送查询；以及接收元件，其从所述代理服务器近实时或实时接收来自多个数据源的合并响应，其中所述合并响应包括来自所述数据源的响应，所述响应的置信水平根据所述对应数据源的可靠性与所述响应相关联。

前述内容已经相当宽泛地概述了本发明一个实施例的特征，从而能够更好地理解接下来对本发明的详细说明。下文将描述本发明实施例的另外特征和优点，这些构成本发明权利要求的主题。本领域技术人员应理解，所公开的构思和具体实施例可被很容易地用作修改或设计用于实现本发明的相同目的的其它结构或过程的基础。本领域技术人员也应该认识到，这类等同结构没有偏离所附权利要求中阐述的本发明的精神和范围。

附图说明

为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：

图1示出了用于实时提供数据即服务(Data as a Service，DaaS)的系统的一实施例；

图2示出了用于实时提供DaaS的系统的另一实施例；

图3示出了用于实时实施DaaS的一实施例方法；

图4为可以用于实施各种实施例的处理系统的图。

除非另有指示，否则不同图中的对应标号和符号通常指代对应部分。绘制各图是为了清楚地说明实施例的相关方面，因此未必是按比例绘制的。

具体实施方式

下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。

本发明提供系统和方法实施例用于实施数据即服务(Data as a Service，DaaS)。系统可以使用客户端侧信息库和代理服务器来实施，以从相关数据源提取相关数据，并在将结果返回给客户端之前对数据进行处理。客户端侧信息库可以使用应用编程接口(application programming interface，API)向服务器或代理服务器发送用户查询。代理服务器用于发送子查询并实时或近实时从多个数据源(例如数据库)接收针对子查询的响应。数据可以实时从数据源获得，无需将数据集成和存储在与数据源和请求设备分离的数据仓库(data warehouse，DW)中。近实时响应可以通过查询数据源来获得，而不是通过将数据从源复制到DW然后再查询DW。数据源在可靠性、内容格式、类型或其它特征方面可以是异构的。数据可靠性表示数据源可靠性中的数据准确性和/或置信度。

实施例还包括数据模型，其处理异构数据源中的易变数据可靠性/质量/准确性水平并确定提供给用户或客户端应用的数据中的置信水平。数据模型用于为各种数据分配不同的置信水平，从而为用户区分并呈现高质量数据与低质量数据。在一实施例中，数据模型通过3个属性<键，值，概率>(<key,value,probability>)来表示每个数据值，其中键字段用于确定数据，概率字段指示数据或源中的置信水平。置信水平取决于源的可靠性。高质量数据反映源中的置信度高，而低质量数据反映源中的置信度低。概率字段可以表示为百分比、置信水平的评分值(例如在0与1之间)，或者源中的置信度或数据质量/可靠性的任何其它指标。由于数据模型中也考虑不同质量的数据，所以该系统提供给用户的信息在不使用低质量数据削弱高质量数据的情况下增加。

图1所示为包括用于实时提供DaaS的各种组件的系统100的一实施例。DaaS平台120充当多个数据源130与应用服务器110之间的接口，用于数据处理。应用服务器110从客户端应用105接收数据查询并用数据进行响应。客户端应用105可以在与DaaS平台120通信的UE或任何其它用户设备上运行。本文使用的术语用户设备包括由用户操作的任何设备或者机对机(machine-to-machine，M2M)设备和传感器设备等其它设备。DaaS平台120向各种(异构)数据源发送查询，并从这些数据源接收数据作为响应。数据源的示例包括WikipediaTM、GoogleTM、FacebookTM、TwitterTM、The Weather ChannelTM、Linked inTM、You TubeTM等网络服务，或者其它在线数据服务。数据源的其它示例在图1中示出。应用层105、应用服务器110和DasS平台是能够至少部分地使用云服务平台140，例如在互联网可访问的UE和一个或多个服务器上，实施的软件组件。

DaaS服务器110包括API 122，用于处理对多个数据源的查询。API 122从(例如UE上的)客户端应用向多个数据源发送查询，并将从源收到的信息集成，以便用数据响应用户。单个API 122，在本文中称为统一信息访问(Unified Information Access，UIA)API，充当用于执行以下操作的单个客户端API：通过网络连接到代理服务器，从而传递用户查询；将查询转发给多个异构数据源并从这些数据源接收信息；以及将信息返回给客户端。为了处理客户端查询，UIA API 122可以与多个引擎(例如服务器)或(例如云中的)服务交互，这些引擎或服务从异构源请求各种数据格式并将对应的数据转发给API 122。UIA API 122可以用数据源的本机语言向引擎发送子查询以请求数据。这类引擎/服务的示例包括数据湖、结构化(事务性)数据服务器、面向列的大规模并行处理(massively parallelprocessing，MPP)关系型数据库管理系统(relational database management system，RDBMS)、非结构化数据服务器、流媒体服务、HADOOP、Spark、NoSQL等引擎，或其它。引擎/服务能够与各种数据源交互以使用元数据层、数据连接器与集成获得数据。应用层105和DaaS平台120中的组件可以由软件开发者使用软件开发工具包(software development kit，SDK)进行开发和配置。

图2所示为包括用于实时提供DaaS的各种组件的系统200的另一实施例。DaaS平台220充当(例如UE处的)客户端应用210与属于异构数据源的多个馈源230之间的接口。响应于来自客户端应用210的查询，数据源向DaaS平台220提供不同格式的数据。DaaS平台220包括UIA API 221，其用作客户端应用210与处理不同数据馈源230的各种引擎之间的接口。这类引擎的示例包括用于处理结构化数据的联机事务处理(online transactionprocessing，OLTP)服务器和MPP RDBMS、用于处理非结构化数据的非结构化数据引擎以及用于处理流媒体数据的流媒体服务。DaaS平台220还可包括响应于来自UIA API 221的查询而在彼此间交换(发送/接收)数据的服务，例如Hadoop MPP RDBMS和流媒体服务。

在以上系统中，客户端应用能够从多个数据源使用每个被查询数据源的本机查询语言来访问与用户查询相关的数据。用户查询可以用SQL编写并利用表值用户定义函数(Table-Valued User Defined Function，TVUDF)。SQL引擎能够用作代理服务器以协调为每个相关数据源执行不同的TVUDF，从数据源获得结果并将每个结果转换为临时/虚拟表，然后在相关基表与虚拟表之间执行JOIN操作并以标准SQL数据类型格式返回结果。TVUDF支持将从SQL引擎中的给定数据源返回的结果映射到虚拟表。在客户端查询执行结束时，SQL引擎自动删除表示TVUDF的输出的虚拟表。删除虚拟表避免了用于处理查询和数据的存储大小的不必要增长。查询过程的一个示例的格式可如下：

TVUDF接收表示到特定外部数据源的本地查询的字符串，并返回虚拟表以用于计算上述查询的客户端结果。

以上系统允许来自不同数据源的查询响应具有不同的数据质量或可靠性及不同程度的置信度，如上所述。这可以使用包括概率值的概率性数据模型实现，该概率值根据源的可靠性或准确性充当数据中的置信度指标。因此，对查询的高质量数据响应可以组合但不与低质量响应混绕。通过在对查询的响应中包括不同质量的数据，信息价值得到增长。

图3是用于实时实施DaaS的实施例方法300的流程图。例如，该方法可以由系统100或200实施。在步骤310处，UE上的客户端应用向例如云中的代理服务器或UIA API发送数据查询。该客户端应用是请求信息的任何应用。例如，该客户端应用可以是用户操作的移动设备上的应用。查询可以使用SQL并使用TVUDF发送，并可指示想要的响应数据质量或可靠性。在步骤320处，UIA API生成一个或多个虚拟表，用于收集来自各种源的响应数据以服务于查询。虚拟表可以临时存储在DW或任何合适的数据存储库中。在步骤330处，UIA API与各种引擎/服务交互以从数据源请求数据，这些数据源连接到云等。在步骤340处，(DaaS平台中的)引擎/服务从源实时收集数据并将数据返回给UIA API。在步骤350处，UIA API在来自各个源的数据中添加概率参数以指示数据中的置信水平。数据和概率值可以插入到为了服务查询而生成的对应虚拟表中。或者，概率或置信指标可以具有来自源或收集数据的引擎/服务的数据。在步骤360处，对虚拟表执行联合SQL函数以向客户端应用发送响应，包括数据和概率。该响应可包括来自一个或多个数据源的、对应的置信水平满足客户端应用想要的响应质量的响应。如果没有客户端应用对响应质量的指示，则合并响应包括来自数据可靠性不同的所有考虑之中的数据源的、置信水平不同的响应。收到查询响应后，用户可选择相关数据。在步骤370处，在完成查询请求后删除虚拟表。方法300可以在数据未在DW中永久存储的情况下执行。但是数据可以临时存储在DW或用于实时处理的任何合适的存储机制中，例如虚拟表中。

图4为可以用于实施各种实施例的处理系统400的方框图。处理系统400可以是用户设备(user equipment，UE)等无线通信终端/设备的一部分，用户设备包括智能电话、平板电脑、膝上型电脑或台式电脑等。该系统还可以是与终端通信的网络实体或组件的一部分，与终端通信的网络实体或组件是云中的服务器或连接到终端和数据源的任何合适的网络等。特定设备可利用所有所示的组件或仅所述组件的子集，且设备之间的集成程度可能不同。此外，设备可以包括部件的多个实例，例如多个处理单元、处理器、存储器、发射器、接收器等。处理系统400可以包括配备一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等的处理单元401。处理单元401可包括中央处理器(central processing unit，CPU)410、存储器420、大容量存储设备430、视频适配器440，以及连接到总线的I/O接口460。总线可以为任何类型的若干总线架构中的一个或多个，包括存储总线或者存储控制器、外设总线等等。

CPU 410可包括任何类型的电子数据处理器。存储器420可包括任意类型的系统存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)或其组合等等。在实施例中，存储器420可包含在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。在实施例中，存储器420是非瞬时的。大容量存储器设备430可包括任意类型的存储设备，其用于存储数据、程序和其它信息，并使这些数据、程序和其它信息通过总线访问。大容量存储器设备430可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。

视频适配器440和I/O接口460提供接口以将外部输入和输出设备耦合到处理单元。如图所示，输入输出设备的示例包括耦合至视频适配器440的显示器490和耦合至I/O接口460的鼠标/键盘/打印机470的任意组合。其它设备可以耦合至处理单元401，可以利用更多或更少的接口卡。举例来说，串行接口卡(未图示)可以用于为打印机提供串行接口。

处理单元401还包括一个或多个网络接口450，网络接口450可包括以太网电缆等有线链路，和/或到接入节点或者一个或多个网络480的无线链路。网络接口450允许处理单元401通过网络480与远程单元通信。例如，网络接口450可以通过一个或多个发射器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一个实施例中，处理单元401耦合到局域网或广域网上以用于数据处理以及与远程装置通信，所述远程装置例如其它处理单元、因特网、远程存储设施或其类似者。

虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (23)

1.一种用于近实时或实时提供数据即服务(data as a service，DaaS)的方法，其特征在于，包括：

在代理服务器处，接收来自客户端应用的查询；

所述代理服务器从多个数据源请求数据以服务于所述查询，其中所述数据源在数据质量方面或数据结构方面或者在数据质量和数据结构两方面是异构的；

从所述多个数据源中的每个数据源近实时或实时获得所述数据；

根据所述每个数据源的可靠性为来自所述每个数据源的所述数据分配置信水平；

合并来自所述多个数据源的包含所述置信水平的所述数据；以及

将合并的所述数据发回所述客户端应用。

2.根据权利要求1所述的方法，其特征在于，还包括：

使用嵌入在所述查询中的表值用户定义函数(Table Valued User DefinedFunction，TVUDF)将来自所述数据源的所述数据收集到虚拟表中；以及

在完成所述查询的执行后，删除通过执行所述TVUDF创建的所述虚拟表。

3.根据权利要求1或2所述的方法，其特征在于，所述查询作为具有表值用户定义函数(Table Valued User Defined Function，TVUDF)的结构化查询语言(Structured QueryLanguage，SQL)查询而接收。

4.根据权利要求1至3中的任一项所述的方法，其特征在于，所述数据的形式是三个属性，包括确定所述数据的键、所述数据的值和指示所述置信水平的概率值。

5.根据权利要求1至4中的任一项所述的方法，其特征在于，所述数据在其未在数据仓库中永久存储的情况下获得并发回给所述客户端应用。

6.根据权利要求1至5中的任一项所述的方法，其特征在于，所述数据是经由多个对应数据引擎从所述数据源请求而来，所述数据引擎用于实时处理所述数据源的所述数据质量或数据结构。

7.根据权利要求6所述的方法，其特征在于，所述数据引擎中的至少一些在彼此间交换所述数据中的至少一些以服务于所述请求。

8.根据权利要求1至7中的任一项所述的方法，其特征在于，还包括：

使用每个数据源的本机查询语言将所述查询转发给与所述数据源对应的多个数据引擎；以及

所述数据引擎近实时或实时从所述数据源获得响应于所述查询的数据，其中所述数据在所述代理服务器处合并。

9.根据权利要求1至8中的任一项所述的方法，其特征在于，所述代理服务器在基于云的计算平台中实施，所述客户端应用在用户设备上实施。

10.一种用于近实时或实时提供数据即服务(data as a service，DaaS)的方法，其特征在于，包括：

用户设备上的客户端应用向代理服务器发送查询；以及

从所述代理服务器近实时或实时接收来自多个数据源的合并响应，其中所述合并响应包括来自所述数据源的响应，所述响应的置信水平根据所述对应数据源的可靠性与所述响应相关联。

11.根据权利要求10所述的方法，其特征在于，还包括：

使用所述发送的查询指示想要的响应质量；以及

从一个或多个数据源接收对应置信水平满足所述想要的响应质量的响应。

12.根据权利要求10或11所述的方法，其特征在于，如果没有所述客户端应用对响应质量的指示，则所述合并响应包括来自数据可靠性不同的所述数据源的、置信水平不同的响应。

13.根据权利要求10至12中的任一项所述的方法，其特征在于，所述数据源在数据质量方面或数据结构方面是异构的。

14.根据权利要求10至13中的任一项所述的方法，其特征在于，所述查询使用结构化查询语言(Structured Query Language，SQL)查询和表值用户定义函数(table value userdefined function，TVUDF)发送。

15.根据权利要求10至14中的任一项所述的方法，其特征在于，所述数据在其未在数据仓库中永久存储的情况下获得并返回给所述客户端应用。

16.一种用于近实时或实时提供数据即服务(data as a service，DaaS)的网络服务器，其特征在于，所述网络服务器包括：

处理器；以及

存储由所述处理器执行的程序的非瞬时性计算机可读存储介质，所述程序包括执行以下操作的指令：

从客户端应用接收查询；

从多个数据源请求数据以服务于所述查询，其中所述数据源在数据质量方面或数据结构方面是异构的；

从所述多个数据源中的每个数据源近实时或实时获得所述数据；

根据所述每个数据源的可靠性为来自所述每个数据源的所述数据分配置信水平；

合并来自所述多个数据源的包含所述置信水平的所述数据；以及

将合并的所述数据发回所述客户端应用。

17.根据权利要求16所述的网络服务器，其特征在于，所述程序还包括执行以下操作的指令：

使用嵌入在所述查询中的表值用户定义函数(Table Valued User DefinedFunction，TVUDF)将来自所述数据源的所述数据收集到虚拟表中；以及

在完成所述查询的执行后，删除通过执行所述TVUDF创建的所述虚拟表。

18.根据权利要求16或17所述的网络服务器，其特征在于，所述程序还包括执行以下操作的指令：

使用每个数据源的本机查询语言将所述查询转发给与多个数据源对应的多个数据引擎；以及

所述数据源的所述数据引擎近实时或实时获得响应于所述查询的所述数据，其中所述数据引擎实时处理所述对应数据源的所述数据结构。

19.根据权利要求16至18中的任一项所述的网络服务器，其特征在于，所述客户端应用在用户设备上运行，所述网络服务器通过基于云的计算平台与所述用户设备通信。

20.一种用于近实时或实时提供数据即服务(data as a service，DaaS)的用户设备，其特征在于，所述用户设备包括：

处理器；以及

存储由所述处理器执行的程序的非瞬时性计算机可读存储介质，所述程序包括执行以下操作的指令：

向代理服务器发送查询；以及

从所述代理服务器近实时或实时接收来自多个数据源的合并响应，其中所述合并响应包括来自所述数据源的响应，所述响应的置信水平根据所述相应数据源的可靠性与所述响应相关联。

21.根据权利要求20所述的用户设备，其特征在于，所述程序还包括执行以下操作的指令：

使用所述发送的查询指示想要的响应质量；以及

从一个或多个数据源接收对应置信水平满足所述想要的响应质量的响应。

22.根据权利要求20或21所述的用户设备，其特征在于，所述程序还包括执行以下操作的指令：

如果没有所述用户设备对响应质量的指示，则接收所述合并响应，所述合并响应包括来自数据可靠性不同的所述数据源的、置信水平不同的响应。

23.根据权利要求20至22中的任一项所述的用户设备，其特征在于，所述数据源在数据质量方面或数据结构方面是异构的。