CN104216914B

CN104216914B - 大容量数据传输

Info

Publication number: CN104216914B
Application number: CN201310218412.8A
Authority: CN
Inventors: 陈颖宇; 刘晓伟
Original assignee: SAP SE
Current assignee: SAP SE
Priority date: 2013-06-04
Filing date: 2013-06-04
Publication date: 2017-09-15
Anticipated expiration: 2033-06-04
Also published as: CN104216914A; US20140359165A1; US9160820B2

Abstract

在此描述的是一种便于大容量数据传输的技术。在一种实现中，应用服务器确定应用是否正调用在数据服务器中的过程。如果确定应用正调用过程，则编码应用数据以压缩应用数据量。然后从应用服务器向数据服务器传输编码的应用数据。在数据服务器处，解码应用数据以用于数据服务器处理。

Description

大容量数据传输

技术领域

本公开总体涉及数据库，并且更具体地，涉及促进数据库系统中的大容量数据传输。

背景技术

数据库一般包括用于存储数据值的一个或多个数据库表。为了访问数据库中的数据，应用一般向从数据库检索数据的数据库管理系统（DBMS）发布数据库查询。DBMS可以被构造为支持用于检索、添加、修改和/或删除存储在数据库中的数据的来自请求应用服务器的不同类型的操作。然后应用解释从数据服务器检索的数据，并且将数据转换为可以被应用处理的格式。

通常，应用使用高级编程语言来编写，所述高级编程语言提供适合于开发商业应用（诸如开发用户报告和接口）的高级抽象术语。另一方面，数据服务器一般被构造为支持使用诸如结构化查询语言（“SQL”）的查询语言来编程的操作，以解释在哪儿和怎样存储和操作什么数据。

应用基于从数据服务器检索的数据可以执行各种复杂的计算。在一些情况下，将数据服务器优化以加速数据库操作（例如，SELECT（选择）查询）。然而，由于可能从数据服务器向应用返回大量数据，反之亦然，整体性能仍然被数据传输时间所限制。例如，即使优化数据服务器以加速SELECT查询达100倍，由于大容量数据传输所引起的延迟，也只能将整体性能提高2至3倍（或更差）。

当前，没有统一的方法来处理数据库函数调取（call）以实现优化的性能。不同开发商可以使用不同的方法来调取数据库函数并检索用于应用的数据。在坏的情况下，当仍然需要临时数据库表中的数据用于应用处理时，重置应用和数据服务器之间的共享连接。

因此，需要一种解决上述难题的改进的框架。

发明内容

在此描述用于促进大容量数据传输的技术。根据一方面，应用服务器确定应用是否正调用在数据服务器中的过程。如果确定应用正调用过程，则编码应用数据以压缩应用数据量。然后从应用服务器向数据服务器传输编码的应用数据。在数据服务器处，解码应用数据以供数据服务器处理。

根据另一方面，在应用服务器处编码应用数据以压缩应用数据量。然后从应用服务器向数据服务器传输编码的应用数据。在数据服务器处，可以解码应用数据以供数据服务器处理。接下来，可以对响应于调用在数据服务器中的过程而生成的结果数据编码，以压缩结果数据量。然后可以从数据服务器向应用服务器传输编码的结果数据。在应用服务器处，可以解码结果数据以供应用服务器处理。

通过参考下面的详细描述和所附权利要求，以及参照这里的附图，可以获得进一步的信息，以及将在下文中将变得明显的这些和其它优点和特征。

附图说明

在附图中示出一些实施例，其中相似的参考标号指定相似的部分，并且附图中：

图1是图解示范性系统的框图；

图2示出应用服务器和数据服务器的示范性结构；

图3示出传输数据的示范性过程；以及

图4a和4b示出从使用不同的内部表和不同的数据尺寸的测试所获得的实验结果。

具体实施方式

在下面的描述中，为了说明，阐述特定的数字、材料和配置，以便提供对本框架和方法的彻底理解，并且以便满足法定的撰写描述、可实施性（enablement）、和最佳实施例的要求。然而，对一位本领域技术人员来说显而易见的是，可以在没有特定示范性细节的情况下实践本框架和方法。在其它情况下，省略或简化公知特征，以阐明本框架和方法的示范性实现的描述，并且从而更好地解释本框架和方法。此外，为便于理解，将某些方法步骤描绘为单独的步骤；然而，这些单独描绘的步骤不应该被认为是由它们的性能决定的必须次序。

在此描述用于促进大容量数据传输的技术。本技术的一方面提供了一种编码-解码框架，用于减小数据量，并且从而提高数据传输速度。在一个实现中，首先在数据服务器处编码检索的数据，将其向应用服务器传输，然后在应用服务器处对其解码用于应用。相反地，还可以在应用服务器处对来自应用服务器的数据进行编码，将其向数据服务器传输，然后在数据服务器处解码以用于存储。

本技术有效地解决了由应用和数据服务器之间的大容量数据传输所引起的瓶颈问题。因为大数据量不再限制系统的整体性能，所以应用设计者可以合并对于用来提高性能所需的多个数据库函数的调取。此外，当调取数据库函数和返回结果时，编码-解码过程不占用足以削弱整体性能的大量资源。此外，可以提供本框架来作为用户基于加快的数据库操作来设计和开发应用的统一解决方案（例如，通用库函数）。在下面的描述中将更详细地描述这些和其它优点和方面。

在此描述的框架可以被实现为一种方法、计算机控制装置、计算机处理、计算系统，或者作为诸如计算机可用介质的一件产品。从下面的描述中这些和各种其它特征将变得显而易见。

图1示出图解可以用来实现在此描述的框架的示范性系统100的框图。系统100可以包括通信地耦接到输入设备102（例如，键盘、触摸板、麦克风、相机等）和输出设备104（例如，显示设备、监视器、打印机、扬声器等）的计算机系统106。计算机系统106还可以包括通信卡或设备116（例如，调制解调器和/或网络适配器），用于使用通信链路130（例如，电话线、无线网络链路、有线网络链路、或线缆网络）与网络132交换数据。网络132可以是局域网（LAN）或者广域网（WAN）。计算机系统106可以经由网络132通信地耦接到一个或多个其它计算机系统154。例如，计算机系统106可以充当服务器，并且使用到一个或多个客户端计算机150的逻辑连接来在网络环境中操作。

计算机系统106包括中央处理单元（CPU）114、输入/输出（I/O）单元110、和存储器模块112。诸如高速缓存、电源、时钟电路、和通信总线的其它支持电路也可以被包括在计算机系统106中。此外，任何上述装置都可以通过专用集成电路实现，或者并入其中。计算机系统106的例子包括手持设备、移动设备、个人数字助理（PDA）、工作站、服务器、便携式膝上型计算机、其他便携式设备、迷你计算机、大型计算机、存储系统、专门数字应用、设备、部件、其它装备、或者这些能够以定义的方式响应并执行指令的某种组合。

存储模块112可以是任何形式的非瞬时性计算机可读介质，包括但不限于，动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、闪存设备、磁盘、内部硬盘、可移除磁盘、磁光盘、光盘只读存储器（CD-ROM）、任何其它易失性、或非易失性存储器或者其组合。

存储模块112用来存储机器可执行的指令、数据、和用于实现在此描述的技术的各种软件部件，所有这些都可以通过CPU114来处理。因而，计算机系统106是当执行机器可执行指令时成为专用计算机系统的通用计算机系统。可替换地，在此描述的各种技术可以被实现为经由应用服务器120和/或数据服务器125而执行的软件产品的一部分。如果需要，每个计算机程序可以用高级过程的或面向对象的编程语言（例如C、C++、Java、来自AG的高级业务应用编程（ABAP^TM）、结构化查询语言（SQL）、L语言等等），或者用汇编或机器语言来实现。该语言可以是编译的或解释性的语言。不是意在将机器可执行指令限于任何特定的编程语言及其实现。应该理解的是，各种编程语言及其代码可以用来实现在此包含的公开的教导。

在一个实现中，计算机系统106的存储模块112包括应用服务器（或堆栈）120和数据服务器（或堆栈）125。应用服务器（或堆栈）120可以存储应用122和应用数据传输单元123，其可以使用诸如Java、C++、ABAP^TM等的高级编程语言来编码。其它类型的编程语言也是有用的。

应用122可以包括被设计来执行各种商业功能的商业应用的一组功能模块或程序（例如，ABAP功能模块），其中，商业应用诸如客户关系管理（CRM）、企业资源计划（ERP）应用、人力资源管理、企业内容管理（ECM）、业务流程管理（BPM）、产品生命周期管理、商业智能等等。

应用数据传输单元123可以用来处理来自应用服务器120的输入和输出数据，用于促进有效的大容量数据传输。更具体地，应用数据传输单元123可以用来准备用于传输到数据服务器125的输出数据，以及处理从数据服务器125输入的数据以供应用122使用。将在下面的描述中提供这些部件的更多细节。

数据服务器（或堆栈）125可以包括数据库管理系统（DBMS）126、数据库（DB）数据传输单元128、和数据库129。可以使用诸如SQL或其扩展的数据库查询语言来编码DBMS126和DB数据传输单元128。其它类型的编程语言也是有用的。DBMS126可以包括用于定义、管理、和处理数据库129的一组程序或过程（例如，HANA自定义过程）。在客户端计算机150处的用户可以与用户接口152交互，以经由应用服务器120和DBMS126与数据库129通信。DB数据传输单元128可以用来处理来自数据服务器125的输入和输出数据。更具体地，DB数据传输单元128可以用来准备用于传输到应用服务器120的输出数据，以及处理从应用服务器120输入的数据以用于存储在数据库129中。将在下面的描述中提供这些部件的更多细节。

在一个实现中，数据库129是内存（in-memory）数据库，其主要依靠用于有效的计算机数据存储的系统主存储器。更具体地，内存数据库中的数据可以存在于易失性存储器中，而不是永久地存储在硬盘驱动上，从而允许以几兆字节每毫秒的速度即时访问和扫描数据。内存数据库129允许无缝访问并实时传播高容量的数据。通过使用多核处理器114结合内存数据库129，可以进一步实现并行处理。内存数据库技术包括诸如SAP的HANA（高性能分析应用）存储器中计算引擎的系统。

在内存数据库129中可以进一步实现基于列的数据存储，其中，在压缩的存储块中依次存储作为数据列的数据表。当在单列上执行计算时，这可以便于数据的更快聚合（aggregation）。可替换地，基于行的数据存储也是可能的。在一些实现中，代替更新整行，将仅更新改变的字段。这避免了在更新期间不得不锁定整个数据表，以防止对一组数据的抵触修改。可以实现高级并行化，这对直播数据流（live data stream）的实时处理以及执行恒定并且基本上同时的更新来说很重要。

应该理解，计算机系统106的不同部件和子部件可以位于不同机器或系统上。例如，可以在不同的物理机器或计算机系统上实现应用服务器120和数据服务器125。还应该理解，客户端计算机150的不同部件也可以位于计算机系统106上。

图2示出应用服务器120和数据服务器125的示范性结构200。在一些实现中，应用和数据服务器（120、125）可以包括比在图2中示出的那些更少或多很多的部件。

如所示，数据服务器125可以包括DBMS126、DB数据传输单元128、和数据库129。应用服务器120可以包括应用122和应用数据传输单位123。在一个实现中，DB数据传输单元128包括编码器A（204）和解码器A（206），而应用数据传输单元123包括编码器B（214）、解码器B（210）、和DB调取器208。DB数据传输单元128和应用数据传输单元123可以用来通过压缩数据量而便于数据服务器125和应用服务器120之间的有效数据传输。更具体地，编码器A和B（204、214）可以实现无损的数据压缩算法，器允许解码器B和A（210、206）分别从压缩的数据重建准确的原始数据。无损算法的例子包括LZ77、LZ78、LZW等等。

响应于来自应用122的请求，DBMS126可以从数据库129检索数据以用于处理。在向应用服务器120发送检索的数据之前，检索的数据可以通过编码器A（204）编码以压缩数据量，并且从而提高传输速度。编码的数据然后可以被传输到应用服务器120中的解码器B（210），其解码（并解压缩）数据以供应用122处理。

如果必要，应用122可以向数据库129写入应用数据（例如，计算结果、报告等）。在向数据服务器125发送应用数据以用于进一步处理之前，DB调取器208可以准备应用数据用于通过编码器B（214）进行编码。然后DB调取器208可以调用编码器B（214）来编码准备的数据以压缩数据量。然后编码的数据可以被传输到数据服务器125中的解码器A（206），其解码（并解压缩）数据以供DBMS126处理。

图3示出在应用服务器120和数据服务器125之间传输数据的示范性过程300。可以通过如之前参照图1和2描述的系统100和/或结构200来实现过程300。应该注意到，在下面的讨论中将使用相似的标号来参考在图1和2中描述的特征。

在302，应用服务器120中的应用数据传输单元123确定是否要调取在数据服务器125中存储的过程或函数模块。存储的过程是编译和存储在数据服务器125的DBMS126内部的一组命令。例如，当应用122正在访问、更新、或存储数据库129中的数据时，可以调取存储的过程。在一些实现中，DB调取器208解析应用122的代码以确定到DBMS126的调取是否有必要。如果到DBMS126中存储的过程的调取不是必要的，则过程300结束；否则，过程300继续到304。

在304，DB调取器208进行到调用在DBMS126中的存储的过程或函数模块。在使用ABAP编码应用服务器120中的部件的一些实现中，DB调取器208可以使用ABAP数据库连接性（ADBC）来调取存储的过程或函数模块。ADBC是可以用来建立并管理数据库连接、向DBMS126发送数据库特定SQL命令、并且处理结果的应用编程接口（API）。也可以使用其它类型的数据库连接API。为建立并管理与DBMS126的连接，可以预配置数据库用户名、密码、默认图式、连接类型和/或其它设置，并且将其保持在存储在应用服务器120中的数据结构（例如，SAP的表DBCO）中。

在306，DB调取器208确定应用数据量的压缩是否必要。如果要向数据服务器125传输的应用数据的尺寸或容量（例如，表尺寸或列数目）超过预定阈值，则可以将压缩确定为必要。阈值可以是应用特定的，并且可以不但依赖于应用数据的类型，而且依赖于硬件和网络环境。不同类型的应用数据一般指的是来自例如具有不同结构和不同可重复率的不同表的数据。

基于压缩是否必要的确定，DB调取器208相应地设置压缩选项。当DB调取器调用DBMS126中存储的过程时，可以与其它具名的参数（例如，存储的过程名称）一起传递压缩选项。压缩选项通知DBMS126通过DBMS126接收的应用数据是否通过编码器B（214）压缩。

如果确定压缩是不必要的，则过程300继续到步骤312。否则，如果确定压缩是必要的，则DB调取器208准备应用数据以用于通过编码器B（214）压缩。最初，应用数据可以存储在内部表（例如，ABAP内部表）或任何其它本地数据结构中。为了准备用于压缩的应用数据，DB调取器208可以将本地数据结构中的应用数据转换（例如，串行化）为二进制或文本文件。文本文件可以是逗号分隔值（CSV）文件形式或任何其它适合的格式。CSV文件可以包括列名称和通过文字逗号、制表符、或任何其它字母或串而分隔的列数据。

在308，DB调取器208调用应用服务器120中的编码器B（214）。编码器B（214）压缩准备的应用数据以减小它的尺寸或容量。在一些实现中，编码器B（214）可以执行诸如LZ77、LZ78、LZW等的无损数据压缩算法，以压缩准备的应用数据。无损数据压缩算法一般采用统计冗余来更简明地表示数据，而不损失信息。压缩的应用数据可以作为二进制数据存储在与数据服务器125兼容的数据库表中。然后经由例如由DB调取器208建立的数据库连接（例如，ADBC），可以向数据服务器125传输数据库表。

在310，在数据服务器125处的解码器A经由例如数据库连接来接收压缩的应用数据。调用解码器A（206）来解码压缩的应用数据（或数据库表）。在解码期间，可以将压缩的应用数据从二进制数据库表转换为CSV串。任何其它类型的格式也是有用的。解码器A（206）使用与编码器B（214）相同类型的算法（例如，LZ77）来解码压缩的应用数据。例如，解码器A（206）可以逆转相同的无损数据压缩算法（例如，LZ77、LZ78、LZW等）以将压缩的应用数据解码为原始应用数据的准确的数字复本。解码的应用数据可以是CSV串形式，或者任何其它适合的格式。在一个实现中，解码器A（206）通过逐线地解析列报头和列数据，并且将列数据插入到对应的数据库表中，来进一步处理解码的应用数据。

在312，解码器A（206）调用DBMS126中的各个DB过程以生成结果数据。通过DB过程处理解码的应用数据和/或从数据库129检索数据，可以生成结果数据。DB过程可以是所存储的过程，其被调取以用于，例如，在DBMS126中检索、更新、或存储解码的应用数据。

在314，DBMS126确定对于要返回到应用服务器120的DB过程的结果数据，压缩是否必要。可以理解，在没有要返回到应用服务器120的结果数据的情况下，步骤314、316、318和320可能不是必要的。如果结果数据的尺寸或容量（例如，表尺寸或列数目）超过预定阈值，则DBMS126可以确定压缩必要。基于这种确定，DBMS126相应地设置压缩选项。当DBMS126调取应用122中的具名的函数模块或程序时，可以与其它具名的参数（例如，函数模块名称）一起传递压缩选项。压缩选项通知应用122通过应用服务器120接收的结果数据是否已经通过编码器A（204）压缩。

如果确定压缩是不必要的，则过程300继续到步骤320。否则，如果确定压缩是必要的，则DBMS126准备结果数据以用于通过编码器A（204）压缩。最初，结果数据可以以本地数据结构（例如，内部数据库记录集或表）存储。为了准备用于压缩的结果数据，DBMS126可以将以本地数据结构存储的结果数据转换（例如，串行化）为二进制或文本文件。文本文件可以是逗号分隔值（CSV）文件形式或任何其它适合的格式。CSV文件可以包括列名称和通过文字逗号、制表符、或任何其它字母或串来分隔的列数据。

在316，DBMS126调用数据服务器125中的编码器A（204）。编码器A（204）压缩准备的结果数据以减小它的尺寸或容量。在一些实现中，编码器A（204）可以执行诸如LZ77、LZ78、LZW等的无损耗数据压缩算法来压缩准备的结果数据。压缩的结果数据可以作为二进制数据来存储和传输。然后可以经由DBMS126建立的数据库连接（例如，ADBC）来向应用服务器120传输压缩的结果数据。

在318，在应用服务器120处的解码器B（210）接收压缩的结果数据。调用解码器B（210）来解码压缩的结果数据。在解码期间，可以将压缩的结果数据从二进制文件转换为CSV串或其它文本格式。任何其它类型的格式也是有用的。解码器B（210）使用与编码器A（204）相同类型的算法（例如，LZ77）来解码压缩的结果数据。解码的结果数据可以是CSV串形式，或者任何其它适合的格式。在一个实现中，解码器B（210）通过对解码的结果数据解串行化来进一步处理解码的结果数据。例如，解码器B（210）可以逐线地读列报头和列数据，并且将列数据插在对应的内部表中。

在320，解码器B（210）调用在应用122中的各个应用函数模块或程序来处理解码的结果数据。然后在302，处理器300继续确定对DBMS126的调取是否必要。应该理解，对于在应用122的代码中遇到的每次对DBMS126的调取，都可以重复过程300。

图4a示出从使用不同的内部表和不同的数据尺寸测试本框架而获得的实验结果。VBAP、VBAK和MARA是标准的透明的内部表。表400示出对于具有不同尺寸的不同类型的内部表，所获得的压缩比率。可以观察到，对于存储在这样的表中的典型的ERP数据，压缩比率通常很高，其达到高达75.3:1。对于具有高数目的重复行的表，压缩比率通常更高。这允许显著地减少数据传输时间。

图4b比较了对于在图4a中描述的不同类型的内部表，使用和不使用压缩所获得的检索时间。使用压缩的总检索时间通过对准备、编码、检索、解码、和解串行化数据到各个内部表所花费的时间相加来计算。从表410可以观察到，数据尺寸越大（例如，VBAP），能实现节省更多的数据检索时间（例如，从没有压缩的67秒到使用压缩的18.3秒）。

虽然已经用对于结构特征和/或方法步骤特定的语言来描述一个或多个上述实现，但是要理解，在没有所述特定特征或步骤的情况下，也可以实践其它实现。此外，公开特定特征和步骤来作为一个或多个实现的优选形式。

Claims

1.一种数据传输的方法，包括：

在应用服务器处编码应用数据以压缩应用数据量；

从应用服务器向数据服务器传输编码的应用数据；

在数据服务器处解码经编码的应用数据以用于数据服务器处理；

在数据服务器处对响应于调用在数据服务器中的过程而生成的结果数据进行编码，其中，编码压缩结果数据量；

从数据服务器向应用服务器传输编码的结果数据；以及

在应用服务器处解码经编码的结果数据，以用于应用服务器处理。

2.一种数据传输的方法，包括：

通过解析应用的代码在应用服务器处确定应用是否正调用在数据服务器中的过程；

响应于确定应用正调用在数据服务器中的过程，在应用服务器处编码应用数据以压缩应用数据量；

从应用服务器向数据服务器传输编码的应用数据；以及

在数据服务器处解码经编码的应用数据以用于数据服务器处理。

3.如权利要求2所述的方法，其中数据服务器包括内存数据库。

4.如权利要求2所述的方法，进一步包括在应用服务器处经由数据库连接应用编程接口调用在数据服务器中的过程。

5.如权利要求2所述的方法，进一步包括：

确定应用数据量的压缩是否必要；以及

如果确定压缩是必要的，则准备用于编码的应用数据。

6.如权利要求5所述的方法，其中当应用数据的尺寸超过预定阈值时，确定应用数据量的压缩是必要的。

7.如权利要求5所述的方法，其中准备用于编码的应用数据包括将应用数据从本地数据结构转换为文本文件。

8.如权利要求2所述的方法，其中编码应用数据以压缩应用数据量包括执行无损数据压缩算法。

9.如权利要求8所述的方法，其中无损数据压缩算法包括LZ77、LZ78或LZW算法。

10.如权利要求2所述的方法，其中解码经编码的应用数据包括逆转无损数据压缩算法。

11.如权利要求10所述的方法，其中无损数据压缩算法包括LZ77、LZ78或LZW算法。

12.如权利要求2所述的方法，进一步包括：

在数据服务器处响应于调用过程而生成结果数据；

在数据服务器处确定结果数据的压缩是否是必要的；以及

如果确定结果数据的压缩是必要的，则准备用于编码的结果数据。

13.如权利要求12所述的方法，其中准备用于编码的结果数据包括将结果数据从本地数据结构转换为文本文件。

14.如权利要求12所述的方法，进一步包括：

在数据服务器处编码所准备的结果数据以压缩结果数据量；

从数据服务器向应用服务器传输编码的结果数据；以及

在应用服务器处解码经编码的结果数据以用于应用服务器处理。

15.如权利要求14所述的方法，其中编码所准备的结果数据以压缩结果数据量包括执行无损数据压缩算法。

16.如权利要求15所述的方法，其中无损数据压缩算法包括LZ77、LZ78或LZW算法。

17.如权利要求14所述的方法，其中解码经编码的结果数据包括逆转无损数据压缩算法。

18.如权利要求17所述的方法，其中无损数据压缩算法包括LZ77、LZ78或LZW算法。

19.一种系统，包括：

非瞬时性存储设备，用于存储计算机可读程序代码；及

与存储设备通信的处理器，所述处理器利用计算机可读程序代码来进行操作以：

响应于正调用在数据服务器中的过程在数据服务器处生成结果数据，

在数据服务器处编码结果数据，其中编码压缩结果数据量，以及

从数据服务器向应用服务器传输编码的结果数据以用于解码和处理。