CN100451993C - 多来源数据处理方法 - Google Patents

Abstract

一种多来源数据处理方法，适用于一数据处理系统，由多个数据来源读取数据以进行处理。首先，由第一数据来源读取数据。判断相应第一数据来源的第一指针器所指向队列中的位置是否具有数据。若是，将由第一数据来源读取的数据与队列中第一指针器指向的数据由第一指针器指向的位置开始的重迭部分进行处理，并将处理后的数据由第一指针器指向的位置开始存储至队列中，且将第一指针器更新指向队列中处理后的数据之后。接着，将由第一数据来源读取的数据与队列中第一指针器指向的数据的不重迭部分由第一指针器指向的位置开始存储至队列中，且将第一指针器更新指向队列中的不重迭部分之后。当队列中的数据经由每一数据来源的数据的处理之后，将处理后的数据输出至数据处理系统以进行后续处理。

Description

多来源数据处理方法

技术领域

本发明涉及一种数据处理方法，且特别涉及一种多来源数据处理方法。

背景技术

磁盘阵列(Disk Array)的技术可以用来增加磁盘的存取速度以及防止数据因磁盘的故障而遗失。磁盘阵列是把多个磁盘组成一个阵列，当作单一磁盘来进行使用。磁盘阵列中的数据是以数据分段(Strip)的方式来存储在不同的磁盘之中。一独立磁盘多重阵列控制器(未显示)可以读取或存放各数据分段到对应的实体存储装置(磁盘)，且对读取的数据进行运算。其中，每一数据分段所存放的实体地址是依据个别实体存储装置空间来配置。当存取数据时，阵列之中的相关磁盘可以一起动作，大幅降低数据的存取时间。

另外，磁盘阵列所利用的不同的技术可以称为独立磁盘多重阵列等级(RAID Level)，如RAID 0至RAID 5。在某些RAID等级中，除了数据可以利用分段的方式来存储在不同的磁盘之中，相应数据的同位信息(ParityInformation)可以进行计算，并存储至磁盘阵列中的一特定磁盘中。当存储一数据分段的磁盘故障时，可以通过其它数据分段与此同位信息来回复故障磁盘中的数据分段。

图7显示一现有RAID 5的架构。如图7所示，在此例子中，磁盘D1-D4被组合建立为一独立磁盘多重阵列5架构。在RAID 5中的一特定行(Column)，如A行中，数据分段A1、A2与A3分别存储在磁盘D1、D2与D3中。另外，相应数据的同位信息AP会存储至磁盘D4中的A行中。同位信息AP可以依据数据分段A1、A2与A3计算得到。相同地，依据同位信息AP与数据分段中的任两者，可以计算出另外一数据分段。举例来说，依据同位信息AP与数据分段A1与A2可以计算出数据分段A3。在RAID的应用中，需要对大量的数据进行运算，因此需要更有效率的数据处理方法。

为了要让中央处理单元或内存控制器更有效率地处理数据，将会一次要求由一个地址边界(Address Boundary)至另一个地址边界的数据。如果需求数据的起始地址与结束位置并不在地址边界上，则将会要求比需求还要多的数据。

在现有数据处理系统与方法中，当每次取得多余的数据时，皆会将多余的数据丢弃。图1显示一数据要求的例子，其中，地址边界为16DW(Data Word，数据字组)，且系统每次可以抓取16DW的数据区块。如图1所示，数据来源(SRC)的起始地址是0x20，并不位于地址边界之上。现有方法中，第一个数据要求要求0x00至0x80的数据。如前所述，系统每次可以抓取16DW的数据区块，因此，实际需要的数据区块是由0x20至0x60，而不需要由0x00至0x20与由0x60至0x80的数据，因此，由0x00至0x20与由0x60至0x80的数据将被丢弃。类似地，第二个数据要求是要求0x40至0xc0的数据。然而，实际需要的数据区块是由0x60至0xa0，因此，其它的数据将被丢弃。其它数据的要求同此类推。由前述例子可知，当数据来源的起始位置不在地址边界上时，在每次数据要求时皆会取得多余的数据，并将其丢弃。在其后的数据要求中，也会重复要求到相同的数据，并将其丢弃。因此，当数据来源的起始位置或结束地址不在地址边界上时，现有数据处理系统与方法的处理效率是非常让人失望的。

发明内容

有鉴于此，本发明提供多来源数据处理方法。

本发明实施例的多来源数据处理方法，适用于一数据处理系统，由多个数据来源读取数据以进行处理。首先，由第一数据来源读取第一起始地址至一地址边界的数据。判断相应第一数据来源的第一指针器所指向队列中的位置是否具有数据。若是，将由第一数据来源读取的数据与队列中第一指针器指向的数据由第一指针器指向的位置开始的重迭部分进行处理，并将处理后的数据由第一指针器指向的位置开始存储至队列中，且将第一指针器更新指向队列中处理后的数据之后。接着，将由第一数据来源读取的数据与队列中第一指针器指向的数据的不重迭部分由第一指针器指向的位置开始存储至队列中，且将第一指针器更新指向队列中的不重迭部分之后。当队列中的数据经由每一数据来源的数据的处理之后，将处理后的数据输出至数据处理系统以进行后续处理。

本发明实施例的多来源数据处理方法，适用于一数据处理系统，由多个数据来源读取数据以进行处理。首先，由每一数据来源读取数据。判断是否第一次由每一数据来源读取数据。若是，分别设定相应每一数据来源的一指针器指向队列中一第一部份的一开始位置。若否，依据第一次由每一数据来源读取的数据大小，分别设定相应每一数据来源的指针器指向队列中一特定部份的位置。依据相应每一数据来源的指针器位置，将由每一数据来源读取的数据存储至队列中。将队列中由每一数据来源读取的数据进行处理，且将处理后的数据输出至数据处理系统以进行后续处理。

本发明上述方法可以通过程序代码方式收录在实体媒体中。当程序代码被机器加载且执行时，机器变成用以实行本发明的装置。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合附图，详细说明如下。

附图说明

图1显示一数据要求的例子。

图2为一示意图示出了依据本发明实施例的多来源数据处理系统。

图3为一流程图示出了依据本发明实施例的多来源数据处理方法。

图4显示一具有三个数据来源的例子。

图5A、5B、5C与5D分别显示一数据要求周期的队列情形。

图6A、6B、6C与6D分别显示另一数据要求周期的队列情形。

图7为一示意图示出了一现有RAID 5的架构。

图8为一流程图示出了依据本发明实施例的指针器位置决定方法。

图9A与9B图分别显示相应第一次与第二次由数据来源读取数据的指针器位置设定例子。

附图符号说明

200-多来源数据处理系统；

210-处理模块；

220-队列；

S1、S2、Sn、SRC 1、SRC 2、SRC 3-数据来源；

S302、S304、...、S320-步骤；

P1、P2、P3-指标器；

D1、D2、D3-磁盘；

A1、A2、A3、B1、B2、B3、C1、C2、C3、D1、D2、D3-数据分段；

AP、BP、CP、DP-数据分段；

S802、S804、...、S808-步骤。

具体实施方式

图2显示依据本发明实施例的多来源数据处理系统。本发明实施例的多来源数据处理系统200可以包括一处理模块210，如中央处理单元或内存控制器，与一队列220。处理模块210一次可以处理的一特定大小的数据区块。处理模块210由多个数据来源(S1、S2、...、Sn)读取数据，并将数据处理后存储至队列220中。值得注意的是，当队列220中的数据尚未依据每一数据来源的数据处理时，则队列220中的数据称为中间数据。当队列220中的数据是依据每一数据来源的数据处理之后所得到时，则队列220中的数据称为完整数据，并可将完整数据输出以进行后续处理。

图3显示依据本发明实施例的多来源数据处理方法。在此实施例中，来自多个数据来源的数据将被读取，并暂时存储至队列中。当队列中的数据变成完整数据时，则被输出以进行后续处理。

如步骤S302，由一数据来源发出数据要求以读取数据。注意的是，当第一次由一特定数据来源读取数据时，要求读取由该特定数据来源的起始地址至一地址边界的数据。另外，一次由数据来源读取数据的尺寸大于或等于数据处理系统一次可以处理的数据区块的大小。之后，如步骤S304，判断相应此数据来源的一指针器所指向队列中的位置是否已经存在数据。其中，每一数据来源具有相对应的一指针器，分别指向队列中的一特定位置，用以表示该数据来源的数据下次要写入队列中的位置。若相应此数据来源的指针器所指向队列中的位置不存在其它数据来源的数据(步骤S304的否)，如步骤S306，直接将数据由此指针器所指向的位置存储至队列之中，并如步骤S308，将指针器更新指向队列中的此数据之后。

若相应此数据来源的指针器所指向队列中的位置存在其它数据来源的数据(步骤S304的是)，如步骤S310，将由此数据来源读取的数据与队列中指针器指向的数据由指针器指向的位置开始的重迭部分进行处理，并将处理后的数据由指针器指向的位置开始存储至队列中，并如步骤S312，将指针器更新指向队列中处理后的数据之后。其中，数据所进行的处理可以包括算术处理或逻辑处理。接着，如步骤S314，将由此数据来源读取的数据与队列中指针器指向的数据的不重迭部分由指针器指向的位置开始存储至队列中，并如步骤S316，将指针器更新指向队列中的不重迭部分之后。必须说明的是，判断数据是否重迭可以依据相应每一数据来源的指针器位置来决定。另外，每一指针器初始指向队列的顶部。当指针器指向队列的底部时，指针器将重新指向队列的顶部。在一些实施例中，每一指针器的位置可以依据相应的数据来源的实体存储位置来计算，且用以判断前述数据处理是否正确。之后，如步骤S318，判断队列中的数据是否已经成为完整数据。若否，流程回到步骤S302，继续由另一数据来源读取数据。若是，如步骤S320，队列中的完整数据被输出以进行后续处理。之后，流程再回到步骤S302。

接下来，举一例子进行说明。图4显示一具有三个数据来源的例子。在此例子中，假设数据处理系统一次可以处理16DW的数据，且需要数据在地址16DW处对准。假设队列大小为两倍的数据处理系统一次可以处理的数据区块大小，32DW。

如图4所示，数据来源SRC 1的数据区块的起始地址对准于16DW。数据来源SRC 2的数据区块的起始地址是在16DW边界之上的一个DW(即数据区块的结束地址位在0x3C，0x7C，0xBC或0xFC)。数据来源SRC 3的数据区块的起始地址是在16DW边界之上的两个DW(即数据区块的结束地址位在0x38，0x78，0xB8或0xF8)。以RAID 5的架构为例，SRC 1可以是磁盘D1、SRC 2可以是磁盘D2、SRC 3可以是磁盘D3。当第一次对于所有数据来源要求数据时，数据皆是由其各自的起始地址至第二个16DW边界。因此，数据来源SRC 1会要求到16DW的数据，数据来源SRC 2会要求到17DW的数据，而数据来源SRC 3会要求18DW的数据。来自所有数据来源的数据将会进行处理，如算术处理或逻辑处理，并存储至队列之中。

图5A、5B、5C与5D分别显示一数据要求周期的队列情形。一开始相应每一数据来源SRC 1、SRC 2与SRC 3的指标器P1、P2与P3皆指向队列220的顶部。其中，P1、P2与P3分别代表数据来源SRC 1、SRC 2与SRC 3下次数据写入队列220中的位置。

首先，由数据来源SRC 1读取数据。由于此时队列220中并未存在任何数据，因此，由数据来源SRC 1读取的数据被直接存储至队列220之中，且相应数据来源SRC 1的指针器P1被更新指向队列220中由数据来源SRC 1读取的数据之后，如图5A所示。之后，由数据来源SRC 2读取数据。由于此时相应数据来源SRC 2的指针器P2所指向队列220中的位置已经存在数据，因此，将由数据来源SRC 2读取的数据与队列220中数据的重迭部分进行处理并存储至队列220中。另外，由数据来源SRC 2读取的数据与队列220中数据的不重迭部分则直接存储至队列220中，且更新指针器P2的位置，如图5B所示。之后，由数据来源SRC 3读取数据。由于此时相应数据来源SRC 3的指针器P3所指向队列220中的位置已经存在数据，因此，将由数据来源SRC 3读取的数据与队列220中数据的重迭部分进行处理并存储至队列220中。另外，由数据来源SRC 3读取的数据与队列220中数据的不重迭部分则直接存储至队列220中，且更新指针器P3的位置，如图5C所示。在一个完整的数据要求周期之后(每一个数据来源都分别要求过一次数据之后)，队列220的I部分是完整处理过的数据(完整数据)，而II部分是中间数据。其中，II部分的第1个DW是数据来源SRC 2与SRC 3的数据处理后的结果，且II部分的第2个DW是数据来源SRC 3的数据。由于队列220的I部分是完整数据，因此被输出至一特定的目的地址以进行后续处理。当完整数据输出之后，这些空间可以被清空以用来存储后续读取的数据，如图5D所示。

以图7的例子说明，在图5A至5D的操作中分别由磁盘D1至D3读取数据分段，再依据读取出的数据分段计算相应这些数据的同位信息。换言之，依据分别来自磁盘D1、D2与D3的数据分段A1、A2与A3计算得到同位信息AP。注意的是，计算出的同位信息AP可以存储至另一数据来源SRC 4(图4未显示)，如磁盘D4中，或进行其它应用。必须说明的是，由于第一次由数据来源SRC 2要求的17DW的数据已经超过数据处理系统一次可以处理的数据量(16DW)，因此，由数据来源SRC 2取得的数据分两次写入队列220之中。其中，第一次读取数据分段A2的第1个DW，且第二次读取数据分段A2的第2个至第16个DW与数据分段B2的第1个DW。类似地，由于第一次由数据来源SRC 3要求的18DW的数据已经超过数据处理系统一次可以处理的数据量(16DW)，因此，由数据来源SRC 3取得的数据是分两次写入队列220之中。其中，第一次读取数据分段A3的第1个至第2个DW，且第二次读取数据分段A3的第3个至第16个DW与数据分段BP的第2个DW。

图6A、6B、6C与6D分别显示另一数据要求周期的队列情形。首先，再次由数据来源SRC 1读取数据。注意的是，在此例子中，第二次向数据来源读取的数据区块大小等于处理系统一次可以处理的数据区块大小。如图6A所示，由于指标器P1指向的位置存在数据，因此，由数据来源SRC 1读取的数据的第1个DW与队列中的数据进行处理。由于队列中II部分的第1个DW的数据原先是数据来源SRC 2与SRC 3的数据处理后的结果，因此，当再经过数据来源SRC 1读取的数据处理过后，II部分的第1个DW已经成为完整数据。另外，由数据来源SRC 1读取的数据的第2个DW与队列中的数据进行处理。由于队列中II部分的第2个DW的数据原先是数据来源SRC 3的数据，因此，II部分的第2个DW是数据来源SRC 1与SRC 3的数据处理后的结果。II部分的其余部分则是数据来源SRC 1的数据。之后，由数据来源SRC 2读取数据。由数据来源SRC 2读取的数据的第1个DW与队列中II部分的第2个DW的数据进行处理，由于队列中II部分的第2个DW的数据原先是数据来源SRC 1与SRC 3的数据处理后的结果，因此，当再经过数据来源SRC 2读取的数据处理过后，II部分的第2个DW已经成为完整数据。队列中II部分的第3个DW之后，数据来源SRC 2与SRC 1的数据进行处理。另外，由于队列中II部分没有空间可以存放由数据来源SRC 2读取的最后一个DW数据，因此，由数据来源SRC 2读取的最后一个DW数据存储至队列中I部分的第1个DW，如图6B所示。之后，由数据来源SRC 3读取数据。由数据来源SRC 3读取的数据与队列中II部分的第3个DW之后的数据进行处理，由于队列中II部分的第3个DW之后的数据原先是数据来源SRC 1与SRC 2的数据处理后的结果，因此，当再经过数据来源SRC 3读取的数据处理过后，II部分的第3个DW之后的数据已经成为完整数据。此外，由数据来源SRC 3读取的数据与队列中I部分的第1个DW的数据进行处理，且由数据来源SRC 3读取的最后一个DW数据存储至队列中I部分的第2个DW，如图6C所示。此时，队列中II部分的数据已经成为完整数据，因此被输出至目的地址以进行后续处理。当完整数据输出之后，这些空间可以被清空以用来存储后续读取的数据，如图6D所示。

以图7的例子说明，在图6A至6D的操作中分别由磁盘D1至D3读取数据分段B1与B2与同位信息BP，再依据数据分段B1与B2与同位信息BP计算出数据分段B3。数据分段B3可以存储至另一数据来源SRC 4(图4未显示)，如磁盘D4中，或进行其它应用。注意的是，这些程序可以一直重复，至直所有需要的数据由个别数据来源读取完毕。

值得注意的是，除了以上述方式决定相应不同数据来源的指针器位置之外。本案中相应数据来源的指针器位置也可以依据不同方式来决定。图8显示依据本发明实施例的指针器位置决定方法。在此实施例中，每一数据来源的指针器的位置可以依据个别数据来源第一次所读取的数据大小来决定。此外，在此实施例中，队列分为两部份：部份1与部份2。

如步骤S802，初始设定存取部份等于0。如步骤S804，判断是否是第一次读取此数据来源的数据。若是，如步骤S806，将相应此数据来源的指针器的位置设为0，且将队列中的存取部份加1并取其余数(％)。换言之，第一次读取数据来源的数据或是第一次存取队列时是由队列的部分1中的位置0开始存取(部分1的开始位置)。若不是第一次读取此数据来源的数据，如步骤S808，将相应此数据来源的指针器的位置设为第一次由此数据来源读取的数据的大小减去一个数据区块的大小，且将队列中的存取部份加1并取其余数。注意的是，当第一次由数据来源读取数据时，要求读取由该特定数据来源的起始地址至一地址边界的数据。换言之，当第二次读取数据来源的数据时是由队列的部分2中的第一次由此数据来源读取的数据的大小减去一个数据区块的大小的位置来开始存取。在此实施例中，队列的部份1与部份2随着每一次的数据读取而交互的存取。类似地，若队列中的数据已经成为完整数据(已由每个数据来源读取数据且经过运算)，则队列中的完整数据被输出以进行后续处理。

以数据来源SRC 2为例，数据来源SRC 2的数据区块的起始地址是在16DW边界之上的一个DW。一开始时，队列220的存取部分为部分1，且相应数据来源SRC 2的指针器的位置设定为0，如图9A所示。因此，第一次读取的数据可以由队列220中部分1的位置0开始存储。第二次由数据来源SRC 2读取数据时，队列220的存取部分设为部分2。由于第一次由数据来源SRC 2读取的数据大小为17DW，因此相应数据来源SRC 2的指针器的位置设定为1(17DW-16DW)，如图9B所示。因此，读取的数据可以由队列220中部分2的位置1开始存储。此程序可以一直重复。

因此，通过本案的多来源数据处理方法，数据要求中多余的数据将存储至队列之中，而不需要被丢弃，且后续的数据要求可以直接由尚未取得的数据处进行要求，从而增加数据处理系统与方法的处理效率。

本发明的方法，或特定型态或其部份，可以以程序代码的型态包含在实体媒体，如软盘、光盘片、硬盘、或是任何其它机器可读取(如计算机可读取)存储媒体，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。本发明的方法与装置也可以以程序代码型态通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置。当在一般用途处理器实作时，程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟悉此项技艺者，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附的申请专利范围所界定者为准。

Claims (9)

1.一种多来源数据处理方法，适用于一数据处理系统，由多个数据来源读取数据以进行处理，包括下列步骤：

由一第一数据来源读取数据；

判断相应该第一数据来源的一第一指针器所指向一队列中的位置是否存在数据；

若判断相应该第一数据来源的一第一指针器所指向一队列中的位置存在数据为是，将由该第一数据来源读取的数据与该队列中该第一指针器指向的位置开始的重迭部分的数据进行处理，并将处理后的数据由该第一指针器指向的位置开始存储至该队列中，且将该第一指针器更新指向该队列中处理后的数据之后，其中该处理包括算术或逻辑处理，；

将由该第一数据来源读取的数据与该队列中该第一指针器指向的数据的不重迭部分由该第一指针器指向的位置开始存储至该队列中，且将该第一指针器更新指向该队列中的该不重迭部分之后；以及

当队列中的数据经由每一所述数据来源的数据的、和上述第一数据来源的数据的处理相同的处理之后，将处理后的数据输出至该数据处理系统以进行后续处理。

2.如权利要求1所述的多来源数据处理方法，更包括下列步骤：

若判断相应该第一数据来源的一第一指针器所指向一队列中的位置是否存在数据为否，直接将由该第一数据来源读取的数据由该第一指针器指向的位置开始存储至该队列中；以及

将该第一指针器更新指向该队列中存储的数据之后。

3.如权利要求2所述的多来源数据处理方法，更包括下列步骤：

在完成由第一数据来源读取数据以进行处理之后，由一第二数据来源读取数据；

判断相应该第二数据来源的一第二指针器所指向该队列中的位置是否存在相应该第一数据来源的数据；

若判断相应该第二数据来源的一第二指针器所指向该队列中的位置是否存在相应该第一数据来源的数据为是，将由该第二数据来源读取的数据与该队列中相应该第一数据来源的数据由该第二指针器指向的位置开始的重迭部分进行处理，并将处理后的数据由该第二指针器指向的位置开始存储至该队列中，且将该第二指针器更新指向该队列中处理后的数据之后；

将由该第二数据来源读取的数据与该队列中相应该第一数据来源的数据的不重迭部分由该第二指针器指向的位置开始存储至该队列中；以及

将该第二指针器更新指向该队列中的该不重迭部分之后。

4.权利要求1所述的多来源数据处理方法，其中，当第一次由该第一数据来源读取数据时，是读取该第一数据来源的由一第一起始地址至一地址边界的数据。

5.如权利要求1所述的多来源数据处理方法，其中，该队列的尺寸等于两倍的该数据处理系统一次可以处理的一数据区块大小。

6.如权利要求1所述的多来源数据处理方法，更包括当该第一指针器指向该队列的底部时，该第一指针器将重新指向该队列的顶部。

7.一种多来源数据处理方法，适用于一数据处理系统，由多个数据来源读取数据以进行处理，包括下列步骤：

由每一所述数据来源读取数据；

判断是否第一次由每一所述数据来源读取数据；

若判断是否第一次由每一所述数据来源读取数据为是，分别设定相应每一所述数据来源的一指针器指向一队列中一第一部份的一开始位置；

若判断是否第一次由每一所述数据来源读取数据为否，依据第一次由每一所述数据来源读取的数据大小，分别设定相应每一所述数据来源的该指针器指向该队列中一特定部份的位置；其中所述特定部份的位置为第一次由所述数据来源读取的数据大小减去一个数据区块的大小，其中，该特定部份交互设定为该队列中的第二部分与第一部分；其中，一次由该每一数据来源读取数据的尺寸大于或等于该数据处理系统一次可以处理的一数据区块大小。

依据相应每一所述数据来源的该指针器位置，将由每一所述数据来源读取的数据存储至该队列中；以及

将该队列中由每一所述数据来源读取的数据进行相同的处理，且将处理后的数据输出至该数据处理系统以进行后续处理。

8.如权利要求7所述的多来源数据处理方法，其中，当第一次由每一所述数据来源读取数据时是读取每一所述数据来源的由一起始地址至一地址边界的数据。

9.如权利要求7所述的多来源数据处理方法，其中，由多个数据来源读取数据以进行的处理包括算术或逻辑处理。

Images