CN101063963A - 数据零拷贝文件的移动方法 - Google Patents

Abstract

提供一种数据零拷贝文件移动方法。该方法包含：从用户区域的应用程序接收文件移动请求的请求接收步骤；在内核区域中分配用于资源设备的缓存页面的分配步骤；将存储在所述资源设备中的移动对象文件的数据通过DMA方式拷贝到所述缓存页面中的第一次拷贝步骤；为了使所述被拷贝的数据送到目标设备地分配所述缓存页面，从页面高速缓存器除去所述缓存页面，对页面管理信息进行变更过程的设定变更步骤；通过DMA方式将所述缓存页面的数据拷贝到所述目标设备的第二次拷贝步骤。

Description

数据零拷贝文件的移动方法

技术领域

本发明涉及一种数据零拷贝文件的移动方法，具体涉及一种为了防止由CPU进行的、在用户区域和内核区域间的数据拷贝，通过共享内核区域内存在的缓存页面、进行资源设备/目标设备(例如，磁盘，网卡)间的文件移动，降低由于将数据拷贝到用户区域的CPU负荷及由此产生的费用，使得提高其整体性能的数据零拷贝文件的移动方法。

背景技术

在如多媒体流服务器这样接收大容量的文件的移动请求的系统中，伴随着文件的大容量化，存在数据的处理费用增加的问题，由此，CPU的可用性成为重要的问题。

也就是说，随着文件的移动而进行的数据处理量增多，在用户区域和内核区域间数据拷贝以及呼叫系统的呼出费用增加，每单位运算的CPU的使用率减少，但现在提出了解决其的各种方法。

更详细地说，一般为了移动文件，不得不反复对呼叫系统进行呼出，但每次呼出时，就会产生两次由CPU进行的用户区域/内核区域间数据拷贝和处理(process)的环境切换(context switching)。这是，使CPU资源的费用增加的演算，并且，在处理多数的大容量数据移动请求的系统的立场上来看，使其负荷加重。

为了解决这样的情况，分别以硬件性方式和软件性方式开发了通过数据零拷贝方式的文件的移动技术。

其中，硬件性方式主要在网卡领域的研究比较多，是通过将存在于网卡中的存储器连接到存在于用户区域的一定区域的地址空间，由此，发送到网络的数据不会被拷贝到内核区域内，而是从用户区域直接向网络设备拷贝和发送的方式。此时，所述数据拷贝不以CPU而是以DMA(Direct MemoryAccess)的方式被拷贝。

而且，软件性方式主要通过将用户区域的一定地址空间和分配给内核区域的一定存储区域相互连接，将被指定的存储区域内的数据不在用户区域或内核区域内拷贝，可以直接接触的方式。

这些方式都是通过所指定的存储区域间重映射(re-mapping)而进行，因此，为了使用这些方式，在存储区域中要求追加的管理的问题，如对被指定的存储区域的生成过程、请求进行处理的存储器的分配和解除。

以下，对以往的技术的、用于进行用户区域和内核区域间的文件移动的方法进行说明。

图1是用于说明使用了有关以往技术的用户区域和内核区域间数据拷贝的文件移动方式的一个实施方式的图。

内核在进行一般的文件移动运算时，位于用户区域的应用程序103请求读出文件，并从内核分配用于读出在资源设备101中所存储的数据的页面105。此时，在资源(source)设备101为网卡的情况下，分配套接缓存器107。接着，通过DMA方式从资源设备101向所述被分配的页面105或套接缓存器107上拷贝一次数据后，通过CPU，所述页面105或套接缓存器107内的数据被二次拷贝110、114到用户缓存器104上。

之后，在用户区域中，对存储在所述用户缓存器104中的数据请求移动到目标(target)设备100，因此，从内核分配出页面106或套接缓存器108。接着，通过CPU，存储在用户缓存器104的数据一次拷贝到所述被分配的页面106或套接缓存器108后，通过DMA方式，二次拷贝112，116到目标设备100上。

在所述拷贝过程中，移动对象文件中所包含的全部的数据，在用户区域内以所分配的存储区域反复进行移动，但是，每次文件从内核区域到用户区域或者以相反的情况进行移动时，就会产生该处理的环境切换。接着，所述用户区域的请求是表示呼叫系统的呼出，为了将一定单位的文件内的数据在设备(磁盘、网卡等)间移动，需要两次CPU的拷贝和两次呼叫系统的呼出。

以下，对于有关文件移动的现有技术，举出具体例进行说明。

作为第一现有技术，对大韩民国专利公开公报第10-2000-0065846号(2000年11月15日公开)的“操作系统中的内核和用户间零拷贝方法”进行说明，特别公开了在solaris运营体制中的内核区域和用户区域间传送数据块时，由于不拷贝位于用户区域的缓存器，而是在内核中使用假想存储器，因此能够降低在数据块传送时的时间方面过长和存储器浪费的技术。即，该第一现有技术对用户区域和内核区域共有的存储区域进行初始化，对存储映射进行共有(此时，必须要进一步进行区域的分配和解除等的管理)，能够起到节约数据块传送时间、存储器资源的效果。

但是，所述第一现有技术尽管提供了在一般的数据块传送时的费用降低和性能提高的效果，但不是文件移动特有的技术。

另外，作为第二现有技术，对大韩民国专利公开公报第10-2005-0065133号(2005年6月29日公开)的“实现零拷贝传送功能的网卡和服务器以及其传送方法”进行说明，其是无需存储器间的拷贝，使用PCI(PeripheralComponent Interconnect)存储器以及现有的通用B SD(Berkeley SoftwareDistribution)套接API(Application Programmable Interface)来支持零拷贝传送的技术，首先，为了将存储在磁盘中的数据传送到网络，用户程序将PCI存储器的一定区域映射到用户存储区域，从而得到相对该PCI存储器区域的假想地址。此后，用户程序请求对PCI存储器区域读出磁盘块，则磁盘控制器读出该磁盘块，并通过DMA方式将数据存储到该PCI存储区域内。用户程序在结束读出后，对该PCI存储区域请求传送到网络，在负责网络处理的内核内的TCP/IP(Transmission Control Protocol/Internet Protocol)协议栈中，通过确认从用户程序传送的地址为PCI存储器区域，仅制成标题(header)，向TOE(TCP/IP Offload Engine)网络控制器传送对应于该PCI存储区域的地址。所述TOE网络控制器以DMA的方式分别从本地存储器读取标题，从该PCI存储器读取有效载荷(payload)，进行求校验和(checksum)后传送到网络。

但是，尽管所述的第二现有技术不经过数据的中间拷贝，以零拷贝传送到网络，从而能够防止主机系统性能降低且使数据传送速度提高，但存在不易适用于不是网络的、一般系统内的磁盘间的问题。

进一步，作为第三现有技术，对大韩民国专利公开公报第10-2000-0038076号(2000年7月5日公开)的“零拷贝信息通过(passing)方法”进行说明，其公开了为了去除主机间的信息通过时所产生的存储拷贝溢出，在信息通过处理、调试监督程序以及网卡全部共享用于信息通过的存储器，在经由网络所连接的并联计算机环境中，将存储器拷贝而导致的性能的降低最小化的方法。

但是，所述的第三现有技术中尽管去除了在远程处理的信息交换时所产生的存储器拷贝的溢出，使得可提高现有信息通过系统的性能，但存在不能够去除系统内的用户区域和内核区域间的数据拷贝过程的问题。

本发明为了解决上述的问题，其目的在于提供了一种为了防止由CPU进行的、在用户区域和内核区域间的数据拷贝，通过共享内核区域内存在的缓存页面、进行资源设备/目标设备(例如，磁盘，网卡)间的文件移动，降低由于将数据拷贝到用户区域的CPU负荷及由此产生的费用，使得提高其整体性能的数据零拷贝文件的移动方法。

为了达到上述目的的本发明方法为

一种数据零拷贝文件的移动方法，包含：从用户区域的应用程序接收文件移动请求的请求接收步骤；通过DMA方式将用于资源设备的缓存页面分配给内核区域的分配步骤；将在所述资源设备中存储的移动对象文件数据拷贝到所述缓存页面上的一次拷贝步骤；为了以将所述拷贝的数据发送到目标设备这样来分配所述缓存页面，从页面高速缓存器中除去所述缓存页面，进行对页面管理信息变更过程的设定变更步骤；以及通过DMA方式将所述缓存页面数据拷贝到所述目标设备的二次拷贝步骤。

一种数据零拷贝文件的移动方法，包括：从用户区域的应用程序接收文件移动请求的请求接收步骤；在内核区域中分配用于资源设备的缓存页面的分配步骤；将存储在所述资源设备的移动对象文件的数据通过DMA方式拷贝到所述缓存页面的第一次拷贝步骤；为了将所述被拷贝的数据送到目标设备地分配所述缓存页面，从页面高速缓存器除去所述缓存页面，对页面管理信息进行变更过程的设定变更步骤；通过DMA方式将所述缓存页面的数据拷贝到所述目标设备的第二次拷贝步骤。

附图说明

图1是用于说明使用了有关以往技术的用户区域和内核区域间数据拷贝的文件移动方式的一个实施方式的图。

图2是用于说明有关本发明的数据零拷贝文件的移动方式的一个实施方式的图。

图3是用于说明表示本发明的数据零拷贝文件的移动方式所支持的可利用移动路径的一个实施方式的图。

图4是表示有关本发明数据零拷贝文件的移动方法的一个实施方式的流程图。

标号说明：

101、201资源设备；100、200目标设备；102、202内核区域；103、203应用程序；104用户缓存器；105、106页面；107、108、205、206套接缓存器；204缓存页面。

具体实施方式

以下，参照附图进一步详细说明本发明的优选实施方式。

本发明通过不经过由在用户区域和内核区域间CPU的数据拷贝、减少呼叫系统的呼出次数，能够提高CPU的可用性，使整体性能提高。此时，从除去对象排除通过DMA方式的拷贝过程。

接着，本发明的数据零拷贝文件移动方法作为内核内的构成要素来实现，可对用户区域提供接口。

图2是用于说明有关本发明的数据零拷贝文件的移动方式的一个实施方式的图。

如本图所示，位于用户区域的应用程序203请求设备(磁盘、网卡等)间的文件移动。与之对应，为了从作为资源设备201的磁盘或网卡读取数据，内核在内核区域内分配资源设备用的缓存页面204。此时，所述被分配的缓存页面204追加到内核的页面缓存器中。接着，从资源设备201通过DMA方式将页面大小的数据拷贝到所述被分配的缓存页面204。其中，在资源设备201为网卡的情况下，套接缓存器205中先进行通过DMA方式的拷贝过程207之后，通过CPU从套接缓存器205向所述被分配的缓存页面204进行一次拷贝过程。

所述被分配的缓存页面204为了作为向目标设备200传送数据的用途来使用(即，为了作为将所述被分配的页面发送到目标设备的数据移动用途来再利用)，而从所述页面高速缓存器中除去，进行与之相伴的、对页面管理信息的变更过程后，作为目标设备用的缓存页面204而追加到页面高速缓存器中。所述设定变更过程是由内核进行。接着，所述缓存页面204的数据通过DMA方式拷贝到目标设备200。此时，在目标设备200为网卡的情况下，通过CPU从所述缓存页面204向套接缓存器206进行一次拷贝过程后，从套接缓存器206向目标缓存器200通过DMA方式进行拷贝过程。

所述过程在移动对象文件内的全部数据移动完成为止反复进行。这里，所述资源设备用的缓存页面和目标设备用的缓存页面为相同的缓存页面，在资源设备/目标设备输入输出数据时被共享。

以下，参照图3来说明这些构成要素内的动作流程。

本图为用于说明表示本发明的数据零拷贝文件的移动方式所支持的可利用移动路径的一个实施方式的图。

这里，对于可适用本发明的数据零拷贝文件的移动方法的文件移动路径310、311、312、313进行说明。

可适用数据零拷贝文件的移动的情况包含：移动对象文件存储在本地系统的磁盘303的情况、以及位于网络上的其他系统304的情况。在移动对象文件存储在本地系统的磁盘303的情况下，为了移动310到相同的磁盘或其他的磁盘、或者为了发送311到网络上的其他系统，可以使其移动到网卡。

而且，在移动对象文件位于网络上其他系统304的情况下，考虑经由网卡接收的文件移动312到系统内的磁盘、或者再发送313到网络上其他系统进行的路径。

即，本发明能够提供在系统内存在的磁盘和网卡间的自由的文件移动。这里，资源设备303、304和目标设备301、302也可以相互相同。

这样，为了使数据不会拷贝到用户区域内，在网络和磁盘间进行自由的文件移动，就必须伴随从磁盘读出数据的读出模块306和将数据写入磁盘的写入模块308、还有从网络接收数据的接收模块307和向网络发送数据的发送模块309的各个数据处理过程。

此时，为了连接这四个构成要素306到309间的功能，使用相互间可识别设备的描述符(descriptor)，为了从资源设备向目标设备放入数据，共享所分配的缓存页面。

即，作为资源设备用而被分配的缓存页面，从资源设备传送文件的一部分数据之后，为了不经过CPU的拷贝(不经过从内核区域向用户区域的拷贝)，向期望的目标设备传递所述被传送的数据，传送到相应的输出处理模块。此时，不存在CPU的用户区域和内核区域间的数据拷贝过程，因此也不需要用户区域中的呼叫系统的呼出过程。

这里，对于为了共享缓存页面204的设定变更过程(由内核执行)进行详细说明。

为了共享缓存页面204的设定变更过程包含：对内核区域的页面高速缓存器追加和删除该页面的过程、和变更对于页面所具有的各个移动对象文件的信息的过程。

从磁盘/网络读出数据的读出模块306和接收模块307在分配页面时，以与现有页面相同的方式对页面高速缓存器分配新的页面(追加)。此时，在接收模块307的情况下，呼出对网络发送数据的发送模块309，发送所共享的缓存页面204的数据之后，同时进行解除追加在所述页面高速缓存器的页面的过程。这是因为，在经由网络的数据的接收发送过程中，不需要页面缓存器。

另一方面，对磁盘写入数据的写入模块308在使用从读出模块306或接收模块307被传递的页面之前，解除追加到现有页面高速缓存器的该页面(缓存页面)。这是为了防止相同页面由互不相同的设备将作为页面高速缓存器来使用而产生的系统上的问题。因此，包含有：在解除追加到页面高速缓存器上的现有页面之后，以用于目标设备的文件信息变更该页面数据的过程。但是，在资源设备和目标设备都是磁盘的情况下，在页面高速缓存器中仅存在用于目标设备的页面。

图4是表示有关本发明的数据零拷贝文件的移动方法的一个实施方式的流程图。

首先，通过从应用程序接收设备间的文件移动请求，内核在内核区域内分配资源设备用的缓存页面(S401)。此时，所述被分配的缓存页面204被追加到内核区域的页面高速缓存上。

接着，将存储在资源设备的数据通过DMA方式拷贝到内核所分配的所述缓存页面上(S402)。此时，在所述资源设备为网卡的情况下，移动对象文件的数据通过DMA方式一次拷贝到套接缓存器后，通过CPU从所述套接缓存器二次拷贝到所述缓存页面上。

此后，内核判断在所述缓存页面上是否有可以使用的空间、或者移动对象文件的数据是否全部被拷贝到所述缓存页面上(S403)。所述判断(S403)的结果，在所述缓存页面没有可以使用的空间、或者全部数据被拷贝的情况下，进入下一个过程。反之，所述判断(S403)的结果，在所述缓存页面还剩余有可用空间、或者数据拷贝没有结束的情况下，调节(S404)所述缓存页面的补偿(offset)后，返回到从所述资源设备拷贝数据的过程(S402)。

随后，内核从所述内核区域的页面高速缓存器中除去所述缓存页面，进行对页面管理信息的变更过程(S405)。这是为了防止由共享所述缓存页面的系统上产生的问题。作为进行了所述设定变更过程的结果，所述缓存页面保持所变更的信息，同时作为目标设备用的缓存页面而追加到所述页面高速缓存器中。

随后，内核通过DMA方式将所述缓存页面的数据拷贝到目标设备上(S406)。此时，在目标设备为网卡的情况下，所述数据由CPU一次拷贝到套接缓存器后，通过DMA方式从所述套接缓存器二次拷贝到目标设备。

此后，内核判断移动对象文件的数据是否全部从资源设备拷贝到目标设备(S407)，在拷贝结束的情况下结束(对用户区域回复结果)，在拷贝没有结束的情况下，变更处理对象数据全体大小(S408)之后，返回到分配资源设备用的缓存页面的过程(S401)。

上述的本发明的方法是通过程序而实现，并以可从计算机读出的形态存储到记录媒体(CD-ROM、RAM、ROM、软盘、硬盘、光盘等)上。这样的过程是具有本发明所属技术领域内的常识的人员能够容易地实现，因此省略对以上内容的详细说明。

本发明通过不经过用户区域和内核区域间数据拷贝过程，减少呼叫系统的呼出次数及由于其的处理关联转换次数，具有能够提高CPU可用性、提高整体性能的效果。

而且，由于本发明没有生成、管理、使用其它用途上所指定的共享存储区域，通过在内核区域内分配并使用共享缓存页面，具有降低费用追加负担的效果。

以上，本发明并不限定于上述实施形态，在不脱离本发明的技术思想的区域内可以进行各种变更，而且这些也属于本发明的技术区域。

Claims (5)

1、一种数据零拷贝文件的移动方法，其特征在于，包括：

从用户区域的应用程序接受文件移动请求的请求接收步骤；

在内核区域中分配用于资源设备的缓存页面的分配步骤；

将存储在所述资源设备的移动对象文件的数据通过DMA方式拷贝到所述缓存页面的第一次拷贝步骤；

为了将所述被拷贝的数据传送到目标设备地分配所述缓存页面，而从页面高速缓存器中除去所述缓存页面，进行对页面管理信息的变更过程的设定变更步骤；以及

将所述缓存页面的数据通过DMA方式拷贝到所述目标设备的第二次拷贝步骤。

2、如权利要求1所述的数据零拷贝文件的移动方法，其特征在于：

所述设定变更步骤在从内核的所述页面高速缓存器中削除了所述缓存页面后，追加新的缓存页面，以用于所述目标设备的文件信息来变更所述追加的缓存页面数据。

3、如权利要求1或2所述的数据零拷贝文件的移动方法，其特征在于：

所述资源设备和所述目标设备为本地系统的磁盘或网卡中任意一个。

4、如权利要求3所述的数据零拷贝文件的移动方法，其特征在于：

所述第一次拷贝步骤，根据所述资源设备为所述网卡，在通过DMA方式将存储在所述网卡中的移动对象文件的数据拷贝到套接缓存器后，通过CPU将存储在所述套接缓存器中的数据拷贝到所述缓存页面上。

5、如权利要求3所述的数据零拷贝文件的移动方法，其特征在于：

所述第二次拷贝步骤，根据所述目标设备为所述网卡，通过CPU将存储在所述缓存页面的移动对象文件的数据拷贝到套接缓存器之后，通过DMA方式将存储在所述套接缓存器中的数据拷贝到所述网卡上。

Images