CN103823634B - 一种支持无随机写模式的数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种支持无随机写模式的数据处理方法，一种方案包括：触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；将写入内存缓存区的用户数据、和固态硬盘(SSD)的全量数据文件中的用户数据对外提供读取访问。另一种方案包括：触发读请求后，根据读请求所需要的用户数据，判断如何从对外提供读取访问的内存缓冲区和固态硬盘SSD选择读取用户数据。本发明还公开了一种支持无随机写模式的数据处理系统，数据写入单元用于触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件。采用本发明，能在极大地降低运算复杂度和成本的基础上，提高读/写效率，从而能为用户提供高并发的数据读/写服务。

Description

一种支持无随机写模式的数据处理方法及系统

技术领域

本发明涉及磁盘上存储数据的数据处理技术，尤其涉及一种支持无随机写模式的数据处理方法及系统。

背景技术

用户原创内容(UGC，User Generated Content)是一种用户使用互联网的新方式，即由原来的以下载为主的数据处理，变成下载和上传并重的数据处理。社区网络、视频分享和博客等都是UGC的主要应用形式。随着全球互联网业务的不断发展，UGC业务正在日渐崛起，引起了业界的广泛关注。

由于数据是用户产生的，海量的用户势必催生出海量的数据，同时又会带来海量的读写量。如何有效地存储这些用户数据，以及提供高并发的数据读写服务，是技术领域必然面临的问题。

针对这个问题，现有技术的数据处理方法是用固态硬盘(SSD，solid statedisk)进行分区存储，即：将数据的总存储空间划分为一块块的分区，每个分区有16k字节的大小，将数据分别存储，以提高数据处理的并发处理效率。现有的数据处理只能支持随机写模式，所谓随机写模式指：按照用户的写请求(包括新增数据的写请求或修改数据的写请求)，逐行顺序写入数据的方式来实现数据处理，对应的SSD数据存储方式如图1所示。

由于SSD写性能很差，特别是在随机写模式时对写请求的数据处理，具体的，在新增数据的写请求时，是不断地在文件的末尾新增数据，逐行顺序写入数据到SSD的分区中；在修改数据的写请求时，基于SSD的介质存储的原理，将存储划分为一块块的分区，每个分区有16k字节的大小，即便只修改16k中的一个字节，SSD也会将16k全部读取出来，仅修改其中的一个字节，将原有16k的内容进行擦除，再将修改后的数据写回，也就是说，针对修改数据的写请求是会完全擦除原有的数据，再更新。

现有技术存在的问题如下所述：

1、海量数据势必带来大的读写量，由于随机写模式的写请求会擦除原有的数据，再更新，因此，用户大量随机写模式的写请求会对SSD硬盘分区进行频繁地修改更新操作，不仅数据处理的耗时增加，而且对SSD的物理存储磨损也很大，导致SSD使用寿命大大缩短。举例来说，经过对SSD性能的测试可知：读、写、擦除的时间消耗分别为25us、200us、1.5ms，可见频繁擦除会带来严重的时间损耗；一个SSD的分区，其写次数的使用寿命是5000次，也就是说，如果反复修改一个分区达到上限5000次，则这个分区就会损坏，需要更换整块SSD。

2、随机写模式的写请求会干扰到数据读取的效率，从而对高并发读服务造成很不稳定的服务质量。举例来说，经过对SSD性能的测试可知：SSD如果只提供读服务，能达到4000/S稳定的读质量，但是若同时增加了25/S的随机写模式的写请求，则读性能会降低到2500/S的不稳定的读质量，读取效率大大降低。

综上所述，现有技术支持随机写模式写请求的数据处理方案，不仅耗时，影响SSD的使用寿命，而且对读请求或写请求的数据处理效果都不好，如果能有一种简单、高效、低成本的方案，在极大地降低运算复杂度和成本的基础上，提高读/写效率，从而能为用户提供高并发的数据读/写服务，将是非常有意义的。

发明内容

有鉴于此，本发明的主要目的在于提供一种支持无随机写模式的数据处理方法及系统，在极大地降低运算复杂度和成本的基础上，提高读/写效率，从而能为用户提供高并发的数据读/写服务。

为达到上述目的，本发明的技术方案是这样实现的：

一种支持无随机写模式的数据处理方法，该方法包括：

触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；

将固态硬盘SSD中的原始数据与记入所述binlog文件里的用户数据进行整理合并，生成全量数据文件并写入所述SSD中；

将写入所述内存缓存区的用户数据、和SSD的全量数据文件中的用户数据对外提供读取访问。

所述将写请求的用户数据写入内存缓冲区，并记入binlog文件具体包括：所述写请求为新增数据的写请求时，从所述SSD中原始数据文件里找到需要新增数据的位置并标记好所述位置，将新增数据的写请求的用户数据写入内存缓冲区，将新增数据的写请求的用户数据记入binlog文件。

所述方法还包括：等到所有新增数据的写请求都执行完毕，返回到标记好的所述位置，用新增数据的写请求的用户数据统一进行新增数据的修改。

所述将写请求的用户数据写入内存缓冲区，并记入binlog文件具体包括：所述写请求为修改数据的写请求时，根据所述修改数据的写请求的用户数据，读取所述SSD中原始数据文件里对应的需要修改的数据；从所述SSD中原始数据文件里找到所述需要修改的数据的位置并标记好所述位置，将修改数据的写请求的用户数据写入内存缓冲区，将修改数据的写请求的用户数据记入binlog文件。

所述方法还包括：等到所有修改数据的写请求都执行完毕，返回到标记好的所述位置，用修改数据的写请求的用户数据将需要修改的数据统一进行修改。

一种支持无随机写模式的数据处理方法，该方法包括：触发读请求后，根据读请求所需要的用户数据，判断如何从对外提供读取访问的内存缓冲区和固态硬盘SSD选择读取用户数据。

所述从对外提供读取访问的内存缓冲区和SSD选择读取用户数据具体包括：

如果判断出所述读请求所需要的用户数据都包括在内存缓冲区，则直接从内存缓冲区读取用户数据；

如果判断出所述读请求所需要的用户数据未都包括在内存缓冲区，则除了需要从内存缓冲区读取用户数据，还需要从SSD的全量数据文件中读取用户数据。

一种支持无随机写模式的数据处理系统，该系统包括：数据写入单元、数据整理单元、数据读取单元；其中，

所述数据写入单元，用于触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；

所述数据整理单元，用于将固态硬盘SSD中的原始数据与记入所述binlog文件里的用户数据进行整理合并，生成全量数据文件并写入所述SSD中；

所述数据读取单元，用于触发读请求后，根据读请求所需要的用户数据进行判断，如果需要从内存缓冲区读取用户数据，则直接从内存缓冲区读取用户数据；如果还需要从SSD读取用户数据，则从SSD的全量数据文件中读取用户数据。

所述数据写入单元，进一步用于所述写请求为新增数据的写请求时，从所述SSD中原始数据文件里找到需要新增数据的位置并标记好所述位置，将新增数据的写请求的用户数据写入内存缓冲区，将新增数据的写请求的用户数据记入binlog文件。

所述系统还包括：数据修改单元，用于获知所有新增数据的写请求都执行完毕后，返回到标记好的所述位置，用新增数据的写请求的用户数据统一进行新增数据的修改。

所述数据写入单元，进一步用于所述写请求为修改数据的写请求时，根据所述修改数据的写请求的用户数据，读取所述SSD中原始数据文件里对应的需要修改的数据；从所述SSD中原始数据文件里找到所述需要修改的数据的位置并标记好所述位置，将修改数据的写请求的用户数据写入内存缓冲区，将修改数据的写请求的用户数据记入binlog文件。

所述系统还包括：数据修改单元，用于获知所有修改数据的写请求都执行完毕后，返回到标记好的所述位置，用修改数据的写请求的用户数据将需要修改的数据统一进行修改。

本发明方法的一种方案为：触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；将SSD中的原始数据与记入binlog文件里的用户数据进行整理合并，生成全量数据文件并写入SSD中；将写入内存缓存区的用户数据、和SSD的全量数据文件中的用户数据对外提供读取访问。

采用本发明，由于不仅仅将用户数据存储在SSD中供读取访问使用这一种途径，而且还能将用户数据写入内存缓冲区，并记入binlog文件，且生成全量数据文件并存储于SSD中，因此，除了读取SSD，还多了一种途径，即：少量数据直接从内存缓冲区读取，能减少对SSD的读取次数，减少对SSD的物理损耗。本发明的SSD可供读取访问的文件，并不是原始文件，而是整理合并后的最新的全量数据文件，因此，可以在极大地降低运算复杂度和成本的基础上，提高读/写效率，从而能为用户提供高并发的数据读/写服务。

附图说明

图1为现有技术SSD数据存储方式的示意图；

图2为本发明针对写请求的数据处理方法的实现流程示意图；

图3为本发明针对读请求的数据处理方法的实现流程示意图；

图4为本发明系统的组成结构及系统模块间的交互示意图。

具体实施方式

本发明的基本思想是：基于写请求和读请求，提供了基于内存缓冲区和binlog文件机制的不同的数据处理方法，对于写请求，将写请求的用户数据写入内存缓冲区，并记入binlog文件，将写入内存缓存区的用户数据、和SSD的全量数据文件中的用户数据对外提供读取访问；对于读请求，如果从内存缓冲区读取用户数据就可以，则从内存缓冲区读取用户数据，如果还需要进一步从SSD读取用户数据，则从SSD的全量数据文件中读取用户数据。

需要指出的是：本文中，SSD中原始数据可以称为原始数据文件，也可以称为SSD中的旧数据文件，如图4所示。binlog文件里的数据指所有新增数据的写请求和修改数据的写请求对应的用户数据。在SSD中生成的一个最新最全的新数据文件，称为整理合并后生成的全量数据文件，也可以简称为SSD中的新数据文件，如图4所示。以下不做赘述。

下面结合附图对技术方案的实施作进一步的详细描述。

一种支持无随机写模式的数据处理方法，如图2所示，该方法包括：

步骤101、触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件。

步骤102、在读取访问量少的情况下，将SSD中的原始数据与记入binlog文件里的用户数据进行整理合并，生成整理合并后的全量数据文件并写入SSD中。

步骤103、将写入内存缓存区的用户数据、和SSD的全量数据文件中的用户数据对外提供读取访问。

一种支持无随机写模式的数据处理方法，如图3所示，该方法包括：

步骤201、触发读请求后，根据读请求所需要的用户数据，判断是否需要除了从内存缓冲区读取用户数据，还需要进一步从SSD读取用户数据，如果从内存缓冲区读取用户数据就可以，则执行步骤202；如果还需要进一步从SSD读取用户数据，则执行步骤203。

步骤202、从内存缓冲区读取用户数据。

步骤203、从SSD的全量数据文件中读取用户数据。

一种支持无随机写模式的数据处理系统，如图4所示，该系统包括：数据写入单元、数据整理单元、数据读取单元；其中，述数据写入单元用于触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；数据整理单元，用于将固态硬盘SSD中的原始数据与记入binlog文件里的用户数据进行整理合并，生成全量数据文件并存储于SSD中；数据读取单元用于触发读请求后，根据读请求所需要的用户数据进行判断，如果需要从内存缓冲区读取用户数据，则直接从内存缓冲区读取用户数据；如果还需要从SSD读取用户数据，则从SSD的全量数据文件中读取用户数据。

这里，数据写入单元进一步用于所述写请求为新增数据的写请求时，从所述SSD中原始数据文件里找到需要新增数据的位置并标记好所述位置，将新增数据的写请求的用户数据写入内存缓冲区，将新增数据的写请求的用户数据记入binlog文件。

这里，该系统还包括：数据修改单元，用于获知所有新增数据的写请求都执行完毕后，返回到标记好的所述位置，用新增数据的写请求的用户数据统一进行新增数据的修改。

这里，数据写入单元进一步用于所述写请求为修改数据的写请求时，根据所述修改数据的写请求的用户数据，读取所述SSD中原始数据文件里对应的需要修改的数据；从所述SSD中原始数据文件里找到所述需要修改的数据的位置并标记好所述位置，将修改数据的写请求的用户数据写入内存缓冲区，将修改数据的写请求的用户数据记入binlog文件。

这里，该系统还包括：数据修改单元，用于获知所有修改数据的写请求都执行完毕后，返回到标记好的所述位置，用修改数据的写请求的用户数据将需要修改的数据统一进行修改。

如图4所示，存储区域包括内存缓存区，最好是高速缓冲存储器(cache)缓存区，存储区域还包括SSD。其中，SSD至少有2个分区，图4中只画了2个分区进行示意描述，一个分区用于存储旧数据文件，另一个分区用于存储新数据文件。这里，所述旧数据文件指：未经数据处理、原始写入的文件；所述新数据文件指：通过对cache缓冲区里的数据与旧数据文件里的数据进行合并整理后获得的新数据文件。

可见，本发明采取的存储方式比现有技术优越，因为现有技术仅仅在SSD存储数据，而本发明是在内存缓存区和SSD都存储有数据；而且，如果一个读请求所需要的数据能在内存缓存区里全部找到，就不需要读取SSD存储的数据文件，仅仅在内存缓存区找不齐数据的情况才需要读取SSD，这种可选择的读取访问比现有技术只能单一读取访问SSD来说，由于内存缓冲区的反应速度快，因此，采用本发明不仅效率高，节约了时间成本，而且避免了多次读取访问SSD造成的对SSD的物理损耗，延长其使用寿命。

如图4所示，基于本发明的系统模块，各模块间的交互过程包括以下内容：

一、针对写请求而言，对于任意的写请求，包括新增数据的写请求和修改数据的写请求，所有的写请求都会记入binlog文件中，同时也会记入内存缓冲区中，以便对外提供用户的读取访问。所述binlog文件指：二进制日志，采用二进制形式记录用户的动作。

具体的，对于新增数据的写请求，其实现过程为：从SSD中原始数据找到需要新增数据的位置并标记好所述位置，将新增数据的写请求写入内存缓冲区；将新增数据的写请求记入binlog文件。一种方式是：等到所有新增数据的写请求都执行完毕，返回到标记好的位置，用新增数据的写请求的用户数据统一进行新增数据的修改。另一种方式是：达到设定的处理周期时，返回到标记好的位置，用binlog文件里累积的新增数据的写请求统一对用户的数据进行修改。采用后一种方式的好处是：会将由写请求操作导致的SSD物理损坏降低到最小。

具体的，对于修改数据的写请求，其实现过程为：先根据修改数据的写请求，读取SSD中原始数据里对应的需要修改的原始数据；从旧数据文件里找到该原始数据的位置后，标记好该原始数据的位置，将修改数据的写请求写入内存缓冲区；将修改数据的写请求记入binlog文件。一种方式是：等到修改数据的写请求都执行完毕，返回到标记好的该原始数据的位置，用修改数据的写请求将对应的需要修改的原始数据统一进行一次性的修改，该修改可以采用批处理命令执行。另一种方式是：达到设定的处理周期时，返回到标记好的位置，用binlog文件里累积的修改数据的写请求统一对用户的数据进行修改。采用后一种方式的好处是：会将由写请求操作导致的SSD物理损坏降低到最小。

需要指出的是：新增数据的写请求和修改数据的写请求，可以在内存缓冲区里面分2个区放置，也可以在同一个分区里放置。

针对内存缓冲区和binlog文件而言，内存缓冲区还可以存储最近一个预设处理周期的数据，比如最近7天的新增数据的写请求和修改数据的写请求对应的用户数据，超过7天则会进行淘汰，删除对应的用户数据以节约内存资源。而且，内存缓冲区可以对外提供实时的高性能并发读取和写入数据处理服务。而binlog文件区别于内存缓冲区，存储的是所有新增数据的写请求和修改数据的写请求对应的用户数据，因为是作为备份永久存储，所以不会超时删除，也并不对外提供实时的高性能并发读取和写入数据处理服务。

采用内存缓冲区的好处是：一：在内存缓冲区上述删除对应的用户数据以节约内存资源的；二、内存缓冲区是把最近一个处理周期，如7天内新增数据的写请求和修改数据的写请求对应的用户数据写入内存缓冲区中，在该处理周期内(7天)，会将binlog文件里存储的用户数据和SSD中旧数据文件里的数据一起整理合并，以整理出最新最全的数据文件(全量保存用户数据的文件)，即为图4中的新数据文件，则在后续处理读请求时，会结合内存缓冲区判断是否还需要读取SSD上的该新数据文件，或者直接读取内存缓冲区里的数据就可以，如果一个读请求所需要的数据能在内存缓冲区里全部找到，则就不需要读取SSD存储的新数据文件，这样只访问了内存缓冲区，比需要访问内存缓冲区+SSD的效率会高很多。而且，如果在这个处理周期内，只访问了内存缓冲区就能完成对读请求的处理，则本发明引入内存缓存区和binlog文件的这种无随机写的模式，区别于现有技术的有随机写模式(随写随读顺序输入，且随机写请求会擦除原有的数据，再更新)，本发明对SSD是无任何写请求处理的，只有读请求处理，这样有利于读请求服务质量的提高，同时提高SSD的使用寿命，因为SSD无随机写与有随机写的使用寿命之比为300∶1。

二、针对整理操作而言，其实现过程为：读取旧数据文件里的数据；读取binlog文件里的用户数据；将binlog文件里存储的用户数据和SSD中旧数据文件里的数据一起整理合并，以整理出最新最全的新数据文件(全量保存用户数据的文件)，即为图4中的新数据文件，将生成的新数据文件设置为提供非实时的读取访问，以便对外提供读取数据处理服务。

采用整理操作的好处是：在读取请求量较小时，通过将原始数据与binlog文件里的数据一起做整理合并，生成一个最新最全的新数据文件。这样，本发明区别于现有技术是实时的修改SSD的动作，变成非实时的修改SSD，从而在读取请求量小时，更新数据文件，将处理写请求带来的影响尽量降低。比如，在进行整理操作时，可以选择读取请求量比较小的时刻(例如凌晨1点)进行整理，这样会将处理读取请求带来的影响降低到最小甚至为0。需要指出的是，针对整理操作而言，还可以针对内存缓冲区的处理周期，设置在该处理周期如7天内，周期性地将binog文件与SSD上的旧数据文件的数据进行合并，更新数据，生成新数据文件，这样新数据文件能得到周期性地更新，以达到最新的数据，提高对外提供读取服务的服务质量和效率。

三、针对读请求而言，先读取内存缓冲区，如果一个读请求所需要的数据，能在内存缓冲区里全部找到，则就不需要读取SSD存储的数据文件，即内存访问方式，这样只访问了内存缓冲区，比需要访问内存+SSD所采用的内存+SSD访问方式的效率会高出很多；如果不能满足需要，即一个读请求所需要的数据还需要在SSD找寻(内存+SSD访问方式)，需要借助整合操作，将原始数据(旧数据文件)与binlog文件里的数据一起做整理合并，生成一个最新最全的新数据文件对外提供读取服务。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种支持无随机写模式的数据处理方法，其特征在于，该方法包括：

触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；

将固态硬盘SSD中的原始数据与记入所述binlog文件里的用户数据进行整理合并，生成全量数据文件并写入所述SSD中；

将写入所述内存缓存区的用户数据、和SSD的全量数据文件中的用户数据对外提供读取访问；

在所述内存缓存区和所述SSD都存储有所述用户数据，在所述内存缓存区找不齐用户数据时从所述SSD中得到用户数据。

2.根据权利要求1所述的方法，其特征在于，所述将写请求的用户数据写入内存缓冲区，并记入binlog文件具体包括：

所述写请求为新增数据的写请求时，从所述SSD中原始数据文件里找到需要新增数据的位置并标记好所述位置，将新增数据的写请求的用户数据写入内存缓冲区，将新增数据的写请求的用户数据记入binlog文件。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：等到所有新增数据的写请求都执行完毕，返回到标记好的所述位置，用新增数据的写请求的用户数据统一进行新增数据的修改。

4.根据权利要求1所述的方法，其特征在于，所述将写请求的用户数据写入内存缓冲区，并记入binlog文件具体包括：

所述写请求为修改数据的写请求时，根据所述修改数据的写请求的用户数据，读取所述SSD中原始数据文件里对应的需要修改的数据；从所述SSD中原始数据文件里找到所述需要修改的数据的位置并标记好所述位置，将修改数据的写请求的用户数据写入内存缓冲区，将修改数据的写请求的用户数据记入binlog文件。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：等到所有修改数据的写请求都执行完毕，返回到标记好的所述位置，用修改数据的写请求的用户数据将需要修改的数据统一进行修改。

6.一种支持无随机写模式的数据处理方法，其特征在于，该方法包括：

触发读请求后，根据读请求所需要的用户数据，判断如何从对外提供读取访问的内存缓冲区和固态硬盘SSD选择读取用户数据；

在所述内存缓存区和所述SSD都存储有所述用户数据，在所述内存缓存区找不齐用户数据时从所述SSD中得到用户数据。

7.根据权利要求6所述的数据处理方法，其特征在于，所述在所述内存缓存区和所述SSD都存储有所述用户数据，在所述内存缓存区找不齐用户数据时从所述SSD中得到用户数据具体包括：

如果判断出所述读请求所需要的用户数据都包括在内存缓冲区，则直接从内存缓冲区读取用户数据；

如果判断出所述读请求所需要的用户数据未都包括在内存缓冲区，则除了需要从内存缓冲区读取用户数据，还需要从SSD的全量数据文件中读取用户数据。

8.一种支持无随机写模式的数据处理系统，其特征在于，该系统包括：数据写入单元、数据整理单元、数据读取单元；其中，

所述数据写入单元，用于触发写请求后，将写请求的用户数据写入内存缓冲区，并记入binlog文件；

所述数据整理单元，用于将固态硬盘SSD中的原始数据与记入所述binlog文件里的用户数据进行整理合并，生成全量数据文件并写入所述SSD中，以在所述内存缓存区和所述SSD都存储有所述用户数据；

所述数据读取单元，用于触发读请求后，在所述内存缓存区找不齐用户数据以从所述SSD中得到用户数据的过程中，根据读请求所需要的用户数据进行判断，如果需要从内存缓冲区读取用户数据，则直接从内存缓冲区读取用户数据；如果还需要从SSD读取用户数据，则从SSD的全量数据文件中读取用户数据。

9.根据权利要求8所述的系统，其特征在于，所述数据写入单元，进一步用于所述写请求为新增数据的写请求时，从所述SSD中原始数据文件里找到需要新增数据的位置并标记好所述位置，将新增数据的写请求的用户数据写入内存缓冲区，将新增数据的写请求的用户数据记入binlog文件。

10.根据权利要求9所述的系统，其特征在于，其特征在于，该系统还包括：数据修改单元，用于获知所有新增数据的写请求都执行完毕后，返回到标记好的所述位置，用新增数据的写请求的用户数据统一进行新增数据的修改。

11.根据权利要求8所述的系统，其特征在于，所述数据写入单元，进一步用于所述写请求为修改数据的写请求时，根据所述修改数据的写请求的用户数据，读取所述SSD中原始数据文件里对应的需要修改的数据；从所述SSD中原始数据文件里找到所述需要修改的数据的位置并标记好所述位置，将修改数据的写请求的用户数据写入内存缓冲区，将修改数据的写请求的用户数据记入binlog文件。

12.根据权利要求11所述的系统，其特征在于，该系统还包括：数据修改单元，用于获知所有修改数据的写请求都执行完毕后，返回到标记好的所述位置，用修改数据的写请求的用户数据将需要修改的数据统一进行修改。