CN103218462A - 一种数据处理方法 - Google Patents

Abstract

本发明公开了一种在大型文件处理中应用分层存储技术的数据处理方法，其包括读取步骤：获得文件请求，判断目标文件是否位于快速存储系统，是则从快速存储系统中将所述目标文件进行反馈传输，否则从基础存储系统中将所述目标文件进行反馈传输。采用上述方案，本发明采用分层存储的方式，有效地利用了快速存储系统，提高了快速存储系统的应用效率，从而在有限快速存储系统的前提下有效提升了数据处理效率，解决了在大型文件处理过程中高频率读写速率低下的问题，具有非常广泛的市场应用价值。

Description

一种数据处理方法

技术领域

本发明涉及分层存储在文件处理的应用领域，尤其涉及的是，一种数据处理方法。

背景技术

相对于较为廉价的基础存储系统，具备同样存储空间的快速存储系统总是较为昂贵，例如SCSI存储系统相对于IDE存储系统较为昂贵，现在，新的固态硬盘(SSD，Solid State Disk)存储系统相对于串行高级技术附件(SATA，Serial Advanced Technology Attachment)存储系统也是如此。这是技术发展的趋势，通常不会改变。

但是，凡是涉及大型文件，例如媒体资源、三维构图、设计数据或者石油勘探数据等文件，通常体积较大，或称为大小较大；例如，常常大于200兆、350兆、500MB等，或者大于1个GB，尤其是现在对于视频文件清晰度要求的不断提高，视频文件的大小越来越大，如果一律采用快速存储系统，则成本明显偏高，性价比偏低。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题是提供一种新型的在大型文件处理中应用分层存储技术的数据处理方法。

本发明的技术方案如下：数据处理方法，其包括读取步骤：获得文件请求，判断目标文件是否位于快速存储系统，是则从快速存储系统中将所述目标文件进行反馈传输，否则从基础存储系统中将所述目标文件进行反馈传输。

优选的，所述数据处理方法中，所述读取步骤中，在从基础存储系统中将目标文件进行反馈传输时，还执行以下存储步骤：从基础存储系统中将目标文件存储到快速存储系统。

优选的，所述数据处理方法还包括管理步骤：维护文件管理表，其中存储文件的位置信息，所述位置信息包括所述基础存储系统以及所述快速存储系统；并且，所述读取步骤中，根据所述文件管理表，判断目标文件是否位于所述快速存储系统。

优选的，所述数据处理方法还包括编辑步骤：获得编辑请求，判断目标文件是否位于快速存储系统，是则在所述快速存储系统中将所述目标文件进行编辑，否则在所述基础存储系统中将所述目标文件转存到所述快速存储系统，在所述快速存储系统中将所述目标文件进行编辑。

优选的，所述数据处理方法中，所述管理步骤中，所述维护文件管理表，还存储文件的更新信息。

优选的，所述数据处理方法中，所述快速存储系统包含固态硬盘或固态硬盘组，所述基础存储系统包含串行高级技术附件或串行高级技术附件组。

优选的，所述数据处理方法中，所述管理步骤还包括第一更新步骤：根据所述文件管理表，对于所述快速存储系统的某一文件，判断其上一次文件请求的时间是否超过一预设置阈值，是则从所述快速存储系统删除该文件，更新所述文件管理表。

优选的，所述数据处理方法中，所述第一更新步骤中，在从所述快速存储系统删除该文件之前，还执行第一同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

优选的，所述数据处理方法中，所述管理步骤还包括第二更新步骤：根据所述文件请求，对于相同目标文件，判断在一预设置阈值内是否存在新发生的文件请求，否则从所述快速存储系统删除该文件，更新所述文件管理表。

优选的，所述数据处理方法中，所述第二更新步骤中，在从所述快速存储系统删除该文件之前，还执行第二同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

采用上述方案，本发明采用分层存储的方式，有效地利用了快速存储系统，提高了快速存储系统的应用效率，从而在有限快速存储系统的前提下有效提升了数据处理效率，解决了在大型文件处理过程中，高频率读写速率低下的问题，尤其适用于媒资制作、三维图像处理、石油勘探数据等大型数据文件，因此具有非常广泛的市场应用价值。

附图说明

图1为本发明的一个实施例的应用示意图；

图2为本发明的一个实施例的示意图；

图3为本发明的又一个实施例的示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图2所示，本发明的一个实施例是，数据处理方法，其包括读取步骤：获得文件请求，判断目标文件是否位于快速存储系统，是则从快速存储系统中将所述目标文件进行反馈传输，否则从基础存储系统中将所述目标文件进行反馈传输。优选的，如图3所示，所述读取步骤中，在从基础存储系统中将目标文件进行反馈传输时，还执行以下存储步骤：从基础存储系统中将目标文件存储到快速存储系统。优选的，存储步骤之前，还执行筛选步骤：判断目标文件的大小大于一预设值时，则执行存储步骤，否则不执行存储步骤。例如，仅存储大于一预设值的目标文件，例如，预设值为20MB、50MB、200MB、500MB、1GB或者2GB等。例如，预设值为60兆、200兆或800兆。这样，对于一般的小文件，则无需采用快速存储系统，从而节约优势资源的利用率，提高整体系统的效率比。

又如，筛选步骤中还执行分析步骤：对于被请求次数或被请求频率较高的文件，则无论其大小，一律执行存储步骤，从基础存储系统中将目标文件存储到快速存储系统。例如，累计各个文件的被请求次数，判断其是否高于一个预设次数数值，例如5次、10次、20次等等，依实际情况灵活设置并调整，或者，计算各个文件的被请求频率，判断其是否高于一个预设频率数值，例如，高于2次/小时、4次/分钟、6次/2小时、8次/3小时等等，依实际情况灵活设置并调整；对于被请求次数高于预设次数数值或被请求频率高于预设频率数值的文件，则无论其大小，一律执行存储步骤，从基础存储系统中将目标文件存储到快速存储系统。又如，判断文件是否为常用，即判断文件是否为高频率读写的文件，如果为高频率读写的文件也可以执行将文件保存到SSD中的步骤；又如，对于三个小时之内被请求了超过10次的文件，无论其大小，从基础存储系统中将目标文件存储到快速存储系统。

优选的，与后续相关实施例相结合，分析步骤中还执行延时步骤：对于被请求次数或被请求频率较高的文件，延长其预设置阈值，例如，一般文件在2小时内没有后续请求，则从快速存储系统删除，而对于被请求次数或被请求频率较高的文件，则在3小时或者5小时内没有后续请求，才从快速存储系统删除。优选的，与后续相关实施例相结合，还包括更新文件管理表中的文件相关信息的步骤。

优选的，判断目标文件是否位于快速存储系统之前，还执行大型文件判断步骤：判断目标文件的大小是否大于一预设值，是则判断目标文件是否位于快速存储系统，否则直接从基础存储系统中将所述目标文件进行反馈传输。例如，预设值为150MB、900MB、1GB或者2GB、8GB、26GB等。例如，预设值为160兆，即160Megabyte，或预设值为400兆。本发明各实施例对该预设值不做额外限制，只需依据实际应用情况对其进行定义即可。又如，判断目标文件是否位于快速存储系统之前，还执行特殊格式文件判断步骤：判断目标文件是否为特殊格式文件，例如视频文件、音频文件、3D文件、大型数据存储文件等，是则判断目标文件是否位于快速存储系统，否则直接从基础存储系统中将所述目标文件进行反馈传输。优选的，特殊格式文件判断步骤还包括：反馈传输，包括将目标文件直接从存储系统，包括快速存储系统和/或基础存储系统，传输给文件请求方；和/或，将目标文件从存储系统传输到文件被请求方，然后再从文件被请求方传输给文件请求方。优选的，反馈传输将目标文件直接从存储系统直接传输给文件请求方。

优选的，所述数据处理方法还包括管理步骤：维护文件管理表，其中存储文件的位置信息，所述位置信息包括所述基础存储系统以及所述快速存储系统；并且，所述读取步骤中，根据所述文件管理表，判断目标文件是否位于所述快速存储系统。优选的，所述管理步骤还包括初始化步骤：预读基础存储系统以及快速存储系统的文件信息，生成所述文件管理表。优选的，所述文件管理表中的文件，仅包括大型数据文件，例如媒体资源文件等。例如，其中的视频文件的格式包括但不限于AVI、MPG、MP4、RM、RMVB、WMV、MOV、DAT、MTV、VOB等。优选的，所述文件管理表中仅包括大小大于一预设值的文件，例如，预设值为500MB或者1GB或者2GB等。例如，预设值为100兆或800兆。例如，文件管理表，包括以下信息中的一项或多项或全部：文件名称、大小、类型、存储位置、修改时间、创建日期、所有者、版权人、版权信息、持续时间、分辨率、帧数据等。

优选的，所述数据处理方法还包括编辑步骤：获得编辑请求，判断目标文件是否位于快速存储系统，是则在所述快速存储系统中将所述目标文件进行编辑，否则在所述基础存储系统中将所述目标文件转存到所述快速存储系统，在所述快速存储系统中将所述目标文件进行编辑。优选的，所述管理步骤中，所述维护文件管理表，还存储文件的更新信息。

优选的，所述管理步骤还包括第一更新步骤：根据所述文件管理表，对于所述快速存储系统的某一文件，判断其上一次文件请求的时间是否超过一预设置阈值，是则从所述快速存储系统删除该文件，更新所述文件管理表。优选的，所述第一更新步骤中，在从所述快速存储系统删除该文件之前，还执行第一同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。或者，所述管理步骤还包括第二更新步骤：根据所述文件请求，对于相同目标文件，判断在一预设置阈值内是否存在新发生的文件请求，否则从所述快速存储系统删除该文件，更新所述文件管理表。例如，文件请求发生时，对其设置一定时器，例如5分钟、10分钟、60分钟、12小时、或24小时等，在预设置阈值内，例如，超过了2小时，如果没有新发生的文件请求，则从所述快速存储系统删除该文件，更新所述文件管理表。优选的，所述第二更新步骤中，在从所述快速存储系统删除该文件之前，还执行第二同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

与上述任一实施例结合应用，优选的，所述快速存储系统包含固态硬盘或固态硬盘组，所述基础存储系统包含串行高级技术附件或串行高级技术附件组。例如，所述快速存储系统为一固态硬盘，所述基础存储系统为一串行高级技术附件；又如，所述快速存储系统为多个固态硬盘的组合，所述基础存储系统为多个串行高级技术附件的组合；又如，所述快速存储系统包含固态硬盘与SATA存储装置，所述基础存储系统包含SATA存储装置与IDE存储装置等。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征所组合形成可实施的数据处理方法。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括读取步骤：获得文件请求，判断目标文件是否位于快速存储系统，是则从快速存储系统中将所述目标文件进行反馈传输，否则从基础存储系统中将所述目标文件进行反馈传输。

2.根据权利要求1所述数据处理方法，其特征在于，所述读取步骤中，在从基础存储系统中将目标文件进行反馈传输时，还执行以下存储步骤：从基础存储系统中将目标文件存储到快速存储系统。

3.根据权利要求2所述数据处理方法，其特征在于，还包括管理步骤：维护文件管理表，其中存储文件的位置信息，所述位置信息包括所述基础存储系统以及所述快速存储系统；

并且，所述读取步骤中，根据所述文件管理表，判断目标文件是否位于所述快速存储系统。

4.根据权利要求3所述数据处理方法，其特征在于，还包括编辑步骤：获得编辑请求，判断目标文件是否位于快速存储系统，是则在所述快速存储系统中将所述目标文件进行编辑，否则在所述基础存储系统中将所述目标文件转存到所述快速存储系统，在所述快速存储系统中将所述目标文件进行编辑。

5.根据权利要求4所述数据处理方法，其特征在于，所述管理步骤中，所述维护文件管理表，还存储文件的更新信息。

6.根据权利要求1至5任一所述数据处理方法，其特征在于，所述快速存储系统包含固态硬盘或固态硬盘组，所述基础存储系统包含串行高级技术附件或串行高级技术附件组。

7.根据权利要求6所述数据处理方法，其特征在于，所述管理步骤还包括第一更新步骤：根据所述文件管理表，对于所述快速存储系统的某一文件，判断其上一次文件请求的时间是否超过一预设置阈值，是则从所述快速存储系统删除该文件，更新所述文件管理表。

8.根据权利要求7所述数据处理方法，其特征在于，所述第一更新步骤中，在从所述快速存储系统删除该文件之前，还执行第一同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

9.根据权利要求6所述数据处理方法，其特征在于，所述管理步骤还包括第二更新步骤：根据所述文件请求，对于相同目标文件，判断在一预设置阈值内是否存在新发生的文件请求，否则从所述快速存储系统删除该文件，更新所述文件管理表。

10.根据权利要求9所述数据处理方法，其特征在于，所述第二更新步骤中，在从所述快速存储系统删除该文件之前，还执行第二同步步骤：判断该文件是否存在更新信息，是则将该文件从所述快速存储系统传输到所述基础存储系统。

Images