CN106020717B - 数据处理方法及电子设备 - Google Patents
数据处理方法及电子设备 Download PDFInfo
- Publication number
- CN106020717B CN106020717B CN201610294908.7A CN201610294908A CN106020717B CN 106020717 B CN106020717 B CN 106020717B CN 201610294908 A CN201610294908 A CN 201610294908A CN 106020717 B CN106020717 B CN 106020717B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- area
- subdata
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种数据处理方法及电子设备，所述方法包括：获取第二数据区中的目标数据；获取所述目标数据的数据属性；基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。可至少实现数据的快速、有效的存储。
Description
技术领域
本发明涉及数据处理技术，具体涉及一种数据处理方法及电子设备。
背景技术
对于具有固态硬盘SSD和驱动磁盘HDD的电子设备如电脑、平板电脑来说，数据通常是存储在HDD中。一般情况下HDD的数量容量远大于SSD的数量容量，具有容纳更多的数据的特性。而SSD作为固态硬盘同样具有一定的数据存储功能且SSD的读写速度高于HDD的读写速度。电子设备中的数据通常较多，如何充分利用HDD和SSD的各自优势实现数据的快速、有效的存储成为了亟待解决的技术问题。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种数据处理方法及电子设备，至少可实现数据的快速、有效的存储。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种数据处理方法，所述方法包括：
获取第二数据区中的目标数据；
获取所述目标数据的数据属性；
基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；
将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；
其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
上述方案中，所述获取所述目标数据的数据属性，基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域，包括：
读取所述目标数据的数据容量；
在所述第一数据区中，至少划分出容纳量不小于所述数据容量的区域；
确定所划分出的区域为所述目标区域。
上述方案中，在将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储之后，所述方法包括：
所述目标数据中至少包括N个子数据，N为正整数；
获取每个子数据的第一属性；
在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到第一目标子数据；
将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
上述方案中，所述获取每个子数据的第一属性，在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到目标子数据，包括：
获取每个子数据在第一预定时间内的被访问次数，得到N个第一参数；
筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；
确定与所述第一目标参数对应的子数据为所述第一目标子数据。
上述方案中，所述方法还包括：
获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；
获取每个子数据在第二预设时间内的被访问次数，得到M个第二参数；
筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；
在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；
将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
本发明实施例还提供一种电子设备，所述电子设备包括：
采集器，用于获取第二数据区中的目标数据；
处理器，用于获取所述目标数据的数据属性；
基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；
将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；
其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
上述方案中，所述处理器，用于：
读取所述目标数据的数据容量；
在所述第一数据区中，至少划分出容纳量不小于所述数据容量的区域；
确定所划分出的区域为所述目标区域。
上述方案中，所述处理器，还用于：
所述目标数据中至少包括N个子数据，N为正整数；
获取每个子数据的第一属性；
在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到第一目标子数据；
将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
上述方案中，所述处理器，还用于：
获取每个子数据在第一预定时间内的被访问次数，得到N个第一参数；
筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；
确定与所述第一目标参数对应的子数据为所述第一目标子数据。
上述方案中，所述处理器，还用于：
获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；
获取每个子数据在第二预设时间内的被访问次数，得到M个第二参数；
筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；
在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；
将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
本发明实施例提供的数据处理方法及电子设备，所述方法包括：获取第二数据区中的目标数据；获取所述目标数据的数据属性；基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。利用本方案可至少实现数据的快速、有效的存储。
附图说明
图1为本发明提供的数据处理方法的第一实施例的实现流程示意图；
图2为本发明提供的数据处理方法的第二实施例的实现流程示意图；
图3为本发明提供的数据在HDD和Cache区中相互迁移的示意图；
图4为本发明提供的电子设备的第一实施例的组成结构示意图；
图5为本发明提供的电子设备的第二实施例的组成结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
在以下本发明提供的数据处理方法及电子设备中的各实施例中，所涉及的电子设备可以为：工业控制计算机、个人计算机等各种类型计算机、一体式电脑、平板电脑、手机、电子阅读器等，还可以为智能眼镜、智能手表、智能鞋等穿戴式设备。本发明优选的电子设备是个人计算机或平板电脑。
实施例一
本发明提供的数据处理方法的第一实施例，应用于一电子设备中，该电子设备至少具有两个数据区、第一数据区和第二数据区，第一数据区为SSD，第二数据区为HDD。
图1为本发明提供的数据处理方法的第一实施例的实现流程示意图。如图1所示，所述方法包括：
步骤101：获取第二数据区中的目标数据；
这里，HDD本身具有较大的数据容纳量，可存储大量的数据。所述目标数据为HDD所存储的数据中读取频率较高的数据，该读取频率较高的数据也可以视为电子设备常使用的数据如系统数据、应用文件等。在HDD中确定出电子设备常使用的数据。
步骤102：获取所述目标数据的数据属性；
这里，所述数据属性为目标数据的容量。确定目标数据的数据容量。
步骤103：基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；
这里，基于目标数据的数据容量，对SSD进行区域划分，至少得到目标区域，该目标区域为高速缓冲存储器Cache区。
步骤104：将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
这里，SSD的读写速度高于HDD的读写速度。第一属性为读写速度。将HDD中的目标数据迁移至SSD中的Cache区，以将目标数据存储在Cache区中。由于SSD具有读写速度快的优势且Cache区为高速缓冲存储区等优势，通过利用Cache区不仅能够实现快速有效的存储，利用SSD的优势还可实现对数据的快速且高效的读取。
本实施例中，获取第二数据区中的目标数据，基于所述目标数据的数据属性，对第一数据区进行区域划分得到目标区域，并将目标数据从第二数据区中迁移至目标区域中。即本方案实现了将HDD中的目标数据从HDD区迁移至SSD的Cache中，充分利用SSD读取速度快的优势，实现数据的快速、有效的存储。
实施例二
本发明提供的数据处理方法的第二实施例，应用于一电子设备中，该电子设备至少具有两个数据区、第一数据区和第二数据区，第一数据区为SSD，第二数据区为HDD。
图2为本发明提供的数据处理方法的第二实施例的实现流程示意图。如图2所示，所述方法包括：
步骤201：获取第二数据区中的目标数据；
这里，HDD本身具有较大的数据容纳量，可存储大量的数据。所述目标数据为HDD所存储的数据中读取频率较高的数据，该读取频率较高的数据也可以视为电子设备常使用的数据如系统数据、应用文件等。在HDD中确定出电子设备常使用的数据。
步骤202：读取所述目标数据的数据容量；
该步骤作为本方案的获取所述目标数据的数据属性的进一步描述。读取存储在HDD中的目标数据的大小，如目标数据的字节数。
步骤203：在第一数据区中，至少划分出容纳量不小于所述数据容量的区域；确定所划分出的区域为目标区域；
这里，在SSD开辟出一段空间，该空间作为目标区域即高速缓冲存储器Cache区，该Cache区的存储容量为至少能够容纳目标数据的容量。可见，本方案中Cache区的大小并非是固定不变的，其大小是随着目标数据的大小而变化的。
优选的，在本方案中，将要迁移至Cache区的数据以页为单位进行存储。举个例子，要迁移至Cache区的数据为2M，将这2M数据平均分配至5页上，即每页上承载0.4M的数据。在实际使用中，为了使得存储在Cache区的数据便于查找，为每页数据配置一个索引表，每个索引表记录有对应页上的数据是什么数据，可方便电子设备对数据的读取。基于此，为SSD开辟的Cache区的至少要能够容纳下要迁移至Cache区的数据和这些数据对应的索引表。
需要说明的是，如果是初次开辟Cache区，那么其大小至少要能够容纳下要迁移至Cache区的数据和这些数据对应的索引表。初次开辟之后，Cache区大小的可随着Cache区中读取频率较低数据的迁移出而变小或不变，优选为不变，也可以随着HDD中数据频率较高数据的迁入而变大，Cache区大小的变化量与迁移出或迁入的数据的大小有关。例如，需迁入至Cache区的数据为4M，初次开辟Cache区的大小为5M，那么电子设备为满足这4M数据的迁入，将Cache区进行容量的增加，至少要增加到5M+4M＝9M。即本方案中Cache区的大小并非是一层不变的而是随着迁入数据的大小而灵活变化的，进而可满足大量数据从HDD中迁入至Cache区的需求。
步骤204：将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
这里，SSD的读写速度高于HDD的读写速度。第一属性为读写速度。将HDD中的目标数据迁移至SSD中的Cache区，以将目标数据存储在Cache区中。由于SSD具有读写速度快的优势且Cache区为高速缓冲存储区等优势，通过利用Cache区不仅能够实现快速有效的存储，利用SSD的优势还可实现对数据的快速且高效的读取。
在本发明一个优选的实施例中，在将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储之后，所述方法包括：
所述目标数据中至少包括N个子数据，N为正整数；获取每个子数据的第一属性；在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到第一目标子数据；将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
其中，所述获取每个子数据的第一属性，在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到目标子数据，包括：
获取每个子数据在第一预定时间内的被访问次数，得到N个第一参数；筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；确定与所述第一目标参数对应的子数据为所述第一目标子数据。
在实际应用中，从HDD中迁移至SSD的Cache区的目标数据为电子设备读取频率高的数据，数据的读取频率高与不高与时间信息有关，如数据A在从时间1-时间2这段时间内被经常读取，而在时间3-时间4这段时间内被读取的较少，所以从HDD中迁移至Cache区的目标数据中存储之后，存储在Cache区的数据也可能由原来的被经常读取变成了不被经常读取的数据，所以需要实时或周期性的对存储在Cache区的数据在预定时间内的被访问次数做统计。基于此，针对从HDD迁移至Cache区的目标数据所包括的N个子数据，统计每个子数据在其移动在Cache区中后在一定时间内的被访问次数，得到N个第一参数，第一参数即为在第一预设时间内的被访问次数。针对这N个第一参数，逐一判断每个第一参数与第一预定范围的大小关系，并筛选出低于第一预定范围的第一参数，确认所筛选出的第一参数为第一目标参数，并确认在第一预定时间内的被访问次数为第一目标参数的子数据为第一目标子数据，即在第一预定时间内的被访问次数低于第一预定范围的子数据为满足第一预设条件的第一目标子数据，电子设备将第一目标子数据从SSD的Cache区迁移出，迁移至HDD中进行存储。由此可见，为加快电子设备对数据的读取速度，本方案的Cache区主要用于存储被电子设备经常读取的数据，对于Cache区存储的数据的读取频率实时或周期性进行统计，一旦发现存在有被读取频率较低的数据，就将该读取频率较低的数据从Cache区迁移出，迁移至HDD中。即本方案中的Cache区用于存储读取频率高的数据，充分利用了SSD的读写速度快的优势，不仅能够实现对数据的快速有效存储还能够实现对数据的快速读取。
在本发明另一优选的实施例中，在将所述目标数据从所述第二数据区中迁移至所述目标区域之后和/或将所述第一目标子数据从所述目标区域中迁移出之后，所述方法还包括：
获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；获取每个子数据在第二预设时间内的被访问次数，得到M个第二参数；筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
在实际应用中，在将HDD中的目标数据移动至SSD的Cache区之后或者将在Cache区中读取频率低的数据迁移至HDD之后，随着读取时间的变化，HDD中的数据很可能存在有读取频率被提高的数据，电子设备对HDD中的数据的读取频率进行实时或周期性的统计，如果发现存在有读取频率增大的数据，那么需要将读取频率增大的数据迁移至Cache区。基于此，针对HDD中的M个子数据，统计每个子数据在其存储于HDD区中时在一定时间内的被访问次数，得到M个第二参数，第二参数即为在第二预设时间内的被访问次数。针对这M个第二参数，逐一判断每个第二参数与第二预定范围的大小关系，并筛选出不低于第二预定范围的第二参数，确认所筛选出的第二参数为第二目标参数，并确认在第二预定时间内的被访问次数为第二目标参数的子数据为第二目标子数据，电子设备将第二目标子数据从HDD中迁移出，迁移至SSD的Cache区中以进行存储。对于HDD区存储的数据的读取频率实时或周期性进行统计，一旦发现存在有读取频率增大的数据，就将该数据从HDD中迁移出，迁移至Cache区。
由前述方案可知，本方案中也为一种数据迁移方法，如图3所示，对于电子设备中的数据，在数据的生命周期内其并非存储在一个固定的存储介质中如HDD或SSD中，而是通过对该数据的读取频率进行周期性统计或实时统计，根据对读取频率的统计结果，确定其所在的存储介质中。如果数据A原来存储在HDD中且读取频率较高，则将数据A从HDD中迁移出迁入至Cache区进行存储。如果原存储在Cache区中的数据B的读取频率有所降低，则将数据B从Cache区迁移出迁入至HDD中进行存储。基于前述方案，本领域人员应该而知，由于HDD具有较大数量容量、SSD具有较快读写速度的特性，所以本申请中将读取频率较高的数据迁移至Cache区存储以便于快速读取，而将读取频率较低的数据迁移至HDD中，以保证HDD和SSD各自优势的最大程度的发挥。另外，需要说明的是，对于本方案中的电子设备的磁盘的总容量，其等于SSD和HDD这两部分容量的总和。
实施例三
本发明提供的电子设备的第一实施例，该电子设备至少具有两个数据区、第一数据区和第二数据区，第一数据区为SSD，第二数据区为HDD。
图4为本发明提供的电子设备的第一实施例的组成结构示意图。如图4所示，所述电子设备包括：采集器41和处理器42；其中，
采集器41，用于获取第二数据区中的目标数据；
这里，HDD本身具有较大的数据容纳量，可存储大量的数据。所述目标数据为HDD所存储的数据中读取频率较高的数据，该读取频率较高的数据也可以视为电子设备常使用的数据如系统数据、应用文件等。电子设备、具体是采集器41在HDD中确定出电子设备常使用的数据。
处理器42，用于获取所述目标数据的数据属性；
基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域；
将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；
其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
这里，所述数据属性为目标数据的容量。电子设备、具体是处理器42确定目标数据的数据容量，并基于目标数据的数据容量，对SSD进行区域划分，至少得到目标区域，该目标区域为高速缓冲存储器Cache区。其中，SSD的读写速度高于HDD的读写速度。第一属性为读写速度。电子设备、具体是处理器42将HDD中的目标数据迁移至SSD中的Cache区，以将目标数据存储在Cache区中。由于SSD具有读写速度快的优势且Cache区为高速缓冲存储区等优势，通过利用Cache区不仅能够实现快速有效的存储，利用SSD的优势还可实现对数据的快速且高效的读取。
本实施例中，获取第二数据区中的目标数据，基于所述目标数据的数据属性，对第一数据区进行区域划分得到目标区域，并将目标数据从第二数据区中迁移至目标区域中。即本方案实现了将HDD中的目标数据从HDD区迁移至SSD的Cache中，充分利用SSD读取速度快的优势，实现数据的快速、有效的存储。
实施例四
本发明提供的电子设备的第二实施例，该电子设备至少具有两个数据区、第一数据区和第二数据区，第一数据区为SSD，第二数据区为HDD。
图5为本发明提供的电子设备的第二实施例的组成结构示意图。如图5所示，所述电子设备包括：采集器51和处理器52；其中，
采集器51，用于获取第二数据区中的目标数据；
这里，HDD本身具有较大的数据容纳量，可存储大量的数据。所述目标数据为HDD所存储的数据中读取频率较高的数据，该读取频率较高的数据也可以视为电子设备常使用的数据如系统数据、应用文件等。电子设备、具体是采集器51在HDD中确定出电子设备常使用的数据。
处理器52，用于读取所述目标数据的数据容量；在第一数据区中，至少划分出容纳量不小于所述数据容量的区域；确定所划分出的区域为目标区域；将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
在本申请中，电子设备、具体是处理器52读取存储在HDD中的目标数据的大小，如目标数据的字节数，并在SSD开辟出一段空间，该空间作为目标区域即高速缓冲存储器Cache区，该Cache区的存储容量为至少能够容纳目标数据的容量。其中，SSD的读写速度高于HDD的读写速度。第一属性为读写速度。电子设备、具体是处理器52将HDD中的目标数据迁移至SSD中的Cache区，以将目标数据存储在Cache区中。由于SSD具有读写速度快的优势且Cache区为高速缓冲存储区等优势，通过利用Cache区不仅能够实现快速有效的存储，利用SSD的优势还可实现对数据的快速且高效的读取。
其中，对于在SSD Cache区，该Cache区的存储容量为至少能够容纳目标数据的容量。本方案中Cache区的大小并非是固定不变的，其大小是随着目标数据的大小而变化的。优选的，在本方案中，将要迁移至Cache区的数据以页为单位进行存储。举个例子，要迁移至Cache区的数据为2M，将这2M数据平均分配至5页上，即每页上承载0.4M的数据。在实际使用中，为了使得存储在Cache区的数据便于查找，为每页数据配置一个索引表，每个索引表记录有对应页上的数据是什么数据，可方便电子设备对数据的读取。基于此，为SSD开辟的Cache区的至少要能够容纳下要迁移至Cache区的数据和这些数据对应的索引表。
需要说明的是，如果是初次开辟Cache区，那么其大小至少要能够容纳下要迁移至Cache区的数据和这些数据对应的索引表。初次开辟之后，Cache区大小的可随着Cache区中读取频率较低数据的迁移出而变小或不变，优选为不变，也可以随着HDD中数据频率较高数据的迁入而变大，Cache区大小的变化量与迁移出或迁入的数据的大小有关。例如，需迁入至Cache区的数据为4M，初次开辟Cache区的大小为5M，那么电子设备为满足这4M数据的迁入，将Cache区进行容量的增加，至少要增加到5M+4M＝9M。即本方案中Cache区的大小并非是一层不变的而是随着迁入数据的大小而灵活变化的，进而可满足大量数据从HDD中迁入至Cache区的需求。
在本发明一个优选的实施例中，所述处理器52，还用于：所述目标数据中至少包括N个子数据，N为正整数；获取每个子数据的第一属性；在N个子数据中，提取出第一属性满足第一预设条件的子数据，得到第一目标子数据；将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
其中，所述处理器52，还用于：获取每个子数据在第一预定时间内的被访问次数，得到N个第一参数；筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；确定与所述第一目标参数对应的子数据为所述第一目标子数据。
在实际应用中，从HDD中迁移至SSD的Cache区的目标数据为电子设备读取频率高的数据，数据的读取频率高与不高与时间信息有关，如数据A在从时间1-时间2这段时间内被经常读取，而在时间3-时间4这段时间内被读取的较少，所以从HDD中迁移至Cache区的目标数据中存储之后，存储在Cache区的数据也可能由原来的被经常读取变成了不被经常读取的数据，所以需要实时或周期性的对存储在Cache区的数据在预定时间内的被访问次数做统计。基于此，针对从HDD迁移至Cache区的目标数据所包括的N个子数据，电子设备、具体是所述处理器52统计每个子数据在其移动在Cache区中后在一定时间内的被访问次数，得到N个第一参数，第一参数即为在第一预设时间内的被访问次数。针对这N个第一参数，逐一判断每个第一参数与第一预定范围的大小关系，并筛选出低于第一预定范围的第一参数，确认所筛选出的第一参数为第一目标参数，并确认在第一预定时间内的被访问次数为第一目标参数的子数据为第一目标子数据，即在第一预定时间内的被访问次数低于第一预定范围的子数据为满足第一预设条件的第一目标子数据，电子设备、具体所述处理器52将第一目标子数据从SSD的Cache区迁移出，迁移至HDD中进行存储。由此可见，为加快电子设备对数据的读取速度，本方案的Cache区主要用于存储被电子设备经常读取的数据，对于Cache区存储的数据的读取频率实时或周期性进行统计，一旦发现存在有被读取频率较低的数据，就将该读取频率较低的数据从Cache区迁移出，迁移至HDD中。即本方案中的Cache区用于存储读取频率高的数据，充分利用了SSD的读写速度快的优势，不仅能够实现对数据的快速有效存储还能够实现对数据的快速读取。
在本发明另一优选的实施例中，所述处理器52，还用于：获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；获取每个子数据在第二预设时间内的被访问次数，得到M个第二参数；筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
在实际应用中，在将HDD中的目标数据移动至SSD的Cache区之后或者将在Cache区中读取频率低的数据迁移至HDD之后，随着读取时间的变化，HDD中的数据很可能存在有读取频率被提高的数据，电子设备对HDD中的数据的读取频率进行实时或周期性的统计，如果发现存在有读取频率增大的数据，那么需要将读取频率增大的数据迁移至Cache区。基于此，电子设备、具体是所述处理器52针对HDD中的M个子数据，统计每个子数据在其存储于HDD区中时在一定时间内的被访问次数，得到M个第二参数，第二参数即为在第二预设时间内的被访问次数。针对这M个第二参数，所述处理器52逐一判断每个第二参数与第二预定范围的大小关系，并筛选出不低于第二预定范围的第二参数，确认所筛选出的第二参数为第二目标参数，并确认在第二预定时间内的被访问次数为第二目标参数的子数据为第二目标子数据，电子设备、具体是所述处理器52将第二目标子数据从HDD中迁移出，迁移至SSD的Cache区中以进行存储。对于HDD区存储的数据的读取频率实时或周期性进行统计，一旦发现存在有读取频率增大的数据，就将该数据从HDD中迁移出，迁移至Cache区。
由前述方案可知，本方案中也为一种数据迁移方法，如图3所示，对于电子设备中的数据，在数据的生命周期内其并非存储在一个固定的存储介质中如HDD或SSD中，而是通过对该数据的读取频率进行周期性统计或实时统计，根据对读取频率的统计结果，确定其所在的存储介质中。如果数据A原来存储在HDD中且读取频率较高，则将数据A从HDD中迁移出迁入至Cache区进行存储。如果原存储在Cache区中的数据B的读取频率有所降低，则将数据B从Cache区迁移出迁入至HDD中进行存储。基于前述方案，本领域人员应该而知，由于HDD具有较大数量容量、SSD具有较快读写速度的特性，所以本申请中将读取频率较高的数据迁移至Cache区存储以便于快速读取，而将读取频率较低的数据迁移至HDD中，以保证HDD和SSD各自优势的最大程度的发挥。另外，需要说明的是，对于本方案中的电子设备的磁盘的总容量，其等于SSD和HDD这两部分容量的总和。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
获取第二数据区中的目标数据；
获取所述目标数据的数据属性；
基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域，其中，所述目标区域为高速缓冲存储器区，所述目标区域的大小随着目标数据的大小而变化；所述第一数据区与第二数据区的容量总和，为磁盘的总容量；
将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；
其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标数据的数据属性，基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域，包括：
读取所述目标数据的数据容量；
在所述第一数据区中，至少划分出容纳量不小于所述数据容量的区域；
确定所划分出的区域为所述目标区域。
3.根据权利要求1所述的方法，其特征在于，在将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储之后，所述方法包括：
所述目标数据中至少包括N个子数据，N为正整数；
获取所述N个子数据的第一参数；
在N个子数据中，提取出第一参数满足第一预设条件的子数据，得到第一目标子数据；
将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
4.根据权利要求3所述的方法，其特征在于，所述获取所述N个子数据的第一参数，在N个子数据中，提取出第一参数满足第一预设条件的子数据，得到第一目标子数据，包括：
获取所述N个子数据在第一预定时间内的被访问次数，得到N个第一参数；
筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；
确定与所述第一目标参数对应的子数据为所述第一目标子数据。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；
获取所述M个子数据在第二预设时间内的被访问次数，得到M个第二参数；
筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；
在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；
将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
6.一种电子设备，其特征在于，所述电子设备包括：
采集器，用于获取第二数据区中的目标数据；
处理器，用于获取所述目标数据的数据属性；
基于所述数据属性，对第一数据区进行区域划分，至少得到目标区域，其中，所述目标区域为高速缓冲存储器区，所述目标区域的大小随着目标数据的大小而变化；所述第一数据区与第二数据区的容量总和，为磁盘的总容量；
将所述目标数据从所述第二数据区中迁移至所述目标区域中以进行存储；
其中，所述第一数据区与第二数据区为不同的数据区、且所述第一数据区的第一属性大于第二数据区的第一属性。
7.根据权利要求6所述的电子设备，其特征在于，所述处理器，用于：
读取所述目标数据的数据容量；
在所述第一数据区中，至少划分出容纳量不小于所述数据容量的区域；
确定所划分出的区域为所述目标区域。
8.根据权利要求6所述的电子设备，其特征在于，所述处理器，还用于：
所述目标数据中至少包括N个子数据，N为正整数；
获取所述N个子数据的第一参数；
在N个子数据中，提取出第一参数满足第一预设条件的子数据，得到第一目标子数据；
将所述第一目标子数据从所述目标区域中迁移出，并迁移至所述第二数据区以进行存储。
9.根据权利要求8所述的电子设备，其特征在于，所述处理器，还用于：
获取所述N个子数据在第一预定时间内的被访问次数，得到N个第一参数；
筛选出第一参数低于第一预定范围的第一参数，得到第一目标参数；
确定与所述第一目标参数对应的子数据为所述第一目标子数据。
10.根据权利要求8或9所述的电子设备，其特征在于，所述处理器，还用于：
获得第二数据区中的数据，该数据至少包括M个子数据，M为正整数；
获取所述M个子数据在第二预设时间内的被访问次数，得到M个第二参数；
筛选出第二参数不低于第二预定范围的第二参数，得到第二目标参数；
在M个子数据中，确定与所述第二目标参数对应的子数据为第二目标子数据；
将所述第二目标子数据从第二数据区迁移至所述目标区域以进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610294908.7A CN106020717B (zh) | 2016-05-05 | 2016-05-05 | 数据处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610294908.7A CN106020717B (zh) | 2016-05-05 | 2016-05-05 | 数据处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106020717A CN106020717A (zh) | 2016-10-12 |
| CN106020717B true CN106020717B (zh) | 2020-10-27 |
Family
ID=57081719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610294908.7A Active CN106020717B (zh) | 2016-05-05 | 2016-05-05 | 数据处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106020717B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169098B (zh) * | 2017-05-15 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 数据搬运方法、数据搬运装置及电子设备 |
| CN107908690B (zh) * | 2017-11-01 | 2021-07-20 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN109634929A (zh) * | 2018-09-30 | 2019-04-16 | 阿里巴巴集团控股有限公司 | 业务数据的采集方法、装置和服务器 |
| CN111968582B (zh) * | 2020-01-14 | 2022-04-15 | Oppo广东移动通信有限公司 | 显示屏变频方法、ddic芯片、显示屏模组及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN103440208A (zh) * | 2013-08-12 | 2013-12-11 | 华为技术有限公司 | 一种数据存储的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5075761B2 (ja) * | 2008-05-14 | 2012-11-21 | 株式会社日立製作所 | フラッシュメモリを用いたストレージ装置 |
-
2016
- 2016-05-05 CN CN201610294908.7A patent/CN106020717B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102117248A (zh) * | 2011-03-09 | 2011-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种缓存系统和在缓存系统中缓存数据的方法 |
| CN103440208A (zh) * | 2013-08-12 | 2013-12-11 | 华为技术有限公司 | 一种数据存储的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106020717A (zh) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8914573B2 (en) | Method and system for mitigating adjacent track erasure in hard disk drives | |
| CN106020717B (zh) | 数据处理方法及电子设备 | |
| CN104679661B (zh) | 混合存储的控制方法及混合存储系统 | |
| CN103064639B (zh) | 数据存储方法及装置 | |
| US10235101B2 (en) | Log structured block device for hard disk drive | |
| US20100138677A1 (en) | Optimization of data distribution and power consumption in a data center | |
| KR20200067962A (ko) | Ssd에 데이터를 기록하는 방법 및 장치 | |
| US10678770B2 (en) | Managing data records | |
| CN103020255A (zh) | 分级存储方法和装置 | |
| CN106708912B (zh) | 垃圾文件识别及管理方法、识别装置、管理装置和终端 | |
| CN103412826A (zh) | 固态硬盘的垃圾回收方法及系统 | |
| CN110737717B (zh) | 一种数据库迁移方法及装置 | |
| US9361937B2 (en) | Shingled magnetic recording data store | |
| CN103136215A (zh) | 存储系统的数据读写方法和装置 | |
| CN111737265B (zh) | 区块数据访问方法、区块数据存储方法及装置 | |
| CN106844491B (zh) | 一种临时数据的写入、读取方法及写入、读取装置 | |
| CN110347497B (zh) | 一种将多个存储设备划分设备组的方法及装置 | |
| CN104317735A (zh) | 大容量缓存及数据存储和读取、内存分配和回收的方法 | |
| CN109960463B (zh) | 一种磁盘管理方法、装置及存储介质 | |
| CN110647498A (zh) | 一种文件存储方法、装置、设备及计算机可读存储介质 | |
| US9600415B1 (en) | Method, apparatus, and computer program stored in computer readable medium for managing storage server in database system | |
| CN106469174B (zh) | 数据读取方法和装置 | |
| CN110795034B (zh) | 存储系统的数据迁移方法、装置、设备及可读存储介质 | |
| CN104298614A (zh) | 数据块在存储设备中存储方法和存储设备 | |
| CN110262758B (zh) | 一种数据存储管理方法、系统及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |