CN109656487A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109656487A
CN109656487A CN201811587324.4A CN201811587324A CN109656487A CN 109656487 A CN109656487 A CN 109656487A CN 201811587324 A CN201811587324 A CN 201811587324A CN 109656487 A CN109656487 A CN 109656487A
Authority
CN
China
Prior art keywords
data
hard disk
packet
solid state
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811587324.4A
Other languages
English (en)
Other versions
CN109656487B (zh
Inventor
丁磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811587324.4A priority Critical patent/CN109656487B/zh
Publication of CN109656487A publication Critical patent/CN109656487A/zh
Application granted granted Critical
Publication of CN109656487B publication Critical patent/CN109656487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明实施例公开了一种数据处理方法、装置、设备及存储介质，其中方法包括：接收写数据请求，所述写数据请求包括目标数据包；按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；将所述处理后的数据包写入到所述固态硬盘中；当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。通过将数据存储到固态硬盘，以减少机械硬盘的磁头的转动及盘片的转动，提高机械硬盘的寿命。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
由于机械硬盘具有存储空间大、价格廉价的特征，被广泛应用于数据存储领域，以用来存储大量业务数据。实践中，业务数据均是直接存储到机械硬盘上，而机械硬盘是通过磁头的移动以及盘片的转动来实现数据存储的，且机械硬盘的磁头的移动以及盘片的转动次数有限。如果频繁的移动磁头以及转动盘片，这必然会减少硬盘的寿命，对业务的正常运行影响很大。
发明内容
本发明实施例提供一种数据处理方法、装置、设备及存储介质，通过将数据存储到固态硬盘，以减少机械硬盘的磁头的转动及盘片的转动，提高机械硬盘的寿命。
第一方面，本发明实施例提供了一种数据处理方法，该方法包括：
接收写数据请求，所述写数据请求包括目标数据包；
按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
将所述处理后的数据包写入到所述固态硬盘中；
当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
第二方面，本发明实施例提供了一种数据处理装置，该装置包括:
接收模块，用于接收写数据请求，所述写数据请求包括目标数据包；
处理模块，用于按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
写入模块，用于将所述处理后的数据包写入到所述固态硬盘中；
所述写入模块，还用于当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
第三方面，本发明实施例提供了一种电子设备，该电子设备包括:处理器，适于实现一条或一条以上指令；以及，计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如下步骤：
接收写数据请求，所述写数据请求包括目标数据包；
按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
将所述处理后的数据包写入到所述固态硬盘中；
当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如下步骤：
接收写数据请求，所述写数据请求包括目标数据包；
按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
将所述处理后的数据包写入到所述固态硬盘中；
当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
本发明实施例中，电子设备通过按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，可以使存入的数据包更加规范化，并可节省存储空间。并将处理后的数据包先存入固态硬盘中，当该固态硬盘中的数据量达到预设数据量时，批量将该固态硬盘中的数据包写入到该机械硬盘中；可以降低机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命，降低对业务正常运行的影响。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2是本发明实施例提供的另一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种数据处理装置的结构示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于现有技术中，需要机械硬盘的磁头频繁地移动以及盘片的频繁转动才能向机械硬盘中存储数据，减少了硬盘的寿命，影响业务的正常运行等问题。本发明实施例提供一种数据处理方法，该方法可以由电子设备来执行，该电子设备可以是指智能终端、服务器或电脑等可用于存储的设备，该电子设备包括固态硬盘和机械硬盘。其中，固态硬盘具有存储空间较小、读写速度快、读写次数较多、价格昂贵等特点，因此，固态硬盘适用于暂存少量数据。机械硬盘具有存储空间较大、读写速度慢、读写次数有限、价格廉价等特点，因此，机械硬盘适用于长时间存储批量数据。该方法的具体实现过程包括：首先将数据包存储于固态硬盘中，在固态硬盘中的数据量达到预设数量时，将固态硬盘中的数据包批量写入到机械硬盘中，可减少向机械硬盘写入数据的次数，提高机械硬盘的寿命。例如，有100个数据包需要写入到机械硬盘中，现有技术中，需要写入100次，那么，需要机械硬盘的磁头移动100次以及盘片转动100次，才能将100个数据包写入到机械硬盘中；而本方案，假设固态硬盘中存储100个数据包时，固态硬盘中的数据量才达到预设数据量，则只需要机械硬盘的磁头移动1次以及盘片转动1次，就能将100个数据包写入到机械硬盘中，大大降低了机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命。
请参见图1，是本发明实施例提供的一种数据处理方法的流程示意图，本发明实施例的所述方法可以由上述提及的电子设备来执行。本实施例中，该一种数据处理方法包括以下步骤。
S101、接收写数据请求，该写数据请求包括目标数据包。
本发明实施例中，电子设备可以接收其他设备所发送的写数据请求，该写数据请求包括目标数据包，该目标数据包在具体的应用场景中所包括的具体内容不一致。例如，在银行数据交换场景中，该目标数据包可以是指用户的贷款数据、还款数据、存款数据或购买的理财产品的数据等等。在医疗保险数据交换场景中，该目标数据包也是指用户的参保数据或医疗报销数据等等。
S102、按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，该预设的处理规则包括数据格式处理规则或数据过滤处理规则。
本发明实施例中，为了节省存储空间，电子设备可以按照数据过滤处理规则对该目标数据包进行处理，得到处理后的数据包；或为了使存入的数据更加规范化，电子设备可以按照数据格式处理规则对该目标数据包进行处理，得到处理后的数据包。
在一个实施例中，该预设的处理规则包括数据格式处理规则，步骤S102包括：获取该目标数据包的数据类型，根据数据类型与数据格式的对应关系，确定该目标数据包的数据类型对应的数据格式，根据确定的数据格式对该目标数据包进行处理，得到处理后的数据包。
由于电子设备中存储了多种数据，如，文本数据、视频数据或图像数据等等，每种数据具有多种格式，如，文本类型的数据的数据格式包括txt、doc、pdf等等；为了使存入的数据的格式统一化，电子设备可以对目标数据包进行格式处理。具体的，电子设备可以获取该目标数据包的数据类型，获取数据类型与数据格式的对应关系；根据数据类型与数据格式的对应关系，确定该目标数据包的数据类型对应的数据格式，根据确定的数据格式对该目标数据包进行处理，得到处理后的数据包。例如，该目标数据包的数据类型为文本类型，文本类型的数据与数据格式doc具有对应关系，电子设备可以判断目标数据包当前的数据格式是否为doc格式，若不是，则将目标数据包的数据格式转换为doc格式；若是，则不对目标数据包的数据格式进行处理。
在一个实施例中，该预设的处理规则包括数据过滤处理规则，步骤S102包括：将该目标数据包划分为多个数据块，提取该多个数据块中的每个数据块的字段，当目标数据块中包括与预设字段匹配的字段时，将该目标数据块从该多个数据块中删除，该目标数据块为该多个数据块中的任一数据块，将所有未包括与该预设字段匹配的字段的数据块进行合并，得到处理后的数据包。
由于接收到的目标数据中通常包括冗余数据，该冗余数据可以是指无意义的数据，例如，该目标数据包为用户的还款数据，当该目标数据包中包括用户的工作经历，则该用户的工作经历相关的信息为冗余信息；该冗余数据可以是指敏感数据，例如，该目标数据包为从网页上抓取的数据，若该目标数据包括中包括不文明的词汇，则这些不文明的词汇为敏感数据。因此，电子设备可以对目标数据包进行过滤处理。电子设备按照预设时间间隔或预设的数据量大小将该目标数据包划分为多个数据块，提取该多个数据块中的每个数据块的字段；当目标数据块中包括与预设字段匹配的字段时，该预设字段可以是指根据目标数据包所包括的具体内容设置的。将该目标数据块从该多个数据块中删除，该目标数据块为该多个数据块中的任一数据块，将所有未包括与该预设字段匹配的字段的数据块进行合并，得到处理后的数据包。例如，假设该目标数据包为10:00～12:00时间段内的用户办理的还款数据，该预设字段为工作经历；预设时间间隔为15min，电子设备可以将该目标数据包划分为四个数据块，第一数据块为10:00～10:15时间段内的用户办理的还款数据，第二数据块为10:15～10:30时间段内的用户办理的还款数据，第三数据块为10:30～10:45时间段内的用户办理的还款数据，第四数据块为10:45～12:00时间段内的用户办理的还款数据。电子设备可以提取该四个数据块的字段，将每个数据块的字段与预设字段进行比对，若某个数据块中包括工作经历，则将该数据块删除；否则，将不包括工作经历字段的所有数据块进行合并，得到处理后的数据包。在另一个实施例中，电子设备可以检测目标数据包中是否包括预设字段，当检测到该预设字段，将该目标数据包中的预设字段删除，得到处理后的数据包。
S103、将该处理后的数据包写入到该固态硬盘中。
为了减少机械硬盘的磁头移动次数及盘片转动次数，电子设备可以将处理后的数据包先写入到固态硬盘中。
在一个实例中，为了便于读取数据，电子设备可以按照数据类型将固态硬盘划分为多个区域，例如，将该固态硬盘划分为存储文本类型数据的区域、存储图像类型的数据的区域以及存储视频类型的数据的区域等等，并建立数据类型与存储区域之间的对应关系。当需要将处理后的数据包写入到该固态硬盘时，可以获取该处理后的数据包的数据类型，根据数据类型与存储区域之间的对应关系，确定与该处理后的数据包的数据类型对应的存储区域，将该处理后的数据包存储至确定的存储区域。
在另一个实施例中，当接收针对该处理后的数据包的读取指令，电子设备可以获取该处理后的数据包的类型，根据数据类型与存储区域之间的对应关系，可以从该处理后的数据包的类型对应的存储区域查询固态硬盘中是否包括该处理后的数据包；当该处理后的数据包的类型对应的存储区域包括该处理后的数据包时，可以直接从固态硬盘中读取该处理后的数据包；当该处理后的数据包的类型对应的存储区域不包括该处理后的数据包时，需要从机械硬盘中读取该处理后的数据包，以提高读取数据包的效率。
S104、当该固态硬盘中的数据量达到预设数据量时，将该固态硬盘中的数据包写入到该机械硬盘中。
由于固态硬盘的存储空间有限，因此，当该固态硬盘中的数据量达到预设数据量时，这时固态硬盘中包括多个数据包，如10个、100个等等，电子设备可以批量地将该固态硬盘中的所有数据包或部分数据包(其数据包的个数至少大于1个)写入到该机械硬盘中，并将写入到机械硬盘中的数据包从固态硬盘中删除，以释放固态硬盘的存储空间。其中，该固态硬盘中的数据量达到预设数据量是指：该固态硬盘中的剩余存储空间小于预设存储空间，或者是指固态硬盘中的数据包的个数大于预设数量(该预测数量为大于1的整数)。
在一个实施例中，电子设备可以按照固态硬盘中的数据包的被读取次数对应的策略将该固态硬盘中的部分数据包写入到该机械硬盘中，例如，将读取次数较少的数据包写入至机械硬盘中。或者，可以按照固态硬盘中的数据包的存储地址对应的策略将该固态硬盘中的部分数据包写入到该机械硬盘中，例如，将固态硬盘中存储地址位于某个段存储地址段的所有包写入到机械硬盘中。
在一个实施例中，为了降低对数据业务的干扰，电子设备可以在业务量比较少的时候，将固态硬盘中的数据写入到机械硬盘中。具体的，当该固态硬盘中的数据量达到预设数据量时，统计向该机械硬盘写入数据的次数小于预设次数的时间段，和/或向所述机械硬盘读取数据的次数小于预设次数的时间段，确定的时间段内为该机械硬盘比较闲时的时间段，可以在确定的时间段内将该固态硬盘中的数据包写入到该机械硬盘中。
本发明实施例中，电子设备通过按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，可以使存入的数据更加规范化，并可节省存储空间。并将处理后的数据包先存入固态硬盘中，当该固态硬盘中的数据量达到预设数据量时，批量将该固态硬盘中的数据包写入到该机械硬盘中；可以降低机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命，降低对业务正常运行的影响。
请参见图2，是本发明实施例提供的另一种数据处理方法的流程示意图，本发明实施例的所述方法可以由上述提及的电子设备来执行。本实施例中，该一种数据处理方法包括以下步骤。
S201、接收写数据请求，该写数据请求包括目标数据包。
S202、按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，该预设的处理规则包括数据格式处理规则或数据过滤处理规则。
S203、将该处理后的数据包写入到该固态硬盘中。
需要说明的是，对步骤S201～S203的具体描述可以参见图1中对步骤S101～S103的描述，重复之处，不再赘述。
S204、当该固态硬盘中的数据量达到预设数据量时，获取该固态硬盘中的每个数据包被读取的次数。
S205、从该固态硬盘中的数据包中筛选出被读取的次数小于预设次数的所有数据包。
S206、将筛选出的数据包写入到该机械硬盘中。
在步骤S204～S206中，当该固态硬盘中的数据量达到预设数据量时，表明这时固态硬盘的剩余存储空间比较小，电子设备可以将部分数据包存储至机械硬盘中。具体的，由于固态硬盘的读写速度较快，而且读写次数较多，而机械硬盘的读写次数有限、读写速度较慢。因此，电子设备可以按照固态硬盘中的数据包的被读取次数对应的策略将该固态硬盘中的部分数据包写入到该机械硬盘中，即电子设备可以将被读取的次数较多的数据包保留在固态硬盘中，将被读取的次数较少的数据包存储于机械硬盘中，以降低从机械硬盘中读取数据的次数，进而，降低机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命。例如，预测次数为50次，当数据包被写入到固态硬盘中后，用户可以从固态硬盘中读取写入的数据包，并记录每个数据包被读取的次数。当该固态硬盘中的数据量达到预设数据量时，电子设备可以获取该固态硬盘中的每个数据包被读取的次数，当读取的次数越多，表明该数据包为常用的数据包(可称为热点数据包)；当读取的次数越小，表明该数据包为不常用的数据包(可称为冷门数据包)。进一步，从该固态硬盘中的数据包中筛选出被读取的次数小于50次的所有数据包；将筛选出的所有数据包存储至机械硬盘中。
在一个实施例中，当该固态硬盘中的数据量达到预设数据量时，获取该固态硬盘中的每个数据包的存储地址，从该固态硬盘中读取存储地址位于预设存储地址段内的所有数据包，将读取的数据包写入到该机械硬盘中。
当该固态硬盘中的数据量达到预设数据量时，表明这时固态硬盘的剩余存储空间比较小，电子设备可以将部分数据包存储至机械硬盘中。具体的，在向机械硬盘的写入数据时，为了避免打乱数据包的存储顺序，电子设备可以按照固态硬盘中的数据包的存储地址对应的策略将该固态硬盘中的部分数据包写入到该机械硬盘中，即电子设备可以获取该固态硬盘中的每个数据包的存储地址，从该固态硬盘中读取存储地址位于预设存储地址段内的所有数据包，由于预设存储地址段内的数据包是按照写入的时间先后顺序存储的，机械硬盘中的数据包也可以按照写入的时间先后顺序存储。因此，电子设备可以获取预设存储地址段的大小，按照预设存储地址段的大小移动机械硬盘的磁头以及转动盘片，以将读取的数据包写入到该机械硬盘中。
在一个实施例中，接收针对该处理后的数据包的读取指令，判断该固态硬盘中是否包括该处理后的数据包，当该固态硬盘中包括该处理后的数据包时，从该固态硬盘中读取该处理后的数据包，当该固态硬盘中未包括该处理后的数据包时，从该机械硬盘中读取该处理后的数据包。
在读取数据包时，为了降低对机械硬盘的查询次数，电子设备可以先从固态硬盘中查找是否包括需要读取的数据包，在确定固态硬盘中不包括该数据包时，在从机械硬盘中读取数据包。具体的，电子设备可以接收针对该处理后的数据包的读取指令，首先，可以根据处理后的数据包的标识判断该固态硬盘中是否包括该处理后的数据包，处理后的数据包的标识可以是指名称、编号等等；当确定该固态硬盘中包括该处理后的数据包时，从该固态硬盘中读取该处理后的数据包；然后，当该固态硬盘中未包括该处理后的数据包时，从该机械硬盘中读取该处理后的数据包。
在另一个实施例中，电子设备可以接收针对该处理后的数据包的读取指令，该读取指令包括该处理后的数据包的标识，根据该处理后的数据包的标识查询索引表，以确定该处理后的数据包的存储器件，该索引表包括多个数据包的标识，及每个数据包对应的存储器件，该存储器件包括该固态硬盘及该机械硬盘；从确定的存储器件中读取该处理后的数据包。
为了便于查询数据，电子设备可以建立索引表，该索引表包括多个数据包的标识，及每个数据包对应的存储器件。例如，该索引表中包括数据包A，及数据包A对应的存储器件，即固态硬盘，表明数据包A存储于固态硬盘中。例如该处理后的数据包为数据包A，电子设备可以接收针对数据包A的读取指令，该读取指令中包括数据包A的标识，根据数据包A的标识查询索引表，确定该数据包对应的存储器件为固态硬盘，电子设备可以直接从固态硬盘中读取数据包A。
本发明实施例中，电子设备通过按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，可以使存入的数据更加规范化，并可节省存储空间。并将处理后的数据包先存入固态硬盘中，当该固态硬盘中的数据量达到预设数据量时，将固态硬盘中读取次数小于预设次数的所有数据包存储至机械硬盘中，将读取次数大于预设次数的数据包仍保留在固态硬盘中。可降低向机械硬盘中写入数据包的次数以及读取数据包的次数，进而，可以降低机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命，降低对业务正常运行的影响。
请参见图3，是本发明实施例提供的一种数据处理装置的结构示意图，本发明实施例的所述装置可以设置在上述提及的电子设备中。
本实施例中，该装置包括：
接收模块301，用于接收写数据请求，所述写数据请求包括目标数据包。
处理模块302，用于按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则。
写入模块303，用于将所述处理后的数据包写入到所述固态硬盘中。
所述写入模块303，还用于当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
可选的，接收模块301，还用于接收针对所述处理后的数据包的读取指令。
可选的，判断模块304，用于判断所述固态硬盘中是否包括所述处理后的数据包。
可选的，读取模块305，用于当所述固态硬盘中包括所述处理后的数据包时，从所述固态硬盘中读取所述处理后的数据包；当所述固态硬盘中未包括所述处理后的数据包时，从所述机械硬盘中读取所述处理后的数据包。
可选的，写入模块303，具体用于当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包被读取的次数；从所述固态硬盘中的数据包中筛选出被读取的次数小于预设次数的所有数据包；将筛选出的数据包写入到所述机械硬盘中。
可选的，写入模块303，具体用于当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包的存储地址；从所述固态硬盘中读取存储地址位于预设存储地址段内的所有数据包；将读取的数据包写入到所述机械硬盘中。
可选的，接收模块301，还用于接收针对所述处理后的数据包的读取指令，所述读取指令包括所述处理后的数据包的标识。
可选的，读取模块305，用于根据所述处理后的数据包的标识查询索引表，以确定所述处理后的数据包的存储器件，所述索引表包括多个数据包的标识，及每个数据包对应的存储器件，所述存储器件包括所述固态硬盘及所述机械硬盘；从确定的存储器件中读取所述处理后的数据包。
可选的，所述预设的处理规则包括数据格式处理规则，处理模块302，用于获取所述目标数据包的数据类型；根据数据类型与数据格式的对应关系，确定所述目标数据包的数据类型对应的数据格式；根据确定的数据格式对所述目标数据包进行处理，得到处理后的数据包。
可选的，所述预设的处理规则包括数据过滤处理规则，处理模块302，用于将所述目标数据包划分为多个数据块；提取所述多个数据块中的每个数据块的字段；当目标数据块中包括与预设字段匹配的字段时，将所述目标数据块从所述多个数据块中删除，所述目标数据块为所述多个数据块中的任一数据块；将所有未包括与所述预设字段匹配的字段的数据块进行合并，得到处理后的数据包。
本发明实施例中，电子设备通过按照预设的处理规则对该目标数据包进行处理，得到处理后的数据包，可以使存入的数据更加规范化，并可节省存储空间。并将处理后的数据包先存入固态硬盘中，当该固态硬盘中的数据量达到预设数据量时，批量将该固态硬盘中的数据包写入到该机械硬盘中；可以降低机械硬盘的磁头移动次数以及盘片转动次数，可提高机械硬盘的寿命，降低对业务正常运行的影响。
请参见图4，是本发明实施例提供的一种电子设备的结构示意图，如图所示的本实施例中的电子设备可以包括：一个或多个处理器401；一个或多个输入装置402，一个或多个输出装置403和存储器404。上述处理器401、输入装置402、输出装置403和存储器404通过总线405连接。
所处理器401可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入装置402可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出装置403可以包括显示器(LCD等)、扬声器等，输出装置403可以输出提示信息，提示信息可用于固态硬盘的剩余存储空间不足。
该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器，存储器404用于存储计算机程序，所述计算机程序包括程序指令，处理器401用于执行存储器404存储的程序指令，以用于执行一种数据处理方法，即用于执行以下操作：
接收写数据请求，所述写数据请求包括目标数据包；
按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
将所述处理后的数据包写入到所述固态硬盘中；
当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
接收针对所述处理后的数据包的读取指令；
判断所述固态硬盘中是否包括所述处理后的数据包；
当所述固态硬盘中包括所述处理后的数据包时，从所述固态硬盘中读取所述处理后的数据包；
当所述固态硬盘中未包括所述处理后的数据包时，从所述机械硬盘中读取所述处理后的数据包。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包被读取的次数；
从所述固态硬盘中的数据包中筛选出被读取的次数小于预设次数的所有数据包；
将筛选出的数据包写入到所述机械硬盘中。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包的存储地址；
从所述固态硬盘中读取存储地址位于预设存储地址段内的所有数据包；
将读取的数据包写入到所述机械硬盘中。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
接收针对所述处理后的数据包的读取指令，所述读取指令包括所述处理后的数据包的标识；
根据所述处理后的数据包的标识查询索引表，以确定所述处理后的数据包的存储器件，所述索引表包括多个数据包的标识，及每个数据包对应的存储器件，所述存储器件包括所述固态硬盘及所述机械硬盘；
从确定的存储器件中读取所述处理后的数据包。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
获取所述目标数据包的数据类型；
根据数据类型与数据格式的对应关系，确定所述目标数据包的数据类型对应的数据格式；
根据确定的数据格式对所述目标数据包进行处理，得到处理后的数据包。
可选的，处理器401用于执行存储器404存储的程序指令，用于执行以下操作：
将所述目标数据包划分为多个数据块；
提取所述多个数据块中的每个数据块的字段；
当目标数据块中包括与预设字段匹配的字段时，将所述目标数据块从所述多个数据块中删除，所述目标数据块为所述多个数据块中的任一数据块；
将所有未包括与所述预设字段匹配的字段的数据块进行合并，得到处理后的数据包。
本发明实施例中所描述的处理器401、输入装置402、输出装置403可执行本发明实施例提供的数据处理方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的电子设备的实现方式，在此不再赘述。
本发明实施例中提供还了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现本发明的图1及图2实施例中所示的数据处理方法。
所述计算机可读存储介质可以是前述任一实施例所述的医疗管理设备的内部存储单元，例如控制设备的硬盘或内存。所述计算机可读存储介质也可以是所述控制设备的外部存储设备，例如所述控制设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述控制设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述控制设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的控制设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的控制设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例是示意性的，例如，所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，应用于电子设备，其特征在于，所述电子设备包括机械硬盘和固态硬盘，所述方法包括：
接收写数据请求，所述写数据请求包括目标数据包；
按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
将所述处理后的数据包写入到所述固态硬盘中；
当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收针对所述处理后的数据包的读取指令；
判断所述固态硬盘中是否包括所述处理后的数据包；
当所述固态硬盘中包括所述处理后的数据包时，从所述固态硬盘中读取所述处理后的数据包；
当所述固态硬盘中未包括所述处理后的数据包时，从所述机械硬盘中读取所述处理后的数据包。
3.根据权利要求2所述的方法，其特征在于，所述当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中，包括：
当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包被读取的次数；
从所述固态硬盘中的数据包中筛选出被读取的次数小于预设次数的所有数据包；
将筛选出的数据包写入到所述机械硬盘中。
4.根据权利要求1所述的方法，其特征在于，所述当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中，包括：
当所述固态硬盘中的数据量达到预设数据量时，获取所述固态硬盘中的每个数据包的存储地址；
从所述固态硬盘中读取存储地址位于预设存储地址段内的所有数据包；
将读取的数据包写入到所述机械硬盘中。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收针对所述处理后的数据包的读取指令，所述读取指令包括所述处理后的数据包的标识；
根据所述处理后的数据包的标识查询索引表，以确定所述处理后的数据包的存储器件，所述索引表包括多个数据包的标识，及每个数据包对应的存储器件，所述存储器件包括所述固态硬盘及所述机械硬盘；
从确定的存储器件中读取所述处理后的数据包。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述预设的处理规则包括数据格式处理规则，所述按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，包括：
获取所述目标数据包的数据类型；
根据数据类型与数据格式的对应关系，确定所述目标数据包的数据类型对应的数据格式；
根据确定的数据格式对所述目标数据包进行处理，得到处理后的数据包。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述预设的处理规则包括数据过滤处理规则，所述按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，包括：
将所述目标数据包划分为多个数据块；
提取所述多个数据块中的每个数据块的字段；
当目标数据块中包括与预设字段匹配的字段时，将所述目标数据块从所述多个数据块中删除，所述目标数据块为所述多个数据块中的任一数据块；
将所有未包括与所述预设字段匹配的字段的数据块进行合并，得到处理后的数据包。
8.一种数据处理装置，应用于电子设备，其特征在于，所述电子设备包括机械硬盘和固态硬盘，所述装置包括：
接收模块，用于接收写数据请求，所述写数据请求包括目标数据包；
处理模块，用于按照预设的处理规则对所述目标数据包进行处理，得到处理后的数据包，所述预设的处理规则包括数据格式处理规则或数据过滤处理规则；
写入模块，用于将所述处理后的数据包写入到所述固态硬盘中；
所述写入模块，还用于当所述固态硬盘中的数据量达到预设数据量时，将所述固态硬盘中的数据包写入到所述机械硬盘中。
9.一种电子设备，其特征在于，包括：
处理器，适于实现一条或一条以上指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-7任一项所述的数据处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如权利要求1-7任一项所述的数据处理方法。
CN201811587324.4A 2018-12-24 2018-12-24 一种数据处理方法、装置、设备及存储介质 Active CN109656487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811587324.4A CN109656487B (zh) 2018-12-24 2018-12-24 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811587324.4A CN109656487B (zh) 2018-12-24 2018-12-24 一种数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109656487A true CN109656487A (zh) 2019-04-19
CN109656487B CN109656487B (zh) 2023-04-28

Family

ID=66116003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811587324.4A Active CN109656487B (zh) 2018-12-24 2018-12-24 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109656487B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245155A (zh) * 2019-05-21 2019-09-17 平安科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及终端设备
CN110286858A (zh) * 2019-06-26 2019-09-27 北京奇艺世纪科技有限公司 一种数据处理方法及相关设备
CN111158609A (zh) * 2019-12-31 2020-05-15 广州鼎甲计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN113220233A (zh) * 2021-05-14 2021-08-06 北京百度网讯科技有限公司 数据读取方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130067144A1 (en) * 2011-09-13 2013-03-14 Yoshiki Namba Controller for storage apparatus and controlling method for storage apparatus
CN103218173A (zh) * 2013-03-27 2013-07-24 华为技术有限公司 存储控制方法及装置
CN106681668A (zh) * 2017-01-12 2017-05-17 郑州云海信息技术有限公司 一种基于固态盘缓存的混合式存储系统及存储方法
CN108268219A (zh) * 2018-02-01 2018-07-10 杭州宏杉科技股份有限公司 一种处理io请求的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130067144A1 (en) * 2011-09-13 2013-03-14 Yoshiki Namba Controller for storage apparatus and controlling method for storage apparatus
CN103218173A (zh) * 2013-03-27 2013-07-24 华为技术有限公司 存储控制方法及装置
CN106681668A (zh) * 2017-01-12 2017-05-17 郑州云海信息技术有限公司 一种基于固态盘缓存的混合式存储系统及存储方法
CN108268219A (zh) * 2018-02-01 2018-07-10 杭州宏杉科技股份有限公司 一种处理io请求的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245155A (zh) * 2019-05-21 2019-09-17 平安科技（深圳）有限公司 数据处理方法、装置、计算机可读存储介质及终端设备
CN110286858A (zh) * 2019-06-26 2019-09-27 北京奇艺世纪科技有限公司 一种数据处理方法及相关设备
CN111158609A (zh) * 2019-12-31 2020-05-15 广州鼎甲计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN111158609B (zh) * 2019-12-31 2020-11-20 广州鼎甲计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN113220233A (zh) * 2021-05-14 2021-08-06 北京百度网讯科技有限公司 数据读取方法、装置及系统

Also Published As

Publication number Publication date
CN109656487B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN109656487A (zh) 一种数据处理方法、装置、设备及存储介质
CN102662690B (zh) 应用程序启动方法和装置
US9875192B1 (en) File system service for virtualized graphics processing units
CN104881259B (zh) 一种数据处理方法和装置以及存储设备
US8478934B2 (en) Managing extended RAID caches using counting bloom filters
CN108959118B (zh) 一种数据写入的方法及装置
CN108334284A (zh) 尾延迟感知前台垃圾收集算法
CN107480074A (zh) 一种缓存方法、装置及电子设备
CN109740083A (zh) 一种页面跳转的方法及装置
CN108710474A (zh) 一种数据存储方法、装置及计算机存储介质
CN102981944A (zh) 一种基于文件系统的日志存储方法
US10713162B1 (en) System and method for computer data garbage collection acceleration using peer to peer data transfers
CN110175833A (zh) 一种绑定银行卡信息的计算机装置、方法、系统及介质
CN106557277A (zh) 磁盘阵列的读方法及装置
CN112181275A (zh) 一种数据处理器及数据处理方法
CN101110049B (zh) 数据记录装置及数据记录方法
CN115712654A (zh) 一种交易状态查询的方法及装置
CN109636611A (zh) 清算配置信息的获取方法、服务器、存储介质及装置
CN100444144C (zh) 微电脑系统的直接内存存取作业方法
CN110262758B (zh) 一种数据存储管理方法、系统及相关设备
CN106504402A (zh) 日志信息记录方法及装置
CN101546453B (zh) 对ic卡的鉴权方法及鉴权装置
CN105279103A (zh) 一种数据管理方法及装置
CN101004796B (zh) 记录方法、记录装置和ic卡
CN110096223A (zh) 与容器的空闲空间有关的跟踪信息

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant