CN111984554B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN111984554B
CN111984554B CN202010760876.1A CN202010760876A CN111984554B CN 111984554 B CN111984554 B CN 111984554B CN 202010760876 A CN202010760876 A CN 202010760876A CN 111984554 B CN111984554 B CN 111984554B
Authority
CN
China
Prior art keywords
data
physical disk
storing
metadata
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010760876.1A
Other languages
English (en)
Other versions
CN111984554A (zh
Inventor
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd Chengdu Branch
Original Assignee
New H3C Technologies Co Ltd Chengdu Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd Chengdu Branch filed Critical New H3C Technologies Co Ltd Chengdu Branch
Priority to CN202010760876.1A priority Critical patent/CN111984554B/zh
Publication of CN111984554A publication Critical patent/CN111984554A/zh
Application granted granted Critical
Publication of CN111984554B publication Critical patent/CN111984554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/14Protection against unauthorised use of memory or access to memory
    • G06F12/1408Protection against unauthorised use of memory or access to memory by using cryptography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/80Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in storage media based on magnetic or optical technology, e.g. disks with sectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据存储技术领域,特别涉及一种数据处理方法及装置。该方法包括:基于配置文件配置的待加密数据的安全级别,确定数据加密模式;若所述数据加密模式为第一加密模式,则确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据存储技术领域,特别涉及一种数据处理方法及装置。
背景技术
随高清视频、图像处理、视频监控等技术的发展,用户数据容量正变得越来越大,而且用户对存储数据的读写性能的要求也在同步增加。用户在选购存储产品时,通常会对性能提出明确的要求,以满足业务的需要。
进一步地,在一些特殊的领域,数据的安全性也很重要,即在磁盘被盗走后,需要保证磁盘上的数据不会被破解,保证客户数据信息不会泄露。
目前主流的本地文件系统加密方案,通常是采用dmcrypt等加密模块进行磁盘数据加密,通过对写入磁盘的数据格式进行格式转换,达到数据加密的目的。
下面以向文件系统写入一个文件为例,介绍下当前主流的加密流程:
1)客户端向本地文件系统写入文件A;2)本地文件系统收到写入文件A的请求,将元数据和数据更新后,向设备管理模块发送数据更新请求;3)设备管理模块将更新请求发送到数据加密模块;4)数据加密模块将数据进行二次封装(加密),写入物理磁盘。
此时磁盘上的数据是经过全量加密的,数据读取时,需要经过数据加密模块解析,得出本地文件系统能识别的格式,然后返回上层。
然而,通过数据加密模块进行磁盘数据加密,需要对所有的数据都进行加密、解密,会导致存储系统读写IO的时延明显增加,性能大幅下降,对于时延敏感的场景是不能接受的。
发明内容
本申请提供了一种数据处理方法及装置,用以解决现有技术中存在的对待存储数据进行全量加密而导致存储系统性能差的问题。
第一方面,本申请提供了一种数据处理方法,所述方法包括:
基于配置文件配置的待加密数据的安全级别,确定数据加密模式;
若所述数据加密模式为第一加密模式,则确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;
在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。
可选地,所述确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置的步骤包括:
获取所述第一物理磁盘的大小和标准数据写入规则;
根据所述第一物理磁盘的大小和标准数据写入规则,确定用于存储所述标准数据的一个或多个指定位置。
可选地,所述方法还包括:
若所述数据加密模式为第二加密模式,则确定出用于存储所述待加密数据的元数据的第二物理磁盘;
在接收到第二数据存储指令时,将所述第二数据的元数据加密存储至所述第二物理磁盘,并将所述第二数据存储至除所述第二物理磁盘之外的其它物理磁盘。
可选地,所述确定出用于存储所述待加密数据的元数据的第二物理磁盘的步骤包括:
确定出用于存储所述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
可选地,所述将所述第二数据的元数据加密存储至所述第二物理磁盘的步骤包括:
将所述第二数据的元数据的数据格式转换为指定数据格式后,存储至所述第二物理磁盘。
第二方面,本申请提供了一种数据处理装置,所述装置包括:
第一确定单元,用于基于配置文件配置的待加密数据的安全级别,确定数据加密模式;
第二确定单元,若所述第一确定单元确定所述数据加密模式为第一加密模式,则所述第二确定单元用于确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;
第一处理单元,用于在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。
可选地,所述确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置时,所述第二确定单元具体用于:
获取所述第一物理磁盘的大小和标准数据写入规则;
根据所述第一物理磁盘的大小和标准数据写入规则,确定用于存储所述标准数据的一个或多个指定位置。
可选地,所述装置还包括第三确定单元和第二处理单元,
若所述第一确定单元确定所述数据加密模式为第二加密模式,则所述第三确定单元用于确定出用于存储所述待加密数据的元数据的第二物理磁盘;
所述第二处理单元在接收到第二数据存储指令时,将所述第二数据的元数据加密存储至所述第二物理磁盘,并将所述第二数据存储至除所述第二物理磁盘之外的其它物理磁盘。
可选地,所述确定出用于存储所述待加密数据的元数据的第二物理磁盘时,所述第三确定单元具体用于:
确定出用于存储所述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
可选地,所述将所述第二数据的元数据加密存储至所述第二物理磁盘时,所述第二处理单元具体用于:
将所述第二数据的元数据的数据格式转换为指定数据格式后,存储至所述第二物理磁盘。
第三方面,本申请实施例提供一种数据处理装置,该数据处理装置包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如上述第一方面中任一项所述的方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行如上述第一方面中任一项所述方法的步骤。
综上可知,本申请实施例提供的数据处理方法,基于配置文件配置的待加密数据的安全级别,确定数据加密模式;若所述数据加密模式为第一加密模式,则确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。
采用本申请实施例提供的数据处理方法,通过在用于存储数据的元数据的物理磁盘上划分用于存储标准数据的指定位置,将数据的元数据存储至该物理磁盘的其它位置的方式,对元数据的存储规律进行调整,标准文件存储系统逆向无法解析该元数据,从而数据在存储至其它磁盘时,无需进行格式转换处理,本申请提供的数据处理方式,在提升文件存储系统性能的同时,达到了对存储数据进行加密的效果。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的详细流程图;
图2为本申请实施例提供的一种物理磁盘的多个指定位置写入标准数据的示意图;
图3为本申请实施例提供的另一种数据处理方法的详细流程图;
图4为本申请实施例提供的一种数据处理装置的结构示意图;
图5为本申请实施例提供的另一种数据处理装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
示例性的,参阅图1所示,本申请实施例提供的一种数据处理方法的详细流程图,该方法包括以下步骤:
步骤100:基于配置文件配置的待加密数据的安全级别,确定数据加密模式。
实际应用中,用户/管理人员可以根据当前应用场景和/或业务需求进行安全级别(对应的数据加密模式)的设置,以及后续安全级别(对应的数据加密模式)的选择,本申请实施例中,本地文件存储系统初始化后,基于用于选择/预设的配置文件,确定当前使用的数据加密模式,具体地,数据加密模式可以包括第一加密模式(普通加密)。
本申请实施例中,所谓普通加密指的是通过在用于存储元数据的磁盘对应的逻辑块寻址模式(Logical Block Addressing,LBA)地址范围内,按照预设规则写入标准数据(如,魔数),那么,在进行元数据空间管理时,不会将元数据写入魔数空间,由于魔数空间不会造成磁盘碎片,故对磁盘性能无影响,且起到磁盘加密的作用(魔数改变了元数据磁盘区域,在按照标准文件存储系统逆向无法解析)。
也就是说,本申请实施例中,通过打乱元数据的存储规则(元数据磁盘分布信息),达到间接对元数据进行加密的作用,通过间接对元数据进行加密,达到对元数据对应的数据进行加密的实现。
步骤110:若上述数据加密模式为第一加密模式,则确定出用于存储上述待加密数据的元数据的第一物理磁盘,并确定出上述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将上述标准数据分别写入上述至少一个指定位置。
本申请实施例中,在确定出上述第一物理磁盘中用于存储标准数据的至少一个指定位置时,一种较佳地实现方式为,获取上述第一物理磁盘的大小和标准数据写入规则;根据上述第一物理磁盘的大小和标准数据写入规则,确定用于存储上述标准数据的一个或多个指定位置。
实际应用中,在确定数据加密模式为普通加密时,首先需要确定出用于存储待加密数据的元数据的物理磁盘;然后,在该物理磁盘中确定出用于写入魔数的至少一个指定区域,需要说明的是,由于魔数大小是固定的,那么,各指定区域的大小也是固定的;最后,将魔数写入各个指定区域。
示例性的,参阅图2所示,为本申请实施例提供的一种物理磁盘的多个指定位置写入标准数据的示意图。较佳地,每隔固定间隔大小写入一个标准数据,其中,如图2所示,物理磁盘每个1G或10G写入一个标准数据,较佳地,标准数据为0xabcdef,其占用物理磁盘的1个扇区。
实际应用中,物理磁盘都是TB级别,因此,一块物理磁盘上设置多个用于存储标准数据的指定位置,对物理磁盘连续性不构成影响,不会导致顺序读变成随机读的问题。
当然,标准数据写入规则也可以为其它规则,本申请实施例中,在此不做具体限定。例如,第一个指定位置与第二个指定位置间隔x G,第二个指定位置与第三个指定位置间隔2x G,第三个指定位置与第四个指定位置间隔3x G,以上述规则进行循环,例如,第四个指定位置与第五个指定位置间隔x G,第五个指定位置与第六个指定位置间隔2x G,第六个指定位置与第七个指定位置间隔3x G。
步骤120:在接收到第一数据存储指令时,将上述第一数据的元数据存储至上述第一物理磁盘中除上述至少一个指定位置之外的其它位置,并将上述第一数据存储至除上述第一物理磁盘之外的其它物理磁盘。
本申请实施例中,文件存储系统中用于存储元数据的物理磁盘中划分出若干个指定位置,用于存储标准数据(魔数),那么,文件存储系统在接收到客户端发送的第一数据存储指令时,即可将该第一数据的元数据存储至该物理磁盘中,由于该物理磁盘中的若干指定位置已存储有标准数据,那么,客户端待存储的数据的元数据即只能存储在该物理磁盘的除若干指定位置之外的其它位置上,进一步地,将该数据本身存储至其它用于存储数据的其它物理磁盘上。
示例性的,参阅图3所示,为本申请实施例提供的另一种数据处理方法的详细流程图,该方法包括以下步骤:
步骤300:基于配置文件配置的待加密数据的安全级别,确定数据加密模式。
步骤310:若上述数据加密模式为第二加密模式,则确定出用于存储上述待加密数据的元数据的第二物理磁盘。
本申请实施例中,数据加密模式还可以包括第二加密模式(元数据全量加密)。
本申请实施例中,所谓元数据全量加密指的是将数据与其对应的元数据分离,对加密模块进行优化,按照磁盘LBA地址进行划分,对用于存储元数据的磁盘的LBA地址进行加密,用于存储数据的磁盘的LBA地址不进行加密。此方案即保证了全量元数据的加密,又保证了数据区域的性能(大量的磁盘数据读写发生在数据区域)。
具体地,本申请实施例中,在确定出用于存储上述待加密数据的元数据的第二物理磁盘时,一种较佳地实现方式为,确定出用于存储上述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
步骤320:在接收到第二数据存储指令时,将上述第二数据的元数据加密存储至上述第二物理磁盘,并将上述第二数据存储至除上述第二物理磁盘之外的其它物理磁盘。
具体地,本申请实施例中,在将上述第二数据的元数据加密存储至上述第二物理磁盘时,一种较佳地实现方式为,将上述第二数据的元数据的数据格式转换为指定数据格式后,存储至上述第二物理磁盘。
具体地,元数据全量加密流程可以包括:1)设备管理模块识别出元数据所在的磁盘LBA地址范围;2)设备管理模块将元数据所在的LBA地址范围传递给加密模块;3)加密模块对元数据所在的LBA地址范围进行加密,此LBA地址范围内的磁盘写入都会进行格式转换(同样,元数据读取时需要进行逆向的数据格式解析);4)元数据写入磁盘。
基于与上述方法实施例同样的发明构思,示例性的,参阅图4所示,为本申请实施例提供的一种数据处理装置的结构示意图,该数据处理装置包括:
第一确定单元40,用于基于配置文件配置的待加密数据的安全级别,确定数据加密模式;
第二确定单元41,若第一确定单元40确定所述数据加密模式为第一加密模式,则第二确定单元41用于确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;
第一处理单元42,用于在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。
可选地,所述确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置时,第二确定单元41具体用于:
获取所述第一物理磁盘的大小和标准数据写入规则;
根据所述第一物理磁盘的大小和标准数据写入规则,确定用于存储所述标准数据的一个或多个指定位置。
可选地,所述装置还包括第三确定单元和第二处理单元,
若所述第一确定单元确定所述数据加密模式为第二加密模式,则所述第三确定单元用于确定出用于存储所述待加密数据的元数据的第二物理磁盘;
所述第二处理单元在接收到第二数据存储指令时,将所述第二数据的元数据加密存储至所述第二物理磁盘,并将所述第二数据存储至除所述第二物理磁盘之外的其它物理磁盘。
可选地,所述确定出用于存储所述待加密数据的元数据的第二物理磁盘时,所述第三确定单元具体用于:
确定出用于存储所述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
可选地,所述将所述第二数据的元数据加密存储至所述第二物理磁盘时,所述第二处理单元具体用于:
将所述第二数据的元数据的数据格式转换为指定数据格式后,存储至所述第二物理磁盘。
以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个单元通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
综上可知,本申请实施例提供的数据处理方法,基于配置文件配置的待加密数据的安全级别,确定数据加密模式;若所述数据加密模式为第一加密模式,则确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘。
采用本申请实施例提供的数据处理方法,通过在用于存储数据的元数据的物理磁盘上划分用于存储标准数据的指定位置,将数据的元数据存储至该物理磁盘的其它位置的方式,对元数据的存储规律进行调整,标准文件存储系统逆向无法解析该元数据,从而数据在存储至其它磁盘时,无需进行格式转换处理,本申请提供的数据处理方式,在提升文件存储系统性能的同时,达到了对存储数据进行加密的效果。
进一步地,本申请实施例提供的数据处理装置,从硬件层面而言,所述数据处理装置的硬件架构示意图可以参见图5所示,所述数据处理装置可以包括:存储器50和处理器51,
存储器50用于存储程序指令;处理器51调用存储器50中存储的程序指令,按照获得的程序指令执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种数据处理装置,包括用于执行上述方法实施例的至少一个处理元件(或芯片)。
可选地,本申请还提供一种程序产品,例如计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令用于使该计算机执行上述方法实施例。
这里,机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种数据处理方法,其特征在于,所述方法包括:
基于配置文件配置的待加密数据的安全级别,确定数据加密模式;
若所述数据加密模式为第一加密模式,则确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;
在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘;
所述确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置的步骤包括:
获取所述第一物理磁盘的大小和标准数据写入规则;
根据所述第一物理磁盘的大小和标准数据写入规则,确定用于存储所述标准数据的一个或多个指定位置。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述数据加密模式为第二加密模式,则确定出用于存储所述待加密数据的元数据的第二物理磁盘;
在接收到第二数据存储指令时,将所述第二数据的元数据加密存储至所述第二物理磁盘,并将所述第二数据存储至除所述第二物理磁盘之外的其它物理磁盘。
3.如权利要求2所述的方法,其特征在于,所述确定出用于存储所述待加密数据的元数据的第二物理磁盘的步骤包括:
确定出用于存储所述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
4.如权利要求3所述的方法,其特征在于,所述将所述第二数据的元数据加密存储至所述第二物理磁盘的步骤包括:
将所述第二数据的元数据的数据格式转换为指定数据格式后,存储至所述第二物理磁盘。
5.一种数据处理装置,其特征在于,所述装置包括:
第一确定单元,用于基于配置文件配置的待加密数据的安全级别,确定数据加密模式;
第二确定单元,若所述第一确定单元确定所述数据加密模式为第一加密模式,则所述第二确定单元用于确定出用于存储所述待加密数据的元数据的第一物理磁盘,并确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置,以及将所述标准数据分别写入所述至少一个指定位置;
第一处理单元,用于在接收到第一数据存储指令时,将所述第一数据的元数据存储至所述第一物理磁盘中除所述至少一个指定位置之外的其它位置,并将所述第一数据存储至除所述第一物理磁盘之外的其它物理磁盘;
所述确定出所述第一物理磁盘中用于存储标准数据的至少一个指定位置时,所述第二确定单元具体用于:
获取所述第一物理磁盘的大小和标准数据写入规则;
根据所述第一物理磁盘的大小和标准数据写入规则,确定用于存储所述标准数据的一个或多个指定位置。
6.如权利要求5所述的装置,其特征在于,所述装置还包括第三确定单元和第二处理单元,
若所述第一确定单元确定所述数据加密模式为第二加密模式,则所述第三确定单元用于确定出用于存储所述待加密数据的元数据的第二物理磁盘;
所述第二处理单元在接收到第二数据存储指令时,将所述第二数据的元数据加密存储至所述第二物理磁盘,并将所述第二数据存储至除所述第二物理磁盘之外的其它物理磁盘。
7.如权利要求6所述的装置,其特征在于,所述确定出用于存储所述待加密数据的元数据的第二物理磁盘时,所述第三确定单元具体用于:
确定出用于存储所述待加密数据的元数据的第二物理磁盘对应的LBA地址范围。
8.如权利要求7所述的装置,其特征在于,所述将所述第二数据的元数据加密存储至所述第二物理磁盘时,所述第二处理单元具体用于:
将所述第二数据的元数据的数据格式转换为指定数据格式后,存储至所述第二物理磁盘。
CN202010760876.1A 2020-07-31 2020-07-31 一种数据处理方法及装置 Active CN111984554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760876.1A CN111984554B (zh) 2020-07-31 2020-07-31 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760876.1A CN111984554B (zh) 2020-07-31 2020-07-31 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN111984554A CN111984554A (zh) 2020-11-24
CN111984554B true CN111984554B (zh) 2023-03-28

Family

ID=73444930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760876.1A Active CN111984554B (zh) 2020-07-31 2020-07-31 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111984554B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020537A (zh) * 2011-09-22 2013-04-03 腾讯科技(深圳)有限公司 数据加密方法和装置、数据解密方法和装置
WO2019206106A1 (en) * 2018-04-23 2019-10-31 Zhejiang Dahua Technology Co., Ltd. Systems and methods for storing data in ssd

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140865B2 (en) * 2009-02-06 2012-03-20 International Business Machines Corporation Pre-configuring of encryption bands on a disk for use in a plurality of array configurations
WO2013159337A1 (zh) * 2012-04-27 2013-10-31 华为技术有限公司 存储控制设备、数据归档存储系统和数据存取方法
US9152642B2 (en) * 2012-12-21 2015-10-06 Zetta, Inc. Systems and methods for on-demand data storage
US9934194B2 (en) * 2013-12-20 2018-04-03 Rambus Inc. Memory packet, data structure and hierarchy within a memory appliance for accessing memory
CN104391652A (zh) * 2014-10-20 2015-03-04 北京兆易创新科技股份有限公司 一种硬盘的损耗均衡方法及装置
US10452290B2 (en) * 2016-12-19 2019-10-22 Pure Storage, Inc. Block consolidation in a direct-mapped flash storage system
US10691340B2 (en) * 2017-06-20 2020-06-23 Samsung Electronics Co., Ltd. Deduplication of objects by fundamental data identification
CN109614045B (zh) * 2018-12-06 2022-04-15 广东浪潮大数据研究有限公司 一种元数据落盘方法、装置及相关设备
CN111381779B (zh) * 2020-03-05 2024-02-23 深信服科技股份有限公司 数据处理方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020537A (zh) * 2011-09-22 2013-04-03 腾讯科技(深圳)有限公司 数据加密方法和装置、数据解密方法和装置
WO2019206106A1 (en) * 2018-04-23 2019-10-31 Zhejiang Dahua Technology Co., Ltd. Systems and methods for storing data in ssd

Also Published As

Publication number Publication date
CN111984554A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
US10089191B2 (en) Selectively persisting application program data from system memory to non-volatile data storage
US9405925B2 (en) Content item encryption on mobile devices
US8261098B2 (en) Method and apparatus for encrypting and processing data in flash translation layer
CN112783831B (zh) 一种文件迁移方法及装置
JP4941556B2 (ja) 暗号化装置、暗号化方法および暗号化プログラム
CN112181902B (zh) 数据库的存储方法、装置及电子设备
US10216645B2 (en) Memory data transfer method and system
CN103473266A (zh) 固态硬盘及其删除重复数据的方法
CN110263505A (zh) 基于区块链的图片处理方法及装置
EP3243182A1 (en) Method and apparatus for processing transactions
US9411513B2 (en) Sensitive data file attribute
CN114721594A (zh) 一种分布式存储方法、装置、设备及机器可读存储介质
US9037792B1 (en) Systems and methods for providing caching for applications with solid-state storage devices
CN111984554B (zh) 一种数据处理方法及装置
CN102750213A (zh) 磁盘检测、处理方法及检测、处理系统
CN114924911B (zh) Windows操作系统有效数据备份方法、装置、设备和存储介质
CN112256206B (zh) 一种io处理方法及装置
US20200285751A1 (en) Information processing device, method for controlling information processing device, and program
WO2016095451A1 (zh) 一种提高存储器访问效率的方法、装置及存储介质
CN112800057A (zh) 一种指纹表管理方法及装置
WO2019183849A1 (zh) 数据处理方法和设备
CN113253925B (zh) 一种读写性能优化方法及装置
CN115437574A (zh) 一种存储集群管理方法、装置、设备及机器可读存储介质
CN117742586A (zh) 数据存储方法、装置、计算机设备和存储介质
CN117762877A (zh) 应用于临时文件的数据处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant