CN106371764A - 一种虚拟块设备数据处理的方法及装置 - Google Patents

一种虚拟块设备数据处理的方法及装置 Download PDF

Info

Publication number
CN106371764A
CN106371764A CN201610709308.2A CN201610709308A CN106371764A CN 106371764 A CN106371764 A CN 106371764A CN 201610709308 A CN201610709308 A CN 201610709308A CN 106371764 A CN106371764 A CN 106371764A
Authority
CN
China
Prior art keywords
data
write
chinese ink
brush dipped
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610709308.2A
Other languages
English (en)
Inventor
陆力信
王永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610709308.2A priority Critical patent/CN106371764A/zh
Publication of CN106371764A publication Critical patent/CN106371764A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device

Abstract

本发明公开了一种虚拟块设备数据处理的方法及装置，通过接收用户进行数据写入的请求信息；将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；将待刷写数据的大小与预设的内存占用阈值进行比较；当待刷写数据的大小大于或等于内存占用阈值时，将待刷写数据写入磁盘文件中。本发明所提供的虚拟块设备数据处理的方法及装置，在需要快速处理大块数据的时候，利用虚拟块设备进行数据存储的方式，在内存中直接进行数据的处理，将超过阈值的数据刷写到相关的磁盘文件，避免数据的丢失。并且，通过设置内存占用大小的阈值，来改善过高的使用系统内存，防止系统内存占用过多导致的计算速度慢或者死机、重启等不良现象。

Description

一种虚拟块设备数据处理的方法及装置
技术领域
本发明涉及虚拟块设备刷写磁盘的技术领域，特别是涉及一种虚拟块设备数据处理的方法及装置。
背景技术
随着计算机技术的飞速发展，很多技术都有了大幅度的提升，尤其是缓存和闪存的成功使用，满足了各个计算机领域对于计算资源和计算速率的需求。在使用虚拟块设备的同时，用户所操作的所有数据都是存在于内存之中，并不是存储于真正的物理磁盘之中，这种处理方式虽然极大地加快了数据处理的速度，但是在这种情况下，由于内存的不断占用，数据会不断地增加，最终导致内存过大，影响计算速率，甚至是导致死机，从而丢失主要数据。
鉴于此，如何避免上述功能的缺陷是本领域技术人员亟待解决的技术问题。
发明内容
本发明的目的是提供一种虚拟块设备数据处理的方法以及装置，目的在于解决现有技术中由于内存大小有限，而限制创建超大虚拟块设备，通过不断地向硬盘刷写数据防止内存被过多占用，导致内存过大、影响计算速率，导致死机、数据丢失的问题。
为解决上述技术问题，本发明提供一种虚拟块设备数据处理的方法，包括：
接收用户进行数据写入的请求信息；
将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
将所述待刷写数据的大小与预设的内存占用阈值进行比较；
当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
可选地，所述当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中包括：
对所述待刷写数据进行分段；
根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
将所述区段的数据写入所述磁盘文件中。
可选地，所述将所述区段的数据写入所述磁盘文件中包括：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；
当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；
当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
可选地，所述将数据写入内存中包括：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
可选地，在将所述待刷写数据写入磁盘文件之后还包括：
销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
本发明还提供了一种虚拟块设备数据处理的装置，包括：
接收模块，用于接收用户进行数据写入的请求信息；
写入内存模块，用于将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
比较模块，用于将所述待刷写数据的大小与预设的内存占用阈值进行比较；
写入磁盘模块，用于当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
可选地，所述写入磁盘模块包括：
分段单元，用于对所述待刷写数据进行分段；
确定区段单元，用于根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
数据写入单元，用于将所述区段的数据写入所述磁盘文件中。
可选地，所述数据写入单元具体用于：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
可选地，所述写入内存模块具体用于：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
可选地，还包括：
虚拟设备删除模块，用于在将选择区段的待刷写数据写入磁盘文件之后，销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
本发明所提供的虚拟块设备数据处理的方法及装置，通过接收用户进行数据写入的请求信息；将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；将待刷写数据的大小与预设的内存占用阈值进行比较；当待刷写数据的大小大于或等于内存占用阈值时，将待刷写数据写入磁盘文件中。本发明所提供的虚拟块设备数据处理的方法及装置，在需要快速处理大块数据的时候，利用虚拟块设备进行数据存储的方式，在内存中直接进行数据的处理，将超过阈值的数据刷写到相关的磁盘文件，避免数据的丢失。并且，通过设置内存占用大小的阈值，来改善过高的使用系统内存，防止系统内存占用过多导致的计算速度慢或者死机、重启等不良现象。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的虚拟块设备数据处理的方法的一种具体实施方式的流程图；
图2为本发明所提供的虚拟块设备数据处理的方法的另一种具体实施方式的处理流程图；
图3为本发明实施例提供的虚拟块设备数据处理的装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的虚拟块设备数据处理的方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：接收用户进行数据写入的请求信息；
步骤S102：将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
步骤S103：将所述待刷写数据的大小与预设的内存占用阈值进行比较；
步骤S104：当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
需要指出的是，本实施例中采用通过对内核读写函数内部指针的修改将选择部分区段的数据写入虚拟块设备中，并且通过编写IO流处理函数来完成将选择的某些特定区段的数据写入硬盘或者将某些特定区域的数据IO丢弃的方法。
本发明所提供的虚拟块设备数据处理的方法，通过接收用户进行数据写入的请求信息；将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；将待刷写数据的大小与预设的内存占用阈值进行比较；当待刷写数据的大小大于或等于内存占用阈值时，将待刷写数据写入磁盘文件中。本发明所提供的虚拟块设备数据处理的方法，在需要快速处理大块数据的时候，利用虚拟块设备进行数据存储的方式，在内存中直接进行数据的处理，将超过阈值的数据刷写到相关的磁盘文件，避免数据的丢失。并且，通过设置内存占用大小的阈值，来改善过高的使用系统内存，防止系统内存占用过多导致的计算速度慢或者死机、重启等不良现象。
在上述实施例的基础上，本发明所提供的虚拟块设备数据处理的方法还提供了选择保护数据区段的方法。
具体地，上述步骤S104当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中的过程可以进一步包括：
对所述待刷写数据进行分段；
根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
将所述区段的数据写入所述磁盘文件中。
进一步地，将所述区段的数据写入所述磁盘文件中可以具体为：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；
当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；
当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
本实施例中对于虚拟块设备的数据是可以根据选择的区段来确定写入硬盘数据的大小和区域，并且可以将写入硬盘的数据保存到指定的文件中。还可以根据任意选择的区段来确定丢弃所选数据的大小和区域，并且可以选择是否将剩余的数据保存到指定的文件中。
在上述任一实施例的基础上，本发明将数据写入内存中的过程可以为：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
本实施例中每个数据都存放于红黑树的叶子节点中，当有新的数据需要插入或删除时，直接对红黑树节点进行操作，便于数据的查找与提取。
作为一种优选实施方式，在将所述待刷写数据写入磁盘文件之后还可以包括：
销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
请参照图2本发明所提供的虚拟块设备数据处理的方法的另一种具体实施方式的处理流程图，下面对本发明所提供的虚拟块设备数据处理的方法的另一种具体实施方式的工作流程进行详细阐述。
在用户态通过ictol函数将参数传入内核态，用于设置虚拟设备的大小、实际刷写磁盘大小、内存阈值，以及数据处理区域等。
进入内核态创建虚拟块设备，根据传入的参数设置块设备大小，创建关联文件，并进入mem_register函数向系统注册。
创建请求队列，并初始化红黑树，用红黑树结构体来保存虚拟块设备的具体数据内容。
利用make_request函数创建mem_make_request，用于应答数据处理的请求。
创建mem thread内核线程，处理bio。
根据传入的内存阈值，确定是否调用erase_data函数将虚拟块设备内红黑树节点的数据刷入关联文件，并根据传入的区域参数确定哪部分的数据需要书写或者丢弃。
数据处理完毕，调用release_devicename函数销毁工作队列，处理未完成IO，以及释放设备，删除设备号等操作完成虚拟设备的删除。
本实施例结合虚拟块设备新型结构的创建，从用户态将虚拟块设备大小、占用内存阈值、刷写到实际硬盘文件的大小、要求刷写磁盘或丢弃数据的区域以及刷写和丢弃判定参数等几种参数传入内核模块，在内核模块采用红黑树作为数据存储结构，并且通过设置内存占用大小的阈值，来改善过高的使用系统内存，防止系统内存占用过多导致的计算速度慢或者死机、重启等不良现象；并且使用数据保护措施，将超过阈值的数据刷写到相关的磁盘文件，避免数据的丢失，最后通过对虚拟块设备区段的选择，确定某些部分的数据是写入磁盘文件还是需要丢弃数据。
下面对本发明实施例提供的虚拟块设备数据处理的装置进行介绍，下文描述的虚拟块设备数据处理的装置与上文描述的虚拟块设备数据处理的方法可相互对应参照。
图3为本发明实施例提供的虚拟块设备数据处理的装置的结构框图，参照图3虚拟块设备数据处理的装置可以包括：
接收模块100，用于接收用户进行数据写入的请求信息；
写入内存模块200，用于将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
比较模块300，用于将所述待刷写数据的大小与预设的内存占用阈值进行比较；
写入磁盘模块400，用于当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
在上述任一实施例的基础上，本发明所提供的虚拟块设备数据处理的装置中，上述写入磁盘模块400可以具体包括：
分段单元，用于对所述待刷写数据进行分段；
确定区段单元，用于根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
数据写入单元，用于将所述区段的数据写入所述磁盘文件中。
进一步地，上述数据写入单元可以具体用于：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
在上述任一实施例的基础上，本发明所提供的虚拟块设备数据处理的装置中，写入内存模块200可以具体用于：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
优选地，本发明还可以进一步包括：
虚拟设备删除模块，用于在将选择区段的待刷写数据写入磁盘文件之后，销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
本发明所提供的虚拟块设备数据处理的方法及装置，通过接收用户进行数据写入的请求信息；将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；将待刷写数据的大小与预设的内存占用阈值进行比较；当待刷写数据的大小大于或等于内存占用阈值时，将待刷写数据写入磁盘文件中。本发明所提供的虚拟块设备数据处理的方法及装置，在需要快速处理大块数据的时候，利用虚拟块设备进行数据存储的方式，在内存中直接进行数据的处理，将超过阈值的数据刷写到相关的磁盘文件，避免数据的丢失。并且，通过设置内存占用大小的阈值，来改善过高的使用系统内存，防止系统内存占用过多导致的计算速度慢或者死机、重启等不良现象。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的虚拟块设备数据处理的方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种虚拟块设备数据处理的方法，其特征在于，包括：
接收用户进行数据写入的请求信息；
将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
将所述待刷写数据的大小与预设的内存占用阈值进行比较；
当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
2.如权利要求1所述的虚拟块设备数据处理的方法，其特征在于，所述当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中包括：
对所述待刷写数据进行分段；
根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
将所述区段的数据写入所述磁盘文件中。
3.如权利要求2所述的虚拟块设备数据处理的方法，其特征在于，所述将所述区段的数据写入所述磁盘文件中包括：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；
当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；
当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
4.如权利要求1至3任一项所述的虚拟块设备数据处理的方法，其特征在于，所述将所选区段的数据写入内存中包括：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
5.如权利要求4所述的虚拟块设备数据处理的方法，其特征在于，在将所述待刷写数据写入磁盘文件之后还包括：
销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
6.一种虚拟块设备数据处理的装置，其特征在于，包括：
接收模块，用于接收用户进行数据写入的请求信息；
写入内存模块，用于将所选区段的数据写入内存中，实时获取写入内存的待刷写数据的大小；
比较模块，用于将所述待刷写数据的大小与预设的内存占用阈值进行比较；
写入磁盘模块，用于当所述待刷写数据的大小大于或等于所述内存占用阈值时，将所述待刷写数据写入磁盘文件中。
7.如权利要求6所述的虚拟块设备数据处理的装置，其特征在于，所述写入磁盘模块包括：
分段单元，用于对所述待刷写数据进行分段；
确定区段单元，用于根据预先设置的刷写判定参数，确定要求刷写磁盘的待刷写数据对应所选择的区段；
数据写入单元，用于将所述区段的数据写入所述磁盘文件中。
8.如权利要求7所述的虚拟块设备数据处理的装置，其特征在于，所述数据写入单元具体用于：
将所述区段的数据总和与预设的实际硬盘文件的大小进行比较；当所述区段的数据总和小于或等于所述实际硬盘文件的大小时，将数据刷写到设定大小的实际硬盘文件中；当所述区段的数据总和大于所述实际硬盘文件的大小时，向用户发送增加关联的实际文件或选择区段进行区域数据丢弃的提示信息。
9.如权利要求6至8任一项所述的虚拟块设备数据处理的装置，其特征在于，所述写入内存模块具体用于：
通过红黑树结构体作为数据存储的节点，将所选区段的数据写入所述内存。
10.如权利要求9所述的虚拟块设备数据处理的装置，其特征在于，还包括：
虚拟设备删除模块，用于在将选择区段的待刷写数据写入磁盘文件之后，销毁工作队列，处理未完成输入输出任务，并释放虚拟设备，删除对应的设备号信息。
CN201610709308.2A 2016-08-23 2016-08-23 一种虚拟块设备数据处理的方法及装置 Pending CN106371764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610709308.2A CN106371764A (zh) 2016-08-23 2016-08-23 一种虚拟块设备数据处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610709308.2A CN106371764A (zh) 2016-08-23 2016-08-23 一种虚拟块设备数据处理的方法及装置

Publications (1)

Publication Number Publication Date
CN106371764A true CN106371764A (zh) 2017-02-01

Family

ID=57879483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610709308.2A Pending CN106371764A (zh) 2016-08-23 2016-08-23 一种虚拟块设备数据处理的方法及装置

Country Status (1)

Country Link
CN (1) CN106371764A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329694A (zh) * 2017-06-22 2017-11-07 苏州交运电子科技有限公司 数据存储控制方法、控制装置及存储设备
CN107577615A (zh) * 2017-09-14 2018-01-12 郑州云海信息技术有限公司 一种解决内核客户端数据不一致的方法、装置及设备
CN107967122A (zh) * 2017-11-22 2018-04-27 郑州云海信息技术有限公司 一种块设备的数据写入方法、装置及介质
CN108038003A (zh) * 2017-12-29 2018-05-15 北京酷我科技有限公司 一种移动端存储策略
CN109240940A (zh) * 2018-09-03 2019-01-18 军创（厦门）自动化科技有限公司 一种大容量NAND Flash数据存储方法
CN109582244A (zh) * 2018-12-05 2019-04-05 广东浪潮大数据研究有限公司 一种元数据落盘方法、装置、终端及计算机可读存储介质
CN110348245A (zh) * 2018-04-02 2019-10-18 深信服科技股份有限公司 基于nvm的数据完整性保护方法、系统、装置及存储介质
CN110471622A (zh) * 2019-07-30 2019-11-19 惠州Tcl移动通信有限公司 一种sd卡数据写入方法、装置、存储介质及终端
CN112204530A (zh) * 2019-12-23 2021-01-08 商汤国际私人有限公司 数据处理方法和装置、边端设备
CN114461547A (zh) * 2021-12-29 2022-05-10 苏州浪潮智能科技有限公司 一种存储系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146455B2 (en) * 2003-05-19 2006-12-05 Accton Technology Corporation System and method for optimized access to memory devices requiring block writing
CN101414244A (zh) * 2007-10-19 2009-04-22 深圳市亚贝电气技术有限公司 一种网络环境下处理数据的方法、装置和系统
CN102004760A (zh) * 2010-11-03 2011-04-06 深圳市同洲电子股份有限公司 多媒体文件的存储和播放方法、相关装置及系统
CN102201005A (zh) * 2011-05-20 2011-09-28 苏州安源汇信软件有限公司 一种文件系统的流媒体增强文件布局方法
CN103581331A (zh) * 2013-11-13 2014-02-12 中国科学院计算技术研究所 虚拟机在线迁移方法与系统
CN104166567A (zh) * 2014-08-12 2014-11-26 广州金山网络科技有限公司 一种下载网络流数据的方法及装置
CN104486387A (zh) * 2014-12-02 2015-04-01 浪潮(北京)电子信息产业有限公司 一种数据同步处理方法及系统
CN105183399A (zh) * 2015-09-30 2015-12-23 北京奇艺世纪科技有限公司 一种基于弹性块存储的数据写、读方法及装置
CN105260138A (zh) * 2015-09-30 2016-01-20 福州瑞芯微电子股份有限公司 读写控制系统及方法
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146455B2 (en) * 2003-05-19 2006-12-05 Accton Technology Corporation System and method for optimized access to memory devices requiring block writing
CN101414244A (zh) * 2007-10-19 2009-04-22 深圳市亚贝电气技术有限公司 一种网络环境下处理数据的方法、装置和系统
CN102004760A (zh) * 2010-11-03 2011-04-06 深圳市同洲电子股份有限公司 多媒体文件的存储和播放方法、相关装置及系统
CN102201005A (zh) * 2011-05-20 2011-09-28 苏州安源汇信软件有限公司 一种文件系统的流媒体增强文件布局方法
CN103581331A (zh) * 2013-11-13 2014-02-12 中国科学院计算技术研究所 虚拟机在线迁移方法与系统
CN104166567A (zh) * 2014-08-12 2014-11-26 广州金山网络科技有限公司 一种下载网络流数据的方法及装置
CN104486387A (zh) * 2014-12-02 2015-04-01 浪潮(北京)电子信息产业有限公司 一种数据同步处理方法及系统
CN105183399A (zh) * 2015-09-30 2015-12-23 北京奇艺世纪科技有限公司 一种基于弹性块存储的数据写、读方法及装置
CN105260138A (zh) * 2015-09-30 2016-01-20 福州瑞芯微电子股份有限公司 读写控制系统及方法
CN105511802A (zh) * 2015-11-24 2016-04-20 北京达沃时代科技有限公司 写缓存的方法和装置以及磁盘缓存区的同步方法和装置
CN105677258A (zh) * 2016-02-23 2016-06-15 浪潮(北京)电子信息产业有限公司 一种日志数据管理方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329694A (zh) * 2017-06-22 2017-11-07 苏州交运电子科技有限公司 数据存储控制方法、控制装置及存储设备
CN107577615A (zh) * 2017-09-14 2018-01-12 郑州云海信息技术有限公司 一种解决内核客户端数据不一致的方法、装置及设备
CN107967122A (zh) * 2017-11-22 2018-04-27 郑州云海信息技术有限公司 一种块设备的数据写入方法、装置及介质
CN108038003A (zh) * 2017-12-29 2018-05-15 北京酷我科技有限公司 一种移动端存储策略
CN110348245A (zh) * 2018-04-02 2019-10-18 深信服科技股份有限公司 基于nvm的数据完整性保护方法、系统、装置及存储介质
CN109240940A (zh) * 2018-09-03 2019-01-18 军创（厦门）自动化科技有限公司 一种大容量NAND Flash数据存储方法
CN109582244A (zh) * 2018-12-05 2019-04-05 广东浪潮大数据研究有限公司 一种元数据落盘方法、装置、终端及计算机可读存储介质
CN110471622A (zh) * 2019-07-30 2019-11-19 惠州Tcl移动通信有限公司 一种sd卡数据写入方法、装置、存储介质及终端
CN110471622B (zh) * 2019-07-30 2024-02-20 惠州Tcl移动通信有限公司 一种sd卡数据写入方法、装置、存储介质及终端
CN112204530A (zh) * 2019-12-23 2021-01-08 商汤国际私人有限公司 数据处理方法和装置、边端设备
CN114461547A (zh) * 2021-12-29 2022-05-10 苏州浪潮智能科技有限公司 一种存储系统
CN114461547B (zh) * 2021-12-29 2023-11-14 苏州浪潮智能科技有限公司 一种存储系统

Similar Documents

Publication Publication Date Title
CN106371764A (zh) 一种虚拟块设备数据处理的方法及装置
CN108572792B (zh) 数据存储方法、装置、电子设备及计算机可读存储介质
CN103902348B (zh) 一种虚拟化环境下用户数据的读写方法、系统及物理机
CN109614377A (zh) 分布式文件系统的文件删除方法、装置、设备及存储介质
CN107209714A (zh) 分布式存储系统及分布式存储系统的控制方法
CN107122130B (zh) 一种数据重删方法及装置
CN105393228B (zh) 读写闪存中数据的方法、装置及用户设备
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN108139904B (zh) 写入命令过滤
CN109739441A (zh) 一种存储系统下刷缓存数据的方法
CN106484313B (zh) 数据信息备份方法、数据备份方法及装置
CN109032517A (zh) 一种数据落盘的方法、装置和计算机可读存储介质
CN109614045A (zh) 一种元数据落盘方法、装置及相关设备
CN111124254A (zh) 调度存储空间回收请求的方法、电子设备和程序产品
CN108984779A (zh) 分布式文件系统快照回滚元数据处理方法、装置及设备
CN105205409A (zh) 一种防止内存复用中数据泄露的方法及计算机系统
CN113031872A (zh) 一种存储系统的数据写入方法及相关装置
CN107357686A (zh) 一种日志删除方法及装置
CN111221468B (zh) 存储块数据删除方法、装置、电子设备及云存储系统
CN104899158A (zh) 访存优化方法和装置
CN107330061A (zh) 一种基于分布式存储的文件删除方法及装置
CN113703678B (zh) 一种存储桶索引重分裂的方法、装置、设备和介质
CN106354722B (zh) 一种流式计算系统的消息处理方法和装置
CN106782668B (zh) 一种测试内存读写极限速度的方法及装置
CN113821164B (zh) 一种分布式存储系统的对象聚合方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201