CN102147711B - 一种基于数据内容识别的存储方法及装置 - Google Patents

一种基于数据内容识别的存储方法及装置 Download PDF

Info

Publication number
CN102147711B
CN102147711B CN201010624534.3A CN201010624534A CN102147711B CN 102147711 B CN102147711 B CN 102147711B CN 201010624534 A CN201010624534 A CN 201010624534A CN 102147711 B CN102147711 B CN 102147711B
Authority
CN
China
Prior art keywords
data
attribute
content
format character
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010624534.3A
Other languages
English (en)
Other versions
CN102147711A (zh
Inventor
罗姣林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201010624534.3A priority Critical patent/CN102147711B/zh
Publication of CN102147711A publication Critical patent/CN102147711A/zh
Priority to PCT/CN2011/079565 priority patent/WO2012088925A1/zh
Priority to EP11852882A priority patent/EP2570912A4/en
Priority to US13/720,542 priority patent/US20130124796A1/en
Application granted granted Critical
Publication of CN102147711B publication Critical patent/CN102147711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Abstract

本发明实施例提供一种基于数据内容识别的存储方法及装置，通过本发明实施例所提供的基于数据内容识别的存储方法及装置，接收来自主机的数据，扫描所述数据的内容，以获取所述数据的格式特征，将所述特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，根据所述数据的属性，对所述数据进行分类存储，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。

Description

一种基于数据内容识别的存储方法及装置
技术领域
本发明涉及数据存储领域，尤其涉及一种基于数据内容识别的存储方法及装置。
背景技术
当前的存储系统中，基本的数据存储操作为：存储控制器接收来自主机的写请求，根据该写请求对硬盘或磁盘阵列进行写操作，将数据存储到硬盘或磁盘阵列上。
现有技术中，存储介质不能感知上层的应用，无法获得数据的具体属性，比如当前需要存储的数据是一段视频的一个帧，还是MP3的一帧，还是一段文本或是数据库记录，存储介质无法获知，导致当前的存储系统的存储性能提高不明显，没有实现更好的性能优化。
发明内容
本发明实施例提供的一种基于数据内容识别的存储方法及装置，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。
本发明实施例的目的是通过以下技术方案实现的：
一种基于数据内容识别的存储方法，包括：
磁盘阵列控制器接收来自主机的数据；
磁盘阵列控制器扫描所述数据的内容，以获取所述数据的格式特征；
磁盘阵列控制器将所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，所述数据的属性是视频数据、音频数据、图像数据或者数据库数据；
磁盘阵列控制器根据所述数据的属性，对所述数据进行分类存储，其中，分类存储具体包括：依据数据属性，调整数据的存储位置和关系。
一种基于数据内容识别的存储装置，应用于磁盘阵列控制器，所述装置包括：
接收模块，用于接收来自主机的数据；
内容扫描模块，用于扫描所述数据的内容，以获取所述数据的格式特征；
特征库，用于存储各种内容的格式特征；
特征匹配模块，用于将所述内容扫描模块获取的所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，所述数据的属性是视频数据、音频数据、图像数据或者数据库数据；
存储模块，用于根据所述特征匹配模块判断的所述数据的属性，对所述数据进行分类存储，其中，分类存储具体包括：依据数据属性，调整数据的存储位置和关系。
通过本发明实施例所提供的基于数据内容识别的存储方法及装置，接收来自主机的数据，扫描所述数据的内容，以获取所述数据的格式特征，将所述格式特征与特征库中的格式特征进行匹配，以判断所述数据的属性，根据所述数据的属性，对所述数据进行分类存储，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于数据内容识别的存储方法的应用场景图；
图2是本发明实施例提供的一种基于数据内容识别的存储方法的流程图；
图3是本发明实施例提供的另一种基于数据内容识别的存储方法的流程图；
图4是本发明实施例提供的基于数据内容识别的存储装置的示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，为本发明实施例的一种应用场景。主机101、磁盘阵列控制器102和磁盘阵列103，磁盘阵列控制器102接收来自于主机101的数据存储请求。
本发明实施例提供一种基于数据内容识别的存储方法，以磁盘阵列控制器102为例，如图2所示，该方法包括：
步骤201、接收来自主机的数据；
步骤202、扫描所述数据的内容，以获取所述数据的格式特征；
步骤203、将所述格式特征与特征库中的格式特征进行匹配，以判断所述数据的属性；
步骤204、根据所述数据的属性，对所述数据进行分类存储
本发明实施例中，通过接收来自主机的数据，扫描所述数据的内容，以获取所述数据的格式特征，将所述格式特征与特征库中的格式特征进行匹配，以判断所述数据的属性，根据所述数据的属性，对所述数据进行分类存储，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。
其中，步骤202具体可以包括：
扫描所述数据的内容，获取不同的内容对应的特征，其中，所述对应格式特征包括固定字段的数值；例如：对应音频或者视频数据，由于对应不同的数据格式，采用不同的数据封装形式，特定字段的特定数值能够反映该数据的属性，本步骤中，通过获取这些特定字段的特定数值来识别数据的属性，其中，数据的属性包括，数据类型，数据的IO访问量，数据的访问频繁度等，其中，数据类型可以包括：视频数据、音频数据、图像数据、数据库数据等，对于数据块来说，识别数据的属性以一个数据块为单位，对于文件系统来说，识别数据的属性以一个文件为单位。
其中，步骤203具体可以包括：
对步骤202获得的数据的格式特征进行哈希运算，获得与数据的格式特征对应的哈希键值；
将所述哈希键值与内容特征库中的哈希键值进行匹配，其中，内容特征库中保存有哈希键值与数据属性的对应关系。
其中，步骤204具体可以包括：
通过步骤203获知数据的属性之后，有多种方式对数据的存储进行优化，包括：
根据所述数据的属性，优化数据的存储位置，通过对数据属性的识别，磁盘阵列可以依据数据属性，调整数据的存储位置和关系。例如：将视频数据统一存储在同一个磁盘阵列或同一块硬盘中，如果存储空间允许，也可以存储在逻辑上相邻的位置，这样可以便于对数据的访问操作，提升存储性能；又例如：Flash的写入次数一般只有大约最大10万次，通常情况下5万次的时候，Flash的损坏倾向变大，所以每次写入的时候需要将数据重新写入那些写入计数比较少的数据块，丢弃原先的数据块，SSD通过对数据属性的识别，可以调整SSD的“磨损均衡”算法，当某些数据属性是倾向频繁修改的时候（比如数据库的redo数据，文件系统的日志数据等），可以优先将数据写入寿命最长的Flash颗粒或者暂时放入Cache，延长数据在缓存中的保存时间。
或者，
根据所述数据的属性，将IO访问数据量大的数据存储在快速存储介质中，对数据进行预读取，将IO访问数据量少的数据存储在慢速存储介质中，例如：对于数据库数据来说，数据库每次的写入操作都有可能会导致redo日志的修改，而表空间(TableSpace)的IO访问非常有规律的，所以通过识别出数据是redo数据还是Tablespace数据，将redo数据放入速度更快的存储介质上，例如：将redo数据存入SSD，将表空间的数据存入较慢的介质上面，这样就可以极大的优化数据库的访问；或者，
根据所述数据的属性，将IO访问频繁的数据存储在缓存中，将IO访问少的数据存储在存储介质中，例如：对于用户经常需要访问的数据，可以将这部分数据直接存储在缓存中，进行预读取操作，对应用户访问较少的数据则可存储在磁盘中。
本步骤中，以上几种优化方式可以结合使用，例如，对于IO访问量大，而且IO访问频繁的数据，可以缓存于大容量的快速介质上。
本发明实施例中，通过接收来自主机的数据，扫描所述数据的内容，以获取所述数据的特征，将所述特征与内容特征库中的特征进行匹配，以判断所述数据的属性，根据所述数据的属性，对所述数据进行分类存储，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。
本发明实施例提供了另一种基于数据内容识别的存储方法，如图3所示，该方法，包括：
步骤301、生成内容特征库；
步骤302、接收来自主机的数据；
步骤303、扫描所述数据的内容，以获取所述数据的格式特征；
步骤304、将所述特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性；
步骤305、根据所述数据的属性，对所述数据进行分类存储
其中，步骤301具体可以包括：
对已知数据属性的数据的格式特征进行哈希运算，以获得对应的哈希键值；
将所述哈希键值与数据属性进行对应存储在内容特征库中。
其中，步骤302、步骤303、步骤304和步骤305与步骤201、步骤202、步骤203和步骤204分别对应，在此不再赘述。
本发明实施例中，通过接收来自主机的数据，扫描所述数据的内容，以获取所述数据的格式特征，将所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，根据所述数据的属性，对所述数据进行分类存储，使得存储设备可以获知待存储数据的属性，并对数据进行优化，提升了存储设备的数据存储性能。
本发明实施例中还提供了一种基于数据内容识别的存储装置，如图4所示，所述装置包括：
接收模块410，用于接收来自主机的数据；
内容扫描模块420，用于扫描所述数据的内容，以获取所述数据的格式特征；
内容特征库430，用于存储各种内容的格式特征；
特征匹配模块440，用于将所述内容扫描模块获取的所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性；
存储模块450，用于根据所述特征匹配模块判断的所述数据的属性，对所述数据进行分类存储。
其中，所述装置，还包括：
特征库生成模块460，用于对已知数据属性的数据的格式特征进行哈希运算，以获得对应的哈希键值；将所述哈希键值与数据属性进行对应存储在内容特征库430中。
其中，所述内容扫描模块420，具体用于获取不同的内容的对应格式特征，其中，所述对应格式特征包括固定字段的数值。
其中，所述特征匹配模块440，包括：
哈希运算单元441，用于对所述数据的特征进行哈希运算，获得与所述数据特征对应的哈希键值；
匹配单元442，将所述哈希键值与特征数据库中的哈希键值进行匹配。
其中，所述存储模块450，包括：
第一存储单元451，用于根据所述数据的属性，优化数据的存储位置；
或者，
第二存储单元452，用于根据所述数据的属性，将IO访问数据量大的数据存储在快速存储介质中，将IO访问数据量少的数据存储在慢速存储介质中；
或者，
第三存储单元453，用于根据所述数据的属性，将IO访问频繁的数据存储在缓存中，将IO访问少的数据存储在存储介质中。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于数据内容识别的存储方法，其特征在于，包括：
磁盘阵列控制器接收来自主机的数据；
磁盘阵列控制器扫描所述数据的内容，以获取所述数据的格式特征；
磁盘阵列控制器将所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，所述数据的属性是视频数据、音频数据、图像数据或者数据库数据；
磁盘阵列控制器根据所述数据的属性，对所述数据进行分类存储，其中，分类存储具体包括：依据数据属性，调整数据的存储位置和关系。
2.根据权利要求1所述的基于数据内容识别的存储方法，其特征在于，所述方法之前，还包括：
对已知数据属性的数据的格式特征进行哈希运算，以获得对应的哈希键值；
将所述哈希键值与数据属性进行对应存储在内容特征库中。
3.根据权利要求1或2所述的基于数据内容识别的存储方法，其特征在于，所述扫描所述数据的内容，以获取所述数据的格式特征，包括：
扫描所述数据的内容，获取不同的内容的对应格式特征，其中，所述对应格式特征包括固定字段的数值。
4.根据权利要求1或2所述的基于数据内容识别的存储方法，其特征在于，所述将所述格式特征与内容特征库中的格式特征进行匹配，包括：
对所述来自主机的数据的格式特征进行哈希运算，获得与所述数据格式特征对应的哈希键值；
将所述哈希键值与特征库中的哈希键值进行匹配。
5.根据权利要求1或2所述的基于数据内容识别的存储方法，其特征在于，所述方法，根据所述数据的属性，对所述数据进行分类存储，包括：
根据所述数据的属性，将相同属性的数据集中存储；
或者，
根据所述数据的属性，将IO访问数据量大的数据存储在快速存储介质中，将IO访问数据量少的数据存储在慢速存储介质中；
或者，
根据所述数据的属性，将IO访问频繁的数据存储在缓存中，将IO访问少的数据存储在存储介质中。
6.一种基于数据内容识别的存储装置，应用于磁盘阵列控制器，其特征在于，所述装置包括：
接收模块，用于接收来自主机的数据；
内容扫描模块，用于扫描所述数据的内容，以获取所述数据的格式特征；
特征库，用于存储各种内容的格式特征；
特征匹配模块，用于将所述内容扫描模块获取的所述格式特征与内容特征库中的格式特征进行匹配，以判断所述数据的属性，所述数据的属性是视频数据、音频数据、图像数据或者数据库数据；
存储模块，用于根据所述特征匹配模块判断的所述数据的属性，对所述数据进行分类存储，其中，分类存储具体包括：依据数据属性，调整数据的存储位置和关系。
7.根据权利要求6所述的基于数据内容识别的存储装置，其特征在于，所述装置，还包括：
特征库生成模块，用于对已知数据属性的数据的格式特征进行哈希运算，以获得对应的哈希键值；将所述哈希键值与数据属性进行对应存储在内容特征库中。
8.根据权利要求6或7所述的基于数据内容识别的存储装置，其特征在于，所述内容扫描模块，具体用于获取不同的内容的对应格式特征，其中，所述对应格式特征包括固定字段的数值。
9.根据权利要求6或7所述的基于数据内容识别的存储装置，其特征在于，所述特征匹配模块，包括：
哈希运算单元，用于对所述来自主机的数据的格式特征进行哈希运算，获得与所述数据格式特征对应的哈希键值；
匹配单元，将所述哈希键值与内容特征库中的哈希键值进行匹配。
10.根据权利要求6或7所述的基于数据内容识别的存储装置，其特征在于，所述存储模块，包括：
第一存储单元，用于根据所述数据的属性，将相同属性的数据集中存储；
或者，
第二存储单元，用于根据所述数据的属性，将IO访问数据量大的数据存储在快速存储介质中，将IO访问数据量少的数据存储在慢速存储介质中；
或者，
第三存储单元，用于根据所述数据的属性，将IO访问频繁的数据存储在缓存中，将IO访问少的数据存储在存储介质中。
CN201010624534.3A 2010-12-31 2010-12-31 一种基于数据内容识别的存储方法及装置 Active CN102147711B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010624534.3A CN102147711B (zh) 2010-12-31 2010-12-31 一种基于数据内容识别的存储方法及装置
PCT/CN2011/079565 WO2012088925A1 (zh) 2010-12-31 2011-09-13 一种基于数据内容识别的存储方法及装置
EP11852882A EP2570912A4 (en) 2010-12-31 2011-09-13 STORAGE METHOD AND DEVICE BASED ON DATA CONTENT IDENTIFICATION
US13/720,542 US20130124796A1 (en) 2010-12-31 2012-12-19 Storage method and apparatus which are based on data content identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010624534.3A CN102147711B (zh) 2010-12-31 2010-12-31 一种基于数据内容识别的存储方法及装置

Publications (2)

Publication Number Publication Date
CN102147711A CN102147711A (zh) 2011-08-10
CN102147711B true CN102147711B (zh) 2014-04-02

Family

ID=44421994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010624534.3A Active CN102147711B (zh) 2010-12-31 2010-12-31 一种基于数据内容识别的存储方法及装置

Country Status (4)

Country Link
US (1) US20130124796A1 (zh)
EP (1) EP2570912A4 (zh)
CN (1) CN102147711B (zh)
WO (1) WO2012088925A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147711B (zh) * 2010-12-31 2014-04-02 华为数字技术（成都）有限公司 一种基于数据内容识别的存储方法及装置
CN102314383B (zh) * 2011-09-28 2013-12-04 华为数字技术（成都）有限公司 数据索引的故障恢复方法和装置
CN102725755B (zh) * 2011-12-31 2014-07-09 华为技术有限公司 文件访问方法及系统
US9542399B2 (en) * 2013-01-08 2017-01-10 Spectra Logic, Corporation System and method for removable data storage elements provided as cloud based storage system
CN104268231B (zh) * 2014-09-26 2018-03-06 可牛网络技术（北京）有限公司 一种文件访问方法、装置及智能文件系统
CN105512144B (zh) * 2014-09-26 2019-03-01 可牛网络技术（北京）有限公司 一种文件访问方法、装置及智能文件系统
CN105530279A (zh) * 2014-10-22 2016-04-27 中国移动通信集团广东有限公司 数据处理方法及处理装置
CN105353995A (zh) * 2015-12-15 2016-02-24 上海新储集成电路有限公司 非挥发内容可寻址的存储方法及系统
CN107733952A (zh) * 2016-08-12 2018-02-23 中国电信股份有限公司 用于提供差异化缓存服务的方法、装置和系统
CN106250067A (zh) * 2016-09-28 2016-12-21 深圳市金泰克半导体有限公司 一种基于数据特征的固态硬盘ssd加速系统的实现方法
CN106776709A (zh) * 2016-11-15 2017-05-31 山东浪潮云服务信息科技有限公司 一种企业信息的处理方法及装置
EP3839785B1 (en) * 2017-03-02 2023-07-26 X Development LLC Characterizing malware files for similarity searching
CN107453948A (zh) * 2017-07-28 2017-12-08 北京邮电大学 一种网络测量数据的存储方法及系统
CN107797768A (zh) * 2017-10-11 2018-03-13 南京东方金信数据服务有限公司 一种处理大数据的方法及系统
CN107977166A (zh) * 2017-11-27 2018-05-01 广西塔锡科技有限公司 一种数据存储方法和系统
CN108182035A (zh) * 2017-12-28 2018-06-19 湖南国科微电子股份有限公司 一种提高ssd可靠性的方法
JP7201000B2 (ja) * 2018-09-14 2023-01-10 日本電信電話株式会社 データ処理システム、方法およびプログラム
CN109726180B (zh) * 2018-12-03 2021-03-16 北京春鸿科技有限公司 在无线存储物联网设备进行文件检索和监听的方法及装置
CN110471900A (zh) * 2019-07-10 2019-11-19 平安科技（深圳）有限公司 数据处理方法及终端设备
CN111694520B (zh) * 2020-06-11 2021-04-27 邦尼集团有限公司 一种大数据存储优化的方法及装置
CN111563024B (zh) * 2020-07-15 2020-10-16 北京升鑫网络科技有限公司 一种宿主机上监控容器进程的方法、装置及计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452170A (zh) * 2002-04-19 2003-10-29 三星电子株式会社 便携式cd－mp3系统和操作该系统的文件解码方法
CN101246326A (zh) * 2006-11-20 2008-08-20 夏普株式会社 图像处理方法与装置、图像形成装置、和图像读取装置
CN101477544A (zh) * 2009-01-12 2009-07-08 腾讯科技（深圳）有限公司 一种识别垃圾文本的方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7055008B2 (en) * 2003-01-22 2006-05-30 Falconstor Software, Inc. System and method for backing up data
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US20060004818A1 (en) * 2004-07-01 2006-01-05 Claudatos Christopher H Efficient information management
US7568075B2 (en) * 2005-09-22 2009-07-28 Hitachi, Ltd. Apparatus, system and method for making endurance of storage media
KR100778764B1 (ko) * 2006-08-02 2007-11-27 삼성전자주식회사 이동통신 단말기의 파일 자동 분류 방법 및 그 장치
US20080243878A1 (en) * 2007-03-29 2008-10-02 Symantec Corporation Removal
JP5331323B2 (ja) * 2007-09-26 2013-10-30 株式会社日立製作所 ストレージサブシステム及びその制御方法
EP2237170A1 (en) * 2009-03-31 2010-10-06 BRITISH TELECOMMUNICATIONS public limited company Data sorage system
CN101777056B (zh) * 2009-12-31 2012-01-04 成都市华为赛门铁克科技有限公司 数据存储方法及设备
CN102147711B (zh) * 2010-12-31 2014-04-02 华为数字技术（成都）有限公司 一种基于数据内容识别的存储方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1452170A (zh) * 2002-04-19 2003-10-29 三星电子株式会社 便携式cd－mp3系统和操作该系统的文件解码方法
CN101246326A (zh) * 2006-11-20 2008-08-20 夏普株式会社 图像处理方法与装置、图像形成装置、和图像读取装置
CN101477544A (zh) * 2009-01-12 2009-07-08 腾讯科技（深圳）有限公司 一种识别垃圾文本的方法和系统

Also Published As

Publication number Publication date
EP2570912A4 (en) 2013-03-27
EP2570912A1 (en) 2013-03-20
WO2012088925A1 (zh) 2012-07-05
US20130124796A1 (en) 2013-05-16
CN102147711A (zh) 2011-08-10

Similar Documents

Publication Publication Date Title
CN102147711B (zh) 一种基于数据内容识别的存储方法及装置
US10303596B2 (en) Read-write control method for memory, and corresponding memory and server
US8225029B2 (en) Data storage processing method, data searching method and devices thereof
US20140223089A1 (en) Method and device for storing data in a flash memory using address mapping for supporting various block sizes
CN106874348B (zh) 文件存储和索引方法、装置及读取文件的方法
CN111538724B (zh) 管理索引的方法
CN109284299A (zh) 重构具有存储感知的混合索引的方法
CN102479250A (zh) 一种嵌入式浏览器磁盘缓存方法
CN103019887A (zh) 数据备份方法及装置
CN110888837B (zh) 对象存储小文件归并方法及装置
CN108846021B (zh) 一种基于用户访问偏好模型的海量小文件存储方法
US11372568B2 (en) System and method for storing and accessing blockchain data
CN101576854A (zh) 文件访问的方法、装置及系统
CN104050057B (zh) 一种历史感知的数据去重碎片消除方法与系统
CN103942301A (zh) 一种面向多数据类型访问应用的分布式文件系统
CN106462591A (zh) 使用存储器中的智能索引的分区过滤
CN102867046B (zh) 基于固态硬盘的数据库优化方法及系统
CN104166736A (zh) 倒排索引文件的存储方法和装置
KR101747262B1 (ko) 동적인 알고리즘 변경을 통하여 쿼리 처리 시간을 축소시키기 위한 방법, 장치 및 컴퓨터-판독가능 매체
US10185660B2 (en) System and method for automated data organization in a storage system
CN107430633A (zh) 与数据存储系统相关联的经相关优化的代表性内容
CN108197164A (zh) 业务数据保存方法及装置
KR20170122151A (ko) 동적인 알고리즘 변경을 통하여 쿼리 처리 시간을 축소시키기 위한 방법, 장치 및 컴퓨터-판독가능 매체
CN104375781B (zh) 数据存取方法及装置
JP5626561B2 (ja) 情報処理システム及びそのデータ管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220922

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.