CN104199899A - 一种基于Hbase的海量图片存储方法及装置 - Google Patents
一种基于Hbase的海量图片存储方法及装置 Download PDFInfo
- Publication number
- CN104199899A CN104199899A CN201410425822.4A CN201410425822A CN104199899A CN 104199899 A CN104199899 A CN 104199899A CN 201410425822 A CN201410425822 A CN 201410425822A CN 104199899 A CN104199899 A CN 104199899A
- Authority
- CN
- China
- Prior art keywords
- picture
- structured text
- text information
- mapfile
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Hbase的海量图片存储方法及装置，包括：读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息为图片的属性信息与图片的原始索引信息；确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。本发明技术方案实现了将几十K的小图片合并成一个大文件，避免了因将海量几十K小图片直接存放到HDFS上产生大量元数据从而导致占用大量内存，避免了将海量图片存放到HBase的过程中导致的频繁的Hfile文件的Compaction及Region split，极大地提高了写入速度。
Description
技术领域
本发明涉及大数据存储领域，尤指一种基于Hbase的海量图片存储方法及装置。
背景技术
伴随着计算机网络的发展,海量数据的时代已经到来。互联网数据中心预测全球的数据使用量到2020年将会增长44倍，达到35.2ZB。海量数据集的共同特点主要包含三点：其一是超过80％的数据是非结构化的；其二是数据量在持续不断地增加；其三是这些数据需要长时间存储，而海量数据集中的非热点的数据也会被随机访问。
在这持续增长的海量数据集中，从数量级上来看，需要计算处理的数据大部分是数字、文本等结构化信息，但是从数据存储容量上来看视频、图片等非结构化数据在整个数据集中占有着超过80％的空间，而这所有的数量集都有可能被计算处理。
对于如此大数据集的分析、管理和挖掘，传统技术(包括传统关系数据库)是无法胜任的，如何最快最好的分析和理解这些数据是一个亟需解决的问题。而在现有的技术和工具中，最成熟也最成功的一套大数据解决方案为分布式系统架构(Hadoop)文件存储计算框架及构架于其上的相关组件(例如分布式数据库HBase)。
Hadoop本身由分布式文件系统(HDFS)和分布式计算框架(MapReduce)组成，其中MapReduce计算框架主要适用于批量文件处理，而在实时数据分析处理方面，主要运用的技术就是分布式的、面向列的开源数据库(HBase)。相比于传统的关系型数据库，列式存储的HBase对于非结构化数据处理拥有其得天独厚的优势。
目前，业内对于存储海量图片的方法主要有两种解决方案：一种解决方案是，将结构化数据存储到Hbase，非结构化的图片数据直接存储到HDFS上，将图片的存储地址存储到Hbase中。在这种方式中，HDFS最小数据块默认是64M，直接将图片存储到HDFS上，不足64M的图片也会占用64M的空间，这样不仅会浪费大量存储空间，而且也会产生大量的元数据，集群运行会将元数据加载到内存中，势必会占用大量内存，极大影响HDFS整体性能。
另一种解决方案是，将结构化数据和非结构化的图片都存储到Hbase上，图片以字节类型存储。这种方式无法回避Hfile文件的Region分裂(split)和合并(Compaction)，在写入时容易频繁的触发Split和Compaction。由于Split对于写操作的阻塞和Compaction对于集群I/O的占用,将直接对写性能造成直接的不良影响。缓慢的Compaction操作也会导致Flush的延时，从而阻塞了客户端的更新及实时的查询。
发明内容
为了解决上述技术问题，本发明提供一种基于Hbase的海量图片存储方法及装置，能够减少磁盘空间的浪费，避免元数据内存瓶颈，并极大地提高Hbase写入速度。
为了达到本发明目的，本发明提供了一种基于Hbase的海量图片存储方法，包括：
读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息；
确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；
将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
进一步地，在读取预设大小的结构化文本信息之前，该方法还包括：
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
进一步地，图片的属性信息包括：图片的大小、和图片的名称、和图片的类型、和创建时间、和修改时间。
进一步地，确定读取的预设大小的结构化文本信息所对应的各个图片包括：
在读取的预设大小的结构化文本信息中，获取读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
进一步地，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中包括：
设置建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将图片的名称写入Key值所在的列，将图片的字节流写入Value值所在的列。
进一步地，各个图片所在的Mapfile文件的索引信息包括：Mapfile文件中各个图片的名称以及各个图片所在的Mapfile文件的索引。
本发明还提供了一种基于Hbase的海量图片存储装置，包括：读取模块、图片写入模块、关系存储模块；其中，
读取模块，用于读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息；
图片写入模块，用于确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；
关系存储模块，用于将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
进一步地，该装置还包括配置模块，用于
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
进一步地，图片的属性信息包括：图片的大小、和图片的名称、和图片的类型、和创建时间、和修改时间。
进一步地，图片写入模块具体用于：
在读取的预设大小的结构化文本信息中，获取读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
进一步地，图片写入模块还用于：
设置建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将图片的名称写入Key值所在的列，将图片的字节流写入Value值所在的列。
进一步地，各个图片所在的Mapfile文件的索引信息包括：Mapfile文件中各个图片的名称以及各个图片所在的Mapfile文件的索引。
本发明技术方案包括：读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息为图片的属性信息与图片的原始索引信息；确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。本发明技术方案实现了将几十K的小图片合并成一个大文件，避免了因将海量几十K小图片直接存放到HDFS上产生大量元数据从而导致占用大量内存，避免了将海量图片存放到HBase的过程中导致的频繁的Hfile文件的Compaction及Region split，极大地提高了写入速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明基于Hbase的海量图片存储方法的流程图；
图2为本发明基于Hbase的海量图片存储装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明基于Hbase的海量图片存储方法的流程图，如图1所示，包括：
步骤101，读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息。
需要说明的是，本发明方法中的预设大小可以根据实际情况进行设置，如分布式文件系统(HDFS)的数据块默认大小是64M，也可设置默认大小为128M，需要说明的是，随着计算机技术的发展，HDFS的数据块默认大小可能会发生变化，因此具体数值是本领域技术人员根据实际情况可以确定出的，这里64M或128M并不用于限定本发明的保护范围，这里不再赘述。
在步骤101之前，该方法还包括：
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
其中，每个预设大小的结构化文本信息交由一个Map任务处理。每一个Map任务都要执行后续的步骤。
这里需要说明的是，MapReduce属于本领域技术人员所熟知的惯用技术手段，可以利用MapReduce机制实现待处理的结构化文本信息划分为多个大小为预设大小的结构化文本信息，属于本领域的公知常识，在此不再赘述。
其中，图片的属性信息包括：图片的大小和图片的名称和图片的类型和创建时间和修改时间等。比如图片是卡口图片的话，则会记录车牌号和车的颜色等。
步骤102，确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中。
其中，确定读取的预设大小的结构化文本信息所对应的各个图片包括：
在读取的预设大小的结构化文本信息中，获取所述读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
其中，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中包括：
设置建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将图片的名称写入Key值所在的列，将图片的字节流写入Value值所在的列。
步骤103，将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
需要说明的是，关于如何将各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中是本领域技术人员所熟知的惯用技术手段，在此不再赘述。一旦创建Mapfile文件，则必然有该Mapfile文件的存储路径，关于如何获知Mapfile文件的存储路径属于本领域技术人员所熟知的惯用技术手段，因为图片是存放在Mapfile文件中的，每个图片必然有其名称，根据图片的名称以及各个图片所在的Mapfile文件的索引，这里就自然知道各个图片的索引为各个图片所在的Mapfile文件的索引，属于公知常识，此处不再赘述。
其中，各个图片所在的Mapfile文件的索引信息包括：Mapfile文件中各个图片的名称以及各个图片所在的Mapfile文件的索引。
在步骤103之后，该方法还包括：结束该MapReduce任务，关闭Mapfile文件。
需要说明的是，本发明方法中所涉及的索引即为存放路径。
图2为本发明基于Hbase的海量图片存储装置的结构示意图，如图2所示，包括：读取模块、图片写入模块、关系存储模块。其中，
读取模块，用于读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息。
需要说明的是，本发明方法中的预设大小可以根据实际情况进行设置，如分布式文件系统(HDFS)的数据块默认大小是64M，也可设置默认大小为128M，需要说明的是，随着计算机技术的发展，HDFS的数据块默认大小可能会发生变化，因此具体数值是本领域技术人员根据实际情况可以确定出的，这里64M或128M并不用于限定本发明的保护范围，这里不再赘述。
其中，图片的属性信息包括：图片的大小和图片的名称和图片的类型和创建时间和修改时间等。比如图片是卡口图片的话，则会记录车牌号和车的颜色等。
图片写入模块，用于确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中。
进一步地，图片写入模块具体用于：
在读取的预设大小的结构化文本信息中，获取读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
进一步地，图片写入模块还用于：
设置建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将图片的名称写入Key值所在的列，将图片的字节流写入Value值所在的列。
关系存储模块，用于将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
其中，各个图片所在的Mapfile文件的索引信息包括：Mapfile文件中各个图片的名称以及各个图片所在的Mapfile文件的索引。
进一步地，上述装置还包括：配置模块，用于：
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
上述装置还包括：任务结束模块，用于：结束该MapReduce任务，关闭Mapfile文件。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。
以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于Hbase的海量图片存储方法，其特征在于，包括：
读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息；
确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；
将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
2.根据权利要求1所述的方法，其特征在于，在所述读取预设大小的结构化文本信息之前，该方法还包括：
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
3.根据权利要求1或2所述的方法，其特征在于，所述图片的属性信息包括：图片的大小、和图片的名称、和图片的类型、和创建时间、和修改时间。
4.根据权利要求1或2所述的方法，其特征在于，所述确定读取的预设大小的结构化文本信息所对应的各个图片包括：
在读取的预设大小的结构化文本信息中，获取所述读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
5.根据权利要求1所述的方法，其特征在于，所述将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中包括：
设置所述建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将所述图片的名称写入Key值所在的列，将所述图片的字节流写入Value值所在的列。
6.根据权利要求1所述的方法，其特征在于，所述各个图片所在的Mapfile文件的索引信息包括：所述Mapfile文件中各个图片的名称以及所述各个图片所在的Mapfile文件的索引。
7.一种基于Hbase的海量图片存储装置，其特征在于，包括：读取模块、图片写入模块、关系存储模块；其中，
读取模块，用于读取预设大小的结构化文本信息，并创建一个Mapfile文件；其中，结构化文本信息包括图片的属性信息与图片的原始索引信息；
图片写入模块，用于确定读取的预设大小的结构化文本信息所对应的各个图片，将确定的各个图片以字节流的形式写入到已建立的Mapfile文件中；
关系存储模块，用于将读取的预设大小的结构化文本信息中的各个图片的属性信息以及各个图片所在的Mapfile文件的索引信息存储至HBase表中。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括配置模块，用于
启动MapReduce任务，预先设置待处理的结构化文本信息路径，获取待处理的结构化文本信息；
将待处理的结构化文本信息分成多个大小为预设大小的结构化文本信息。
9.根据权利要求7或8所述的装置，其特征在于，所述图片的属性信息包括：图片的大小、和图片的名称、和图片的类型、和创建时间、和修改时间。
10.根据权利要求7或8所述的装置，其特征在于，所述图片写入模块具体用于：
在读取的预设大小的结构化文本信息中，获取所述读取的预设大小的结构化文本信息所对应的各个图片的原始索引信息；
根据获得的各个图片的原始索引信息找到各个图片。
11.根据权利要求7所述的装置，其特征在于，所述图片写入模块还用于：
设置所述建立的Mapfile文件中第一列为Key值，设置第二列为Value值；
其中，将所述图片的名称写入Key值所在的列，将所述图片的字节流写入Value值所在的列。
12.根据权利要求7所述的装置，其特征在于，所述各个图片所在的Mapfile文件的索引信息包括：所述Mapfile文件中各个图片的名称以及所述各个图片所在的Mapfile文件的索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410425822.4A CN104199899A (zh) | 2014-08-26 | 2014-08-26 | 一种基于Hbase的海量图片存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410425822.4A CN104199899A (zh) | 2014-08-26 | 2014-08-26 | 一种基于Hbase的海量图片存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104199899A true CN104199899A (zh) | 2014-12-10 |
Family
ID=52085192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410425822.4A Pending CN104199899A (zh) | 2014-08-26 | 2014-08-26 | 一种基于Hbase的海量图片存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104199899A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933445A (zh) * | 2015-06-26 | 2015-09-23 | 电子科技大学 | 一种基于分布式K-means的海量图像分类方法 |
| CN105550222A (zh) * | 2015-12-07 | 2016-05-04 | 中国电子科技网络信息安全有限公司 | 一种基于分布式存储的图像服务系统及方法 |
| CN106815223A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种海量图片管理方法和装置 |
| WO2017174013A1 (zh) * | 2016-04-06 | 2017-10-12 | 中兴通讯股份有限公司 | 数据存储管理方法、装置及数据存储系统 |
| WO2018010530A1 (zh) * | 2016-07-13 | 2018-01-18 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| CN107943890A (zh) * | 2017-11-16 | 2018-04-20 | 武汉虹旭信息技术有限责任公司 | 基于HBase的移动互联网海量数据处理系统及其方法 |
| CN108804631A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 表情符号存储方法、装置、计算机可读存储介质和终端 |
| CN110019168A (zh) * | 2017-12-26 | 2019-07-16 | 浙江宇视科技有限公司 | 文件合并方法和系统 |
| CN110099082A (zh) * | 2018-01-30 | 2019-08-06 | 浙江宇视科技有限公司 | 减少Hbase热点的方法、装置及可读存储介质 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902716A (zh) * | 2012-08-27 | 2013-01-30 | 苏州两江科技有限公司 | 基于Hadoop分布式计算平台的存储系统 |
| US8799269B2 (en) * | 2012-01-03 | 2014-08-05 | International Business Machines Corporation | Optimizing map/reduce searches by using synthetic events |
-
2014
- 2014-08-26 CN CN201410425822.4A patent/CN104199899A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8799269B2 (en) * | 2012-01-03 | 2014-08-05 | International Business Machines Corporation | Optimizing map/reduce searches by using synthetic events |
| CN102902716A (zh) * | 2012-08-27 | 2013-01-30 | 苏州两江科技有限公司 | 基于Hadoop分布式计算平台的存储系统 |
Non-Patent Citations (2)
| Title |
|---|
| 朱晓丽，赵志刚: "一种基于HBase的海量图片存储技术", 《信息系统工程》 * |
| 洪旭升，林世平: "基于MapFile的HDFS小文件存储效率问题", 《计算机系统应用》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933445A (zh) * | 2015-06-26 | 2015-09-23 | 电子科技大学 | 一种基于分布式K-means的海量图像分类方法 |
| CN104933445B (zh) * | 2015-06-26 | 2019-05-14 | 电子科技大学 | 一种基于分布式K-means的海量图像分类方法 |
| CN106815223A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种海量图片管理方法和装置 |
| CN106815223B (zh) * | 2015-11-27 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 一种海量图片管理方法和装置 |
| CN105550222B (zh) * | 2015-12-07 | 2019-04-05 | 中国电子科技网络信息安全有限公司 | 一种基于分布式存储的图像服务系统及方法 |
| CN105550222A (zh) * | 2015-12-07 | 2016-05-04 | 中国电子科技网络信息安全有限公司 | 一种基于分布式存储的图像服务系统及方法 |
| WO2017174013A1 (zh) * | 2016-04-06 | 2017-10-12 | 中兴通讯股份有限公司 | 数据存储管理方法、装置及数据存储系统 |
| WO2018010530A1 (zh) * | 2016-07-13 | 2018-01-18 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| CN107622067A (zh) * | 2016-07-13 | 2018-01-23 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| CN107622067B (zh) * | 2016-07-13 | 2020-11-20 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| US11210330B2 (en) | 2016-07-13 | 2021-12-28 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and apparatus for storing, reading, and displaying plurality of multimedia files |
| CN107943890A (zh) * | 2017-11-16 | 2018-04-20 | 武汉虹旭信息技术有限责任公司 | 基于HBase的移动互联网海量数据处理系统及其方法 |
| CN110019168A (zh) * | 2017-12-26 | 2019-07-16 | 浙江宇视科技有限公司 | 文件合并方法和系统 |
| CN110019168B (zh) * | 2017-12-26 | 2021-04-20 | 浙江宇视科技有限公司 | 文件合并方法和系统 |
| CN110099082A (zh) * | 2018-01-30 | 2019-08-06 | 浙江宇视科技有限公司 | 减少Hbase热点的方法、装置及可读存储介质 |
| CN110099082B (zh) * | 2018-01-30 | 2022-03-11 | 浙江宇视科技有限公司 | 减少Hbase热点的方法、装置及可读存储介质 |
| CN108804631A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 表情符号存储方法、装置、计算机可读存储介质和终端 |
| CN110633261A (zh) * | 2019-09-02 | 2019-12-31 | 恩亿科(北京)数据科技有限公司 | 一种图片存储方法、图片查询方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104199899A (zh) | 一种基于Hbase的海量图片存储方法及装置 | |
| CN107533551B (zh) | 数据块级别的大数据统计 | |
| US20170206212A1 (en) | Partial snapshot creation | |
| KR20160003682A (ko) | 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법 | |
| US11372568B2 (en) | System and method for storing and accessing blockchain data | |
| CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| CN110888837B (zh) | 对象存储小文件归并方法及装置 | |
| CN109885577B (zh) | 数据处理方法、装置、终端及存储介质 | |
| CN110008197B (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| CN110543495A (zh) | 游标遍历存储方法及装置 | |
| US20230418811A1 (en) | Transaction processing method and apparatus, computing device, and storage medium | |
| US9696919B1 (en) | Source/copy reference tracking with block pointer sets | |
| CN110858210A (zh) | 数据查询方法及装置 | |
| CN107798063A (zh) | 快照处理方法和快照处理装置 | |
| US10769105B2 (en) | Modifying Lucene index file | |
| CN102955808A (zh) | 一种数据获取方法和分布式文件系统 | |
| CN112965939A (zh) | 一种文件合并方法、装置和设备 | |
| CN116737838A (zh) | 一种数据同步方法、装置，计算机设备和存储介质 | |
| US20230409235A1 (en) | File system improvements for zoned storage device operations | |
| CN113608724B (zh) | 一种基于模型缓存实现的离线仓库实时交互方法与系统 | |
| Lu et al. | Research on Cassandra data compaction strategies for time-series data | |
| CN103761290A (zh) | 基于内容感知的数据管理方法和系统 | |
| CN111221814A (zh) | 二级索引的构建方法、装置及设备 | |
| US20220083507A1 (en) | Trust chain for official data and documents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141210 |