CN103701936B - 一种适用于动漫行业的可扩展共享存储系统 - Google Patents
一种适用于动漫行业的可扩展共享存储系统 Download PDFInfo
- Publication number
- CN103701936B CN103701936B CN201410014816.XA CN201410014816A CN103701936B CN 103701936 B CN103701936 B CN 103701936B CN 201410014816 A CN201410014816 A CN 201410014816A CN 103701936 B CN103701936 B CN 103701936B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- cluster
- animation
- common nas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 230000004044 response Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000012805 post-processing Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种适用于动漫行业的可扩展共享存储系统，所述系统包括普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用；集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展；同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步。所述系统能够提供全局共享的文件级访问空间，满足前期制作高响应时间以及海量小文件处理的要求，满足后期处理大容量、可扩展、易维护的需求。
Description
技术领域
本发明涉及计算机存储领域，具体涉及一种适用于动漫行业的可扩展共享存储系统。
背景技术
目前国家大力发展文化产业，动漫产业正处于高速增长时期。在动漫项目的制作过程中，往往涉及多个制作部门的协同工作，这些部门需要在不同时期对相关数据进行修改，因此数据需要能够在这些部门间共享。同时动漫行业主要以视频编辑为主，所涉及的素材数据、视频数据规模较大，而作为高速增长的产业，其数据规模将会更加迅速的增长。集群存储系统具有共享、大容量、高性能和可扩展的特点，能够很好的满足动漫行业对存储的上述需求。
在对功能和容量要求较高的同时，另一方面在项目实施过程中，存在多用户对项目文件进行在线打开、预览、编辑等操作，往往要求后端数据存储过程透明，使用户感觉不到数据的网络传输过程就像使用本地文件系统一样，这对系统的响应时间要求很高，而目前绝大多数集群存储系统在这方面的处理并不理想，很难满足用户的要求。
此外，在动漫制作过程中另一个较为突出的特点是海量小文件，这些文件主要是各类素材逐帧渲染的结果，大小只有数百KB，但是数量巨大，往往达到几十上百万个，因此对于存储系统的小文件处理能力要求较高，集群架构的存储系统对小文件处理也不够理想。
发明内容
本发明针对集群存储系统无法满足动漫行业高时间响应、海量小文件处理的情况，提出一种适用于动漫行业的可扩展共享存储系统，使得存储系统同时满足共享、大容量、可扩展和高时间响应、海量小文件处理的要求。所述系统包括：
普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用；
集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展；
同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步。
本发明的有益效果是：（1）提供全局共享的文件级访问空间；（2）满足前期制作高响应时间以及海量小文件处理的要求；（3）满足后期处理大容量、可扩展、易维护的需求。
附图说明
图1示出的是本发明提出的一种适用于动漫行业的可扩展共享存储系统。
具体实施方式
下面参照附图1详细描述本发明提出的一种适用于动漫行业的可扩展共享存储系统。
在动漫制作过程中，可以分为两个阶段，前期的处理过程往往对响应时间要求较高，且小文件居多，后期处理以大文件为主，整个处理过程中，数据需要共享，普通NAS存储系统能够满足前期制作要求，而集群存储系统能够完美的支持后期处理要求。
针对上述特点，本方法涉及的存储架构包括普通NAS存储模块、集群存储模块以及两个模块之间的同步模块。其中
普通NAS存储模块用于前期高时间响应、海量小文件处理的阶段，该系统容量固定，在整个项目完成后，数据会被清除以便下一个项目的使用。普通NAS存储系统可以是一个，也可以是多个，以满足多个项目并行开展时对存储系统并发响应的要求。
集群存储模块用于后期大容量、高性能的处理阶段，该系统只有一个，但是由于该系统容量扩展性很高，因此能够满足源源不断的项目数据的存储，同时单套系统的维护更加方便。
两个模块间的同步模块，是本架构的核心模块，用于在两个存储模块间进行数据同步，保证访问空间的一致性，主要分为两部分：数据统计模块和数据迁移模块。数据统计模块主要维护一个changelog文件，部署于普通的NAS存储系统，主要用于统计文件的修改，并将修改记录到changelog文件中。数据迁移模块利用changelog文件中的日志记录进行数据的迁移，迁移过程中利用校验等手段保证数据的完整性，数据迁移模块部署在集群存储系统上，在数据操作较少的时间点进行定时同步。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
Claims (2)
1.一种适用于动漫行业的可扩展共享存储系统，其特征在于：所述系统包括：集群存储模块、普通NAS存储模块、数据同步模块，其中：
普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用；
集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展；
同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步；其中，
所述同步模块包括数据统计模块和数据迁移模块；
所述数据统计模块部署于普通的NAS存储系统，用于统计文件的修改，并将修改记录到changelog文件中；
所述数据迁移模块部署在集群存储模块，用于根据changelog文件中的记录进行数据的迁移。
2.如权利要求1所述的系统，其特征在于：
所述数据迁移模块在数据操作较少的时间点进行定时同步；
其中，在所述数据的迁移过程中，所述数据迁移模块利用校验手段保证数据的完整性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410014816.XA CN103701936B (zh) | 2014-01-13 | 2014-01-13 | 一种适用于动漫行业的可扩展共享存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410014816.XA CN103701936B (zh) | 2014-01-13 | 2014-01-13 | 一种适用于动漫行业的可扩展共享存储系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103701936A CN103701936A (zh) | 2014-04-02 |
| CN103701936B true CN103701936B (zh) | 2017-05-03 |
Family
ID=50363330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410014816.XA Active CN103701936B (zh) | 2014-01-13 | 2014-01-13 | 一种适用于动漫行业的可扩展共享存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103701936B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984752B (zh) * | 2014-05-28 | 2017-05-17 | 中国科学院重庆绿色智能技术研究院 | 一种动漫资源检索管理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102355596A (zh) * | 2011-10-11 | 2012-02-15 | 浪潮电子信息产业股份有限公司 | 一种适用于视频服务的缓存服务器部署方法 |
| CN102646121A (zh) * | 2012-02-23 | 2012-08-22 | 武汉大学 | 结合RDBMS和Hadoop云存储的两级存储方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100162230A1 (en) * | 2008-12-24 | 2010-06-24 | Yahoo! Inc. | Distributed computing system for large-scale data handling |
-
2014
- 2014-01-13 CN CN201410014816.XA patent/CN103701936B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102355596A (zh) * | 2011-10-11 | 2012-02-15 | 浪潮电子信息产业股份有限公司 | 一种适用于视频服务的缓存服务器部署方法 |
| CN102646121A (zh) * | 2012-02-23 | 2012-08-22 | 武汉大学 | 结合RDBMS和Hadoop云存储的两级存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103701936A (zh) | 2014-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103020025B (zh) | 用于文档内容的自动动画化的技术 | |
| CN104881466B (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
| CN104778222B (zh) | 基于usb存储设备的媒体库建立及更新方法 | |
| CN105608135B (zh) | 一种基于Apriori算法的数据挖掘方法及系统 | |
| CN103455631A (zh) | 一种数据处理方法、装置及系统 | |
| CN104778225A (zh) | 一种非结构化数据多存储系统中同步数据的方法 | |
| CN106682077A (zh) | 一种基于Hadoop技术的海量时序数据存储实现方法 | |
| CN105701190A (zh) | 一种数据同步的方法和装置 | |
| CN103246549B (zh) | 一种数据转存的方法及系统 | |
| CN108121778B (zh) | 一种异构数据交换与清洗系统及方法 | |
| CN102508913A (zh) | 一种带有数据立方存储索引结构的云计算系统 | |
| CN104346373A (zh) | 分区日志队列同步管理方法及设备 | |
| CN105447146A (zh) | 一种海量数据的收集与交换系统及方法 | |
| CN103942245A (zh) | 基于元数据的数据抽取方法 | |
| CN102779138A (zh) | 实时数据的硬盘存取方法 | |
| CN106294805A (zh) | 数据处理方法及装置 | |
| CN104199963A (zh) | HBase数据备份恢复的方法和装置 | |
| CN103593447B (zh) | 用于数据库表的数据处理方法和装置 | |
| CN101833511B (zh) | 数据管理方法、装置和系统 | |
| CN103064908A (zh) | 一种通过内存快速去重名单的方法 | |
| CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
| CN108287889A (zh) | 一种基于弹性表模型的多源异构数据存储方法和系统 | |
| CN103823641B (zh) | 一种在线扩容的虚拟卷系统及其实现方法 | |
| CN104038423A (zh) | 一种Open flow流表刷新方法及路由设备 | |
| CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |