CN104765869A - 影片大数据转存方法 - Google Patents
影片大数据转存方法 Download PDFInfo
- Publication number
- CN104765869A CN104765869A CN201510200119.8A CN201510200119A CN104765869A CN 104765869 A CN104765869 A CN 104765869A CN 201510200119 A CN201510200119 A CN 201510200119A CN 104765869 A CN104765869 A CN 104765869A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- film
- capacity
- data cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了影片大数据转存方法，数据请求步骤：从客户端检索影片、设置检索影片类型，在检索范围内，从互联网中获得与该类型相关的影片数据A；下载步骤：客户端下载所有影片数据A，并转发给容量分配器；转发储存步骤：容量分配器将与影片数据A分为若干个独立的数据单元，并记载每个数据单元的容量，同时将数据单元依次按照时间轴的顺序存储到数据库集合中，数据库集合包括M个独立的数据库，容量分配器将当前数据单元存储到第N数据库后，第N数据库返回第N数据库的剩余容量信息，当第N数据库的剩余容量信息小于下一个数据单元的容量时，容量分配器开始向第N+1数据库存储数据单元，依次类推，直到影片数据A全部存储完成后终止。
Description
技术领域
本发明涉及大数据处理技术领域，具体是影片大数据转存方法。
背景技术
对于数据处理企业来说，特别是大数据的处理，需要将数据抽出从而组成一类数据的数据库，而这样的数据库的容量是很大的，因此，在组件数据的过程中，最重要的是看中数据库容量参数，而常规的数据库一般的容量较小，而大型的数据库的容量大，但建设费用很高，举例来说，一般2TB容量的数据库的建设费用达到十几万，如果要组件一个20TB容量的数据库，则需要达到几百万的组件费用，对于一般小型企业来说，这是一笔庞大的开销，因此我们需要一种能降低成本的数据库组建方法，同时要保证这些数据的存储要保持连续性。
发明内容
本发明的目的在于提供一种影片大数据转存方法，可以以低成本的方式组建大容量的数据库，并保持数据库的连续性。
本发明的目的主要通过以下技术方案实现：影片大数据转存方法，包括以下步骤：
数据请求步骤：从客户端检索影片、设置检索影片类型，在检索范围内，从互联网中获得与该类型相关的影片数据A；
下载步骤：客户端下载所有影片数据A，并转发给容量分配器；
转发储存步骤：容量分配器将与影片数据A分为若干个独立的数据单元，并记载每个数据单元的容量，同时将数据单元依次按照时间轴的顺序存储到数据库集合中，数据库集合包括M个独立的数据库，M个独立的数据库包括数据库1、数据库2、……、数据库M；容量分配器将当前数据单元存储到第N数据库后，第N数据库返回第N数据库的剩余容量信息，当第N数据库的剩余容量信息小于下一个数据单元的容量时，容量分配器开始向第N+1数据库存储数据单元，依次类推，直到影片数据A全部存储完成后终止，N和M都为正整数。
上述方法的设计原理为：本发明中的数据库集合包括M个独立的数据库，这些独立的数据库都采用小容量的数据库，以这些低成本、小容量的数据库按照上述存储方法组建成可以容纳大数据的数据库，替代传统大容量的数据库，而上述独立的数据库的架设成本才几千元的成本，通过上述方法架设的数据库，在存储的过程中依旧能保持数据的存储连贯性。为了说明本发明的优势，现举例说明：我们要组件一个关于检索范围为“科幻片”的数据库，而在互联网上述科幻片的数量是庞大的，因此需要占用大量的存储容量，假设1部科幻片的单个数据量为2GB，假设在互联网上的科幻片的数量为1万部，目标数据库的总容量要20TB。按照现有大数据库的架设方法是，采用3个8TB的数据库分别存储这些数据，而3个8TB的数据库是独立的，之间没有任何关联性，而且他们之间也是不连续的，其数据的存储也是杂乱的，我们需要调取任意一个数据时，则需要加锁整个数据库，因此检索时间较长。而按照本发明的方法架设的数据库是，采用20个1TB小容量的数据库，每个的数据库成本为按照3千元计算，则整个数据库的成本为6万，而现有一个8TB的数据库的成本都高达几十万，因为8TB的数据库需要更高的运算使得以及缓存条件，本发明将20个数据库与容量分配器架设好后，容量分配器将互联网上的科幻片数据按照时间轴的存储方式进行存储，并制成检索表并将该检索表转发至客户端，我们在检索时，先检索检索表，找到对应检索表后，再检索与检索表对应的独立数据库，最后调出数据库内的对应检索内容。
每一个数据库的容量小于或等于1TB。
容量分配器存储完成数据单元后，将每一个数据单元的存储位置制成检索表，并将该检索表转发至客户端。
所有数据单元安装时间轴进行依次存储。
容量分配器在存储数据单元前，将筛选容量大于2GB的数据单元暂存，将容量小于2GB的数据单元先存储，待所有容量小于2GB的数据单元存储完成后，再次开始存储容量大于2GB的数据单元。
本发明的优点在于：成本低，数据存储连续性好。
附图说明
图1为本发明的数据存储示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1：
如图1所示。
影片大数据转存方法，包括以下步骤：
数据请求步骤：从客户端检索影片、设置检索影片类型，在检索范围内，从互联网中获得与该类型相关的影片数据A；
下载步骤：客户端下载所有影片数据A，并转发给容量分配器；
转发储存步骤：容量分配器将与影片数据A分为若干个独立的数据单元，并记载每个数据单元的容量，同时将数据单元依次按照时间轴的顺序存储到数据库集合中，数据库集合包括M个独立的数据库，M个独立的数据库包括数据库1、数据库2、……、数据库M；容量分配器将当前数据单元存储到第N数据库后，第N数据库返回第N数据库的剩余容量信息，当第N数据库的剩余容量信息小于下一个数据单元的容量时，容量分配器开始向第N+1数据库存储数据单元，依次类推，直到影片数据A全部存储完成后终止，N和M都为正整数。
上述方法的设计原理为：本发明中的数据库集合包括M个独立的数据库，这些独立的数据库都采用小容量的数据库，以这些低成本、小容量的数据库按照上述存储方法组建成可以容纳大数据的数据库，替代传统大容量的数据库，而上述独立的数据库的架设成本才几千元的成本，通过上述方法架设的数据库，在存储的过程中依旧能保持数据的存储连贯性。为了说明本发明的优势，现举例说明：我们要组件一个关于检索范围为“科幻片”的数据库，而在互联网上述科幻片的数量是庞大的，因此需要占用大量的存储容量，假设1部科幻片的单个数据量为2GB，假设在互联网上的科幻片的数量为1万部，目标数据库的总容量要20TB。按照现有大数据库的架设方法是，采用3个8TB的数据库分别存储这些数据，而3个8TB的数据库是独立的，之间没有任何关联性，而且他们之间也是不连续的，其数据的存储也是杂乱的，我们需要调取任意一个数据时，则需要加锁整个数据库，因此检索时间较长。而按照本发明的方法架设的数据库是，采用20个1TB小容量的数据库，每个的数据库成本为按照3千元计算，则整个数据库的成本为6万，而现有一个8TB的数据库的成本都高达几十万，因为8TB的数据库需要更高的运算使得以及缓存条件，本发明将20个数据库与容量分配器架设好后，容量分配器将互联网上的科幻片数据按照时间轴的存储方式进行存储，并制成检索表并将该检索表转发至客户端，我们在检索时，先检索检索表，找到对应检索表后，再检索与检索表对应的独立数据库，最后调出数据库内的对应检索内容。
每一个数据库的容量小于或等于1TB。
容量分配器存储完成数据单元后，将每一个数据单元的存储位置制成检索表，并将该检索表转发至客户端。
所有数据单元安装时间轴进行依次存储。
容量分配器在存储数据单元前，将筛选容量大于2GB的数据单元暂存，将容量小于2GB的数据单元先存储，待所有容量小于2GB的数据单元存储完成后，再次开始存储容量大于2GB的数据单元。
如上所述，则能很好的实现本发明。
Claims (5)
1.影片大数据转存方法，其特征在于：包括以下步骤：
数据请求步骤：从客户端检索影片、设置检索影片类型，在检索范围内，从互联网中获得与该类型相关的影片数据A；
下载步骤：客户端下载所有影片数据A，并转发给容量分配器；
转发储存步骤：容量分配器将与影片数据A分为若干个独立的数据单元，并记载每个数据单元的容量，同时将数据单元依次按照时间轴的顺序存储到数据库集合中，数据库集合包括M个独立的数据库，M个独立的数据库包括数据库1、数据库2、……、数据库M；容量分配器将当前数据单元存储到第N数据库后，第N数据库返回第N数据库的剩余容量信息，当第N数据库的剩余容量信息小于下一个数据单元的容量时，容量分配器开始向第N+1数据库存储数据单元，依次类推，直到影片数据A全部存储完成后终止，N和M都为正整数。
2.根据权利要求1所述的影片大数据转存方法，其特征在于：每一个数据库的容量小于或等于1TB。
3.根据权利要求1所述的影片大数据转存方法，其特征在于：容量分配器存储完成数据单元后，将每一个数据单元的存储位置制成检索表，并将该检索表转发至客户端。
4.根据权利要求1所述的影片大数据转存方法，其特征在于：所有数据单元安装时间轴进行依次存储。
5.根据权利要求1所述的影片大数据转存方法，其特征在于：容量分配器在存储数据单元前，将筛选容量大于2GB的数据单元暂存，将容量小于2GB的数据单元先存储，待所有容量小于2GB的数据单元存储完成后，再次开始存储容量大于2GB的数据单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200119.8A CN104765869A (zh) | 2015-04-26 | 2015-04-26 | 影片大数据转存方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200119.8A CN104765869A (zh) | 2015-04-26 | 2015-04-26 | 影片大数据转存方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104765869A true CN104765869A (zh) | 2015-07-08 |
Family
ID=53647697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510200119.8A Pending CN104765869A (zh) | 2015-04-26 | 2015-04-26 | 影片大数据转存方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104765869A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101184104A (zh) * | 2007-12-21 | 2008-05-21 | 腾讯科技（深圳）有限公司 | 一种分布式存储系统及方法 |
| CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现系统及方法 |
| CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
-
2015
- 2015-04-26 CN CN201510200119.8A patent/CN104765869A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101184104A (zh) * | 2007-12-21 | 2008-05-21 | 腾讯科技（深圳）有限公司 | 一种分布式存储系统及方法 |
| CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现系统及方法 |
| CN103152395A (zh) * | 2013-02-05 | 2013-06-12 | 北京奇虎科技有限公司 | 一种分布式文件系统的存储方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
| CN107169083B (zh) | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 | |
| US10558495B2 (en) | Variable sized database dictionary block encoding | |
| CN103020281B (zh) | 一种基于空间数据数值索引的数据存储与检索方法 | |
| CN110413611B (zh) | 数据存储、查询方法及装置 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| CN103488704B (zh) | 一种数据存储方法及装置 | |
| CN102024047B (zh) | 数据检索方法及装置 | |
| CN102332030A (zh) | 用于分布式键-值存储系统的数据存储、管理和查询方法及系统 | |
| CN107368527B (zh) | 基于数据流的多属性索引方法 | |
| CN113377868B (zh) | 一种基于分布式kv数据库的离线存储系统 | |
| CN105608188A (zh) | 数据处理方法和数据处理装置 | |
| CN111427847B (zh) | 面向用户自定义元数据的索引与查询方法和系统 | |
| CN102541985A (zh) | 一种分布式文件系统中客户端目录缓存的组织方法 | |
| CN105468642A (zh) | 数据的存储方法及装置 | |
| US20100274795A1 (en) | Method and system for implementing a composite database | |
| CN107357843B (zh) | 基于数据流结构的海量网络数据查找方法 | |
| CN106570113B (zh) | 一种海量矢量切片数据云存储方法及系统 | |
| CN108108476A (zh) | 高可靠分布式日志系统的工作方法 | |
| CN102930060A (zh) | 一种数据库快速索引的方法及装置 | |
| CN103885887A (zh) | 用户数据存储方法、读取方法及系统 | |
| CN103744913A (zh) | 一种基于搜索引擎技术的数据库检索方法 | |
| CN103914483A (zh) | 文件存储方法、装置及文件读取方法、装置 | |
| CN103186617A (zh) | 一种存储数据的方法和装置 | |
| CN103353901A (zh) | 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170621 Address after: 610000 Chengdu high tech Zone, Sichuan Tianyi street, No. 3, building 38 Applicant after: Chengdu Chuan Hang Information technology company limited Applicant after: Suzhou Chong Xing Mdt InfoTech Ltd Address before: 610000 Chengdu high tech Zone, Sichuan Tianyi street, No. 3, building 38 Applicant before: Chengdu Chuan Hang Information technology company limited |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150708 |