CN105677234A - 数据切分与合并系统及其方法 - Google Patents
数据切分与合并系统及其方法 Download PDFInfo
- Publication number
- CN105677234A CN105677234A CN201410680025.0A CN201410680025A CN105677234A CN 105677234 A CN105677234 A CN 105677234A CN 201410680025 A CN201410680025 A CN 201410680025A CN 105677234 A CN105677234 A CN 105677234A
- Authority
- CN
- China
- Prior art keywords
- data
- cutting
- treater
- data packet
- carrier store
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据切分与合并系统，包括读取存储器、计算器、处理器和数据存储器；所述读取存储器、计算器和数据存储器分别与所述处理器电连接；所述读取存储器将数据读取并传输至所述处理器，所述处理器通过计算器将所述数据进行切分，然后存储在所述数据存储器中；切分后的数据经所述读取存储器获取后，经所述处理器重组合并，然后存储在所述数据存储器中。本发明实施例还公开了一种数据切分与合并系统切分数据的方法。本发明实施例还公开了一种数据切分与合并系统切分数据的方法。采用本发明，能够使得数据的共享与交换更加稳定与安全，值得大力推广。
Description
技术领域
本发明涉及一种数据处理系统，尤其涉及一种数据的切分与合并系统及其方法。
背景技术
常见的信息系统中，数据的共享与交换是非常重要的化解，而在数据共享与交换中，数据切分与合并更是重中之重。但是在实际运用中，信息数据的的共享总会由于数据切分与合并存在不连续性以及不稳定性造成数据共享的丢失，甚至是恶意破坏。
发明内容
本发明所要解决的技术问题在于，提供一种数据切分与合并系统，能够使得数据的共享与交换更加稳定与安全，值得大力推广。
为了解决上述技术问题，本发明实施例提供了一种数据切分与合并系统，包括读取存储器、计算器、处理器和数据存储器；所述读取存储器、计算器和数据存储器分别与所述处理器电连接；所述读取存储器将数据读取并传输至所述处理器，所述处理器通过计算器将所述数据进行切分，然后存储在所述数据存储器中；切分后的数据经所述读取存储器获取后，经所述处理器重组合并，然后存储在所述数据存储器中。
相应地，本发明实施例还提供了一种数据切分与合并系统切分数据的方法，包括如下步骤：
所述读取存储器通过接口获取源数据，并传输至所述处理器；
所述计算器将获取的源数据计算其大小，并将该信息传输至所述处理器；
所述处理器根据预设的大小将源数据分切为多个数据包；
将分切后的数据包进行封装处理，并存储在所述数据存储器中。
对于上述技术方案的改进，所述计算器将获取的源数据按照字节数转换为M，
当M＜500KB时，处理器则不进行数据切分；
当500K≤M＜10MB时，处理器则将其切分为3-5个数据包；
当M≥10MB时，处理器则将其切分为6-9个数据包。
对于上述技术方案的进一步改进，所述处理器的切分个数随机产生，每个数据包大小根据随机因子产生。
相应地，本发明实施例还提供了一种数据切分与合并系统合并数据的方法，包括如下步骤：
所述读取存储器通过接口获取被封装的数据包，并传输至所述处理器；
所述处理器从获取的被封装的数据包中找出主数据包，并且从主数据包的头部获取数据包被切分的规则，从而依次将数据解析出来；
解析后的数据包排序重组、合并，并且返回切分钱的原始数据，存储在数据存储器中。
对于上述技术方案的改进，被封装的数据包解析过程中，所述主数据包格式为：子包数据个数|数据总长度|当前数据长度|数据内容；
子数据包格式为：当前子包序号|数据总长度|当前数据长度|当前数据起始位置|数据内容。
对于上述技术方案的进一步改进，所述处理器对所有被封装的数据包头部信息读取完成后，将每个数据包的书序建立索引，并在所述数据存储器中建立缓冲区为解析后的数据提供合并条件，处理器根据建立的索引对数据有序的进行重组、合并。
实施本发明实施例，具有如下有益效果：
本发明采用读取、计算、有序切分的形式进行数据的切分处理，简单、快捷，同时该过程也不会因数据冗长出现错误切分导致后面数据合并还原出现信息丢失的问题，同时该系统结构和处理程序简单，从而不仅使得数据的共享与交换更加稳定、安全。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：
图1为本发明实施例提供的一种数据的切分与合并系统的原理框图；
图2为本发明实施例提供的一种数据的切分与合并系统切分数据的方法的流程图；
图3为本发明实施例提供的一种数据的切分与合并系统合并数据的方法的流程图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
实施例：
如图1所示，本发明所述的数据切分与合并系统切分系统包括读取存储器1、计算器2、处理器3和数据存储器4，所述读取存储器1、计算器2和数据存储器4分别与所述处理器3电连接；所述读取存储器1将数据读取并传输至所述处理器3，所述处理器3通过计算器2将所述数据进行切分，然后存储在所述数据存储器4中；切分后的数据经所述读取存储器1获取后，经所述处理器3重组合并，然后存储在所述数据存储器4中。
如图2所示，本发明是的数据切分与合并系统切分数据的方法，具体步骤如下：
（1）所述读取存储器通过接口获取源数据，并传输至所述处理器。其中所述计算器将获取的源数据按照字节数转换为M。
（2）所述计算器将获取的源数据计算其大小，并将该信息传输至所述处理器；
所述处理器根据计算器转换的M值，进行切分分类，具体标准为：
当M＜500KB时，处理器则不进行数据切分；
当500K≤M＜10MB时，处理器则将其切分为3-5个数据包；
当M≥10MB时，处理器则将其切分为6-9个数据包。
（3）所述处理器根据预设的大小将源数据分切为多个数据包，该过程中切分个数随机产生，每个数据包大小根据随机因子产生；
（4）将分切后的数据包进行封装处理，并存储在所述数据存储器中。
本发明所述的数据切分与合并系统合并数据的方法，具体步骤如下：
（1）所述读取存储器通过接口获取被封装的数据包，并传输至所述处理器；
（2）所述处理器从获取的被封装的数据包中找出主数据包，并且从主数据包的头部获取数据包被切分的规则，从而依次将数据解析出来，该过程中，被封装的数据包解析过程中，所述主数据包格式为：子包数据个数（4个字节）|数据总长度（4个字节）|当前数据长度（4个字节）|数据内容；
子数据包格式为：当前子包序号（4个字节）|数据总长度（4个字节）|当前数据长度（4个字节）|当前数据起始位置（4个字节）|数据内容。
同时，解析前，所述处理器对所有被封装的数据包头部信息读取完成后，将每个数据包的书序建立索引，并在所述数据存储器中建立缓冲区为解析后的数据提供合并条件；
（3）解析后的数据包排序重组、合并，并且返回切分钱的原始数据，存储在数据存储器中。
以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种数据切分与合并系统，其特征在于：
包括读取存储器、计算器、处理器和数据存储器；
所述读取存储器、计算器和数据存储器分别与所述处理器电连接；
所述读取存储器将数据读取并传输至所述处理器，所述处理器通过计算器将所述数据进行切分，然后存储在所述数据存储器中；
切分后的数据经所述读取存储器获取后，经所述处理器重组合并，然后存储在所述数据存储器中。
2.一种利用权利要求1所述的数据切分与合并系统切分数据的方法，其特征在于，包括以下步骤：
所述读取存储器通过接口获取源数据，并传输至所述处理器；
所述计算器将获取的源数据计算其大小，并将该信息传输至所述处理器；
所述处理器根据预设的大小将源数据分切为多个数据包；
将分切后的数据包进行封装处理，并存储在所述数据存储器中。
3.根据权利要求2所述的数据切分与合并系统切分数据的方法，其特征在于：
所述计算器将获取的源数据按照字节数转换为M，
当M＜500KB时，处理器则不进行数据切分；
当500K≤M＜10MB时，处理器则将其切分为3-5个数据包；
当M≥10MB时，处理器则将其切分为6-9个数据包。
4.根据权利要求3所述的数据切分与合并系统切分数据的方法，其特征在于：
所述处理器的切分个数随机产生，每个数据包大小根据随机因子产生。
5.一种利用权利要求1所述的数据切分与合并系统合并数据的方法，其特征在于，包括以下步骤：
所述读取存储器通过接口获取被封装的数据包，并传输至所述处理器；
所述处理器从获取的被封装的数据包中找出主数据包，并且从主数据包的头部获取数据包被切分的规则，从而依次将数据解析出来；
解析后的数据包排序重组、合并，并且返回切分钱的原始数据，存储在数据存储器中。
6.根据权利要求5所述的数据切分与合并系统合并数据的方法，其特征在于：
被封装的数据包解析过程中，所述主数据包格式为：子包数据个数|数据总长度|当前数据长度|数据内容；
子数据包格式为：当前子包序号|数据总长度|当前数据长度|当前数据起始位置|数据内容。
7.根据权利要求5所述的数据切分与合并系统合并数据的方法，其特征在于：
所述处理器对所有被封装的数据包头部信息读取完成后，将每个数据包的书序建立索引，并在所述数据存储器中建立缓冲区为解析后的数据提供合并条件，处理器根据建立的索引对数据有序的进行重组、合并。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410680025.0A CN105677234A (zh) | 2014-11-22 | 2014-11-22 | 数据切分与合并系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410680025.0A CN105677234A (zh) | 2014-11-22 | 2014-11-22 | 数据切分与合并系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105677234A true CN105677234A (zh) | 2016-06-15 |
Family
ID=56957651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410680025.0A Pending CN105677234A (zh) | 2014-11-22 | 2014-11-22 | 数据切分与合并系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105677234A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108572787A (zh) * | 2017-03-09 | 2018-09-25 | 深圳市中兴微电子技术有限公司 | 一种数据存储、读取的方法及装置 |
| CN110320554A (zh) * | 2018-03-30 | 2019-10-11 | 中国石油化工股份有限公司 | 一种地震数据切分速度和合并速度的优化方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170268A (ja) * | 2009-01-21 | 2010-08-05 | Nec Corp | ストレージシステムの制御方法、ストレージ制御装置及びプログラム |
| CN102056094A (zh) * | 2009-11-10 | 2011-05-11 | 酷手机多媒体股份有限公司 | 使用多媒体消息传送文件的系统及其方法 |
| CN103167348A (zh) * | 2011-12-13 | 2013-06-19 | 深圳长城开发科技股份有限公司 | 机顶盒软件空中升级数据下载的方法 |
-
2014
- 2014-11-22 CN CN201410680025.0A patent/CN105677234A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010170268A (ja) * | 2009-01-21 | 2010-08-05 | Nec Corp | ストレージシステムの制御方法、ストレージ制御装置及びプログラム |
| CN102056094A (zh) * | 2009-11-10 | 2011-05-11 | 酷手机多媒体股份有限公司 | 使用多媒体消息传送文件的系统及其方法 |
| CN103167348A (zh) * | 2011-12-13 | 2013-06-19 | 深圳长城开发科技股份有限公司 | 机顶盒软件空中升级数据下载的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108572787A (zh) * | 2017-03-09 | 2018-09-25 | 深圳市中兴微电子技术有限公司 | 一种数据存储、读取的方法及装置 |
| CN110320554A (zh) * | 2018-03-30 | 2019-10-11 | 中国石油化工股份有限公司 | 一种地震数据切分速度和合并速度的优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107037978B (zh) | 数据迁移校正方法及系统 | |
| CN101807207B (zh) | 一种基于内容差异比较的文档共享方法 | |
| US20240004838A1 (en) | Quality score compression for improving downstream genotyping accuracy | |
| CN105337991A (zh) | 一种一体化的报文流查找与更新方法 | |
| US20160277544A1 (en) | Protocol data unit interface | |
| CN104123280B (zh) | 文件比对方法和设备 | |
| CN102624871A (zh) | 一种基于分布式企业服务总线实现的远程文件同步方法 | |
| CN102724122B (zh) | 基于硬件系统的串口可靠传输方法及装置 | |
| CN101968796B (zh) | 一种双向并发执行的文件级可变长数据分块方法 | |
| CN108027713A (zh) | 用于固态驱动器控制器的重复数据删除 | |
| CN105989061A (zh) | 一种滑动窗口下多维数据重复检测快速索引方法 | |
| CN101673289A (zh) | 分布式文件存储构架的构建方法和装置 | |
| CN102937903B (zh) | 一种基于特征匹配的打包文件更新方法 | |
| WO2017028690A1 (zh) | 一种基于etl的文件处理方法及系统 | |
| CN104750744B (zh) | 一种基于Oracle数据库的压缩数据同步方法及装置 | |
| CN105956492B (zh) | 一种文件存储加密方法及装置 | |
| CN104407879A (zh) | 一种电网时序大数据并行加载方法 | |
| CN109684272A (zh) | 文档保存方法、系统及终端设备 | |
| CN102708148B (zh) | 一种基于多维点阵数据空间模型的去重方法 | |
| CN105677234A (zh) | 数据切分与合并系统及其方法 | |
| CN103152606B (zh) | 视频文件处理方法及装置、系统 | |
| CN104021179A (zh) | 一种大数据集下相似性数据的快速识别算法 | |
| CN102629235A (zh) | 一种提高ddr存储器读写速率的方法 | |
| CN102722557B (zh) | 一种相同数据块的自适应识别方法 | |
| CN105279123A (zh) | 双冗余1553b总线的串口转换结构及转换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160615 |
|
| WD01 | Invention patent application deemed withdrawn after publication |