CN108228763A - 一种基于智能终端自媒体冗余数据处理的方法 - Google Patents

Abstract

本发明提供了一种基于智能终端自媒体冗余数据处理的方法，包括如下步骤：步骤1、获取个人自媒体网络数据包；步骤2、利用哈希算法计算每个数据包关键字；步骤3、构建、更新个人自媒体数据包Hash查询表；步骤4、是否有重复个人自媒体数据包；如果已经具有，说明该数据包的内容已经存在，系统跳到步骤6；如果找不到，说明数据包的内容不存在，系统跳到步骤5；步骤5、将当前个人自媒体数据包保存；步骤6、丢弃重复个人自媒体数据包。本发明针对移动智能终端个人自媒体领域冗余数据的处理方式。采用数据包标记插值的方式，算法上采用哈希算法建立数据包，查询表比较简单。

Description

一种基于智能终端自媒体冗余数据处理的方法

技术领域

本发明涉及手持智能终端信息收集、自媒体领域。

背景技术

智能终端快速发展，给广大用户带来极大的便利，同时，也带来信息爆炸，一个人每天面对的是海量信息，有不同朋友圈子推荐的自媒体内容，令人目不暇接。个人自媒体的大发展，导致个人媒体信息膨胀，尤其是现在智能终端不断更换，一个人智能终端上的安装了很多的个人媒体系统，但是如何保证个人媒体信息不冗余，也是需要考虑的事情，传统的方法，有基于时间戳进行覆盖的方式，虽有一定的实用价值，但是同步不可避免的会带来流量问题，如果采用覆盖的方式，时间上也比较长一点。

软件升级差量包获取方法和相应的升级方法见专利201410773855.8。

针对一些本地端的zip压缩包升级，以及软件升级包的问题，市场上已有很多技术，比如采用差分算法直接对安装包和升级包进行二进制差分，其中常用的差分算法有xdelta3、bsdiff、courgette，生成表征两者差异的差量包，差量包完成软件升级，主要针对的是应用软件升级，以及针对本地ZIP不同升级包，这种方法是可行的，但是针对个人自媒体中已经升级后的媒体信息内容还是存在一些冗余。

已有的一种网络冗余数据处理的方法、装置和系统，见专利201410607218.3，在该系统中，接收端通过至少一个备份网络接收数据帧，该方法包括：在接收到数据帧时，根据数据帧的内容计算获得相应的特征值；根据计算所得的特征值查询维护的特征值池，当查询结果表明特征值池中存在计算所得的特征值时，确定所接收的数据帧为冗余数据；当查询结果表明特征值池中不存在计算所得的特征值时，确定所接收的数据帧为非冗余数据；在确定所接收的数据帧为冗余数据时，丢弃该数据帧；在确定所接收的数据帧为非冗余数据时，保留该数据帧，并将该数据帧对应的特征值存入特征值池。

该已有技术主要是针对数据帧来进行操作的，数据帧是在链路层触发的，并且在该已有技术中利用循环冗余校验算法为CRC32算法，对数据帧进行计算特征值的方式，并且在构建特征池的方式中，还采用老化时间Nmax、Tmax等方式针对特征池进行排序操作。并且处理方式上设置处理芯片一和处理芯片二多个处理单元。对于移动智能终端芯片处理能力有限，功耗有限的情况下本已有技术显得太庞大。

发明内容

为了解决现有技术中问题，本发明提供了一种基于智能终端自媒体冗余数据处理的方法，包括如下步骤：

步骤1、获取个人自媒体网络数据包；

步骤2、利用哈希算法计算每个数据包关键字，对个人自媒体在获取到数据包的时候，启动哈希算法，也就是每个针对每个数据调用散列算法；

步骤3、构建、更新个人自媒体数据包Hash查询表，在数据经过Hash算法转化后，对每个个人自媒体数据包格式，经过计算的数据包建立Hash查询表，该表的功能就是对已经转换的数据包建立一个统一的查询表，也就是看那个数据包是否经过更改；

步骤4、是否有重复个人自媒体数据包：

在智能终端根据每个到来的数据包，经过计算Hash值后，都要从已有的数据包查询表中查找：

如果已经具有，说明该数据包的内容已经存在，系统跳到步骤6；

如果找不到，说明数据包的内容不存在，系统跳到步骤5；

步骤5、将当前个人自媒体数据包保存：

如果针对当前的自媒体信息经过比对，不是重复的数据包，将当前智能终端接收的自媒体内容保存，也就意味着这个自媒体和系统智能机内部的自媒体是一个新的内容，就加到当前智能机的自媒体系统中；

同时系统返回到步骤3，就是将该自媒体的内容更新到数据包查询表中；

步骤6、丢弃重复个人自媒体数据包：

在该模块意味着当前的自媒体内容通过Hash值比对，在已有的查询表中已经存在了，意味着内容重复，这个时候系智能终端就丢弃当前的重复的个人自媒体数据包，并且系统返回步骤3更新当前的数据包查询表。

作为本发明的进一步改进，步骤1中：个人自媒体系统启动的时候，没有注册的话，首先注册，注册成功后就可以登录，个人自媒体系统加载，如果前期有账号的话，从云端加载同步用户的个人自媒体信息，这个时候个人终端就开始从网络端以数据帧的格式，对个人自媒体信息进行加载。

作为本发明的进一步改进，步骤2中，哈希表根据已经设定好的哈希算法和处理数据问题的计算方式，将关键码值映射到一个有限的位置空间中，并关键码值的空间位置中的象作为存储点，这种存放记录的数组形成的表叫做哈希表，这种对应的映射函数叫做哈希函数，在算法中所得到的存放空间就是哈希地址，也叫做散列地址；哈希表把一个数据包按照某一种设定好的算法，将其转换为数字的形式，将这些数字对数组长度进行余数计算，取其余数，将结果作为该数组的下一个标记，将数值进行存储，并将其存储在这个数字下标下的数组空间内；如果发出有关哈希表的查询命令后，就可以使用散列函数将数据包转换成其标记下对应的数组，从而从该空间内取得相应的散列值；散列表根据输入数值的变化而不断发生变化；利用哈希算法中的数组定位功能来确定相应的数据位置。

本发明的有益效果是：

本发明专利针对移动智能终端个人自媒体领域冗余数据的处理方式。采用数据包标记插值的方式，算法上采用哈希算法建立数据包，查询表比较简单。

本发明所要解决的问题是针对移动智能终端，虽然处理流程上和201410607218.3已有技术流程上相似，但是技术实现上不同。

本专利是针对已经升级好的个人自媒体信息内容，采用数据包标记插值的方式，算法上采用哈希算法，建立数据包查询表比较简单，也没有设置老化时间，这样系统构造简单，并且主要针对的是数据包，不是针对数据帧，也没有报文完整性检查。

本发明专利考虑到智能终端的芯片储存有限，也没有采用多个处理单元方式处理方式，更多的是针对网络应用层的方法。

附图说明

图1是本发明一种基于智能终端自媒体冗余数据处理的方法流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

1、获取个人自媒体网络数据包

个人自媒体系统启动的时候，没有注册的话，首先注册，注册成功后就可以登录，个人自媒体系统加载，如果前期有账号的话，从云端加载同步用户的个人自媒体信息。

这个时候个人终端就开始从网络端以数据帧的格式，对个人自媒体信息进行加载。

2、利用哈希算法计算每个数据包关键字

哈希表也叫做散列表，它根据已经设定好的哈希算法和处理数据问题的计算方式，将关键码值映射到一个有限的位置空间中，并关键码值的空间位置中的象作为存储点，这种存放记录的数组形成的表叫做哈希表。这种对应的映射函数叫做哈希函数。在算法中所得到的存放空间就是哈希地址，也叫做散列地址。

哈希表的工作原理就是把一个数据包按照某一种设定好的算法，比如说散列算法，将其转换为数字的形式，将这些数字对数组长度进行余数计算，取其余数，将结果作为该数组的下一个标记，将数值进行存储，并将其存储在这个数字下标下的数组空间内。如果发出有关哈希表的查询命令后，就可以使用散列函数将数据包转换成其标记下对应的数组，从而从该空间内取得相应的散列值。散列表根据输入数值的变化而不断发生变化。因此，我们可以充分利用哈希算法中的数组定位功能来确定相应的数据位置。由于哈希算法的这一功能，可以快速的完成查找任务，这要同线性数据结构与表格、队列等计算方法相比速度已经有了很大的提升。

对个人自媒体在获取到数据包的时候，启动哈希算法，也就是每个针对每个数据调用散列算法。

还有已有技术利用奇偶校验和CRC校验，这二种校验并没有抗数据篡改的能力，它们一定程度上能检测并纠正数据传输中的信道误码，但却不能防止对数据的恶意破坏。MD5Hash算法的"数字指纹"特性，具有防止数据防止篡改。

3、构建、更新个人自媒体数据包Hash查询表

由于自媒体信息一般利用网络蚂蚁抓取功能，抓取自己设置的关心的数据包功能，在数据经过Hash算法转化后，对每个个人自媒体数据包格式，经过计算的数据包建立Hash查询表，该表的功能就是对已经转换的数据包建立一个统一的查询表，也就是看那个数据包是否经过更改。

如下：数据包查询表格式

数据包序号	数据包HASH值
		1,2,3,...	XX

4、是否有重复个人自媒体数据包

在智能终端根据每个到来的数据包，经过计算Hash值后，都要从已有的数据包查询表中查找：

如果已经具有，说明该数据包的内容已经存在，系统跳到步骤6；

如果找不到，说明数据包的内容不存在，系统跳到步骤5；

数据包都是不可分割的元数据，也就是针对一个自媒体图片、视频、音频数据，如果有重复的内容，经过计算的数据包的Hash值就是一样。针对故意篡改的文本等内容，由于Hash子计算的时候，又会认为是一个新的个人自媒体。

由于本发明针对的是从网络云同步到智能终端的时候，在网络层就已经对数据包进行了Hash计算，在用户还没有动手在智能机进行修改之前，就已经启动比对操作。

5、将当前个人自媒体数据包保存

如果针对当前的自媒体信息，经过比对，不是重复的数据包，就可以将当前智能终端接收的自媒体内容保存，也就意味着这个自媒体和系统智能机内部的自媒体是一个新的内容，就可以加到当前智能机的自媒体系统中。

同时系统返回到步骤3，就是将该自媒体的内容更新到数据包查询表中。这样下一次自媒体数据过来的时候，就可以判断当前的自媒体是否已经在智能终端中已经加载过了，就不会再次加载。

6、丢弃重复个人自媒体数据包

在该模块意味着当前的自媒体内容通过Hash值比对，在已有的查询表中已经存在了，意味着内容重复，这个时候系智能终端就丢弃当前的重复的个人自媒体数据包。并且系统返回步骤3更新当前的数据包查询表。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于智能终端自媒体冗余数据处理的方法，其特征在于，包括如下步骤：

步骤1、获取个人自媒体网络数据包；

步骤2、利用哈希算法计算每个数据包关键字，对个人自媒体在获取到数据包的时候，启动哈希算法，也就是每个针对每个数据调用散列算法；

步骤3、构建、更新个人自媒体数据包Hash查询表，在数据经过Hash算法转化后，对每个个人自媒体数据包格式，经过计算的数据包建立Hash 查询表，该表的功能就是对已经转换的数据包建立一个统一的查询表，也就是看那个数据包是否经过更改；

步骤4、是否有重复个人自媒体数据包：

在智能终端根据每个到来的数据包，经过计算Hash 值后，都要从已有的数据包查询表中查找：

如果已经具有，说明该数据包的内容已经存在，系统跳到步骤6；

如果找不到，说明数据包的内容不存在，系统跳到步骤5；

步骤5 、将当前个人自媒体数据包保存：

如果针对当前的自媒体信息经过比对，不是重复的数据包，将当前智能终端接收的自媒体内容保存，也就意味着这个自媒体和系统智能机内部的自媒体是一个新的内容，就加到当前智能机的自媒体系统中；

同时系统返回到步骤3，就是将该自媒体的内容更新到数据包查询表中；

步骤6、 丢弃重复个人自媒体数据包：

在该模块意味着当前的自媒体内容通过Hash值比对，在已有的查询表中已经存在了，意味着内容重复，这个时候系智能终端就丢弃当前的重复的个人自媒体数据包，并且系统返回步骤3更新当前的数据包查询表。

2.根据权利要求1所述的一种基于智能终端自媒体冗余数据处理的方法，其特征在于：步骤1中：个人自媒体系统启动的时候，没有注册的话，首先注册，注册成功后就可以登录，个人自媒体系统加载，如果前期有账号的话，从云端加载同步用户的个人自媒体信息，这个时候个人终端就开始从网络端以数据帧的格式，对个人自媒体信息进行加载。

3.根据权利要求1所述的一种基于智能终端自媒体冗余数据处理的方法，其特征在于：步骤2中，哈希表根据已经设定好的哈希算法和处理数据问题的计算方式，将关键码值映射到一个有限的位置空间中，并关键码值的空间位置中的象作为存储点，这种存放记录的数组形成的表叫做哈希表，这种对应的映射函数叫做哈希函数，在算法中所得到的存放空间就是哈希地址，也叫做散列地址；哈希表把一个数据包按照某一种设定好的算法，将其转换为数字的形式，将这些数字对数组长度进行余数计算，取其余数，将结果作为该数组的下一个标记，将数值进行存储，并将其存储在这个数字下标下的数组空间内；如果发出有关哈希表的查询命令后，就可以使用散列函数将数据包转换成其标记下对应的数组，从而从该空间内取得相应的散列值；散列表根据输入数值的变化而不断发生变化；利用哈希算法中的数组定位功能来确定相应的数据位置。