CN108243146B - 一种信息提交方法 - Google Patents
一种信息提交方法 Download PDFInfo
- Publication number
- CN108243146B CN108243146B CN201611207648.1A CN201611207648A CN108243146B CN 108243146 B CN108243146 B CN 108243146B CN 201611207648 A CN201611207648 A CN 201611207648A CN 108243146 B CN108243146 B CN 108243146B
- Authority
- CN
- China
- Prior art keywords
- data
- value
- block
- subtask
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Communication Control (AREA)
Abstract
本发明涉及一种高效的信息提交方法,该方法包括提交节点接收用户提出的数据通信请求;获取本次通信密钥;基于本次通信密钥对数据内容进行加密处理;将经过加密处理后的数据发送到上位机;该方法能够方便应用到各种提交节点中,针对不同的数据类型均能够进行高效的数据提交,在提交过程中能够保证数据的安全性,在接收到提交数据后能够针对数据类型适应性的调整数据检验策略,该方法能够应用于智能家居系统中,用于向用户呈现智能家居管理信息和智能家用设备的运行状况信息。
Description
【技术领域】
本发明属于数据提交领域,尤其涉及一种高效的信息提交方法。
【背景技术】
数据提交漏洞一直都是很常见的漏洞。在DVBBS6.0时代被黑客们利用的最为猖獗,利用上传漏洞可以直接得到Webshell,危害等级很高,导致该漏洞的原因在于代码作者没有对访客提交的数据进行检验或者过滤不严。目前针对上传漏洞的网络检验多数采用扩展名检验,然而黑客们可以通过修改扩展名检验文件和利用解析漏洞等多种方式绕过限制。一些辅助建站的CMS系统和第三方应用本身也具有上传漏洞,利用比较广泛的有Ewebeditor,Fckeditor等,在网站上传时进行抓包,得到接受数据提交的页面地址,然后用工具进行提交,如果存在漏洞,便可以得到Webshell,进入Webshell探测系统信息,提权,开启3389端口或使用反弹shell连接,就可以威胁到服务器甚至内网安全。此外,数据提交的数量趋向于大数据方式,而提交的频率也越更加的频繁。安全性,和提交效率都是非常严峻的问题。
现有技术中的数据提交方式不能够针对各种类型的提交数据进行高效的数据提交,现在亟需一种新的信息提交方法,能够方便应用到各种提交节点中,针对不同的数据类型均能够进行高效的数据提交,在提交过程中能够保证数据的安全性,在接收到提交数据后能够针对数据类型适应性的调整数据检验策略,该方法能够应用于智能家居系统中,用于向用户呈现智能家居管理信息和智能家用设备的运行状况信息。
【发明内容】
为了解决现有技术中的上述问题,本发明采用的技术方案如下:一种高效的信息提交方法,其特征在于,该方法包括如下步骤:
步骤1:提交节点获取需要提交的数据内容,进行数据加密后,对加密后的数据进行分块后作数据检验处理;
步骤2:提交节点对经过检验处理的数据进行压缩处理;判断数据对应的数据类型,基于数据类型选择最优压缩算法,对该数据进行压缩;
步骤3:上位机接收提交节点发送的数据包,提取数据包中的数据,对提取的数据根据压缩类型选择相应的解压缩算法对数据包进行解压缩;
步骤4:上位机对数据进行分块,对每个数据块进行数据检验,在数据检验完毕后,根据数据块检验失败率和数据类型决定是否请求重新发送数据。
进一步的,根据提交数据的数据类型确定第一失败阈值,当检验失败率超过第一失败阈值时,给提交节点发送检验失败消息,请求提交节点重新进行全部数据的提交;否则,丢弃失败数据块包含的数据,并对该数据所在的区域填充指定数据值。
进一步的,当数据类型要求的数据准确性较高时,将第一失败阈值设置为0,只要发生数据块的提交失败,就请求重新发送全部提交书。
进一步的,第一失败阈值由用户或者系统根据数据的类型设定。
进一步的,将数据类型和其对应的第一失败率预存在上位机的存储单元中,通过查询该预存信息获取第一失败阈值。
进一步的,进一步的基于校验正确的连续数据块占所有提交数据块的比率来决定是否请求重新发送数据,其校验正确的连续数据块中每一个数据库均通过校验,而该连续的数据块相邻的数据块则没有通过校验。
进一步的,当校验正确的连续数据块占所有提交数据块的比率超过第一比率阈值时,仅请求重新提交部分数据块,该部分数据块不包括校验正确的连续数据块。
进一步的,该校验正确的连续数据块的数据块数目大于预定数目时被确定为校验正确的连续数据块,而当数量小于预定数量时被确定为非校验正确的连续数据块。
进一步的,该预定数目为3块,此时,只有在校验正确的数据块是该连续的,且连续的数据块个数超过3块时,才用于计算比率。
进一步的,在关键数据块没有通过校验时,给提交节点发送检验失败消息,请求提交节点重新进行数据的发送。
本发明的有益效果包括:能够方便应用到各种提交节点中,针对不同的数据类型均能够进行高效的数据提交,在提交过程中能够保证数据的安全性,在接收到提交数据后能够针对数据类型适应性的调整数据检验策略。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:
图1是本发明的一种高效的信息提交方法的流程图;
图2是本发明的一种高效的信息提交系统的结构图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。
参见附图1,其示出了本发明的一种高效的信息提交方法的基本步骤:
步骤1:提交节点获取需要提交的数据内容,进行数据加密后,对加密后的数据进行分块后作数据检验处理;;
步骤2:提交节点对经过检验处理的数据进行压缩处理;判断数据对应的数据类型,基于数据类型选择最优压缩算法,对该数据进行压缩;
步骤3:上位机接收提交节点发送的数据包,提取数据包中的数据,对提取的数据根据压缩类型选择相应的解压缩算法对数据包进行解压缩;
步骤4:上位机对数据进行分块,对每个数据块进行数据检验,在数据检验完毕后,根据数据块检验失败率和数据类型决定是否请求重新发送数据;
参见附图2,是本发明所应用的一种高效的信息提交系统,该系统包括多个提交节点,多条通信路径,存储节点,上位机;提交节点和存储节点,存储节点和上位机之间均采用加密通信通道或安全通信通道进行通信连接;
基于上述系统,下面对本发明的一种高效的信息提交方法进行详细说明: (1)提交节点接收数据通信任务及其对应的任务优先级TaskPr;具体为:提交节点从任务中获取任务优先级TaskPr,以及每个待通信数据文件名称及其存储位置;获取待通信数据的类型数目nt,为每种数据类型分别创建子任务T1~ Tnt,每个子任务负责采集一种类型的数据,子任务用于基于存储位置和数据文件名称查找到相应类型的数据文件,采集该类型的数据文件,并将该类型的所有数据文件按照文件名称进行排序,将排序后的数据文件进行组合,组合后形成该类型的数据文件组合;每个子任务保存该子任务包含的文件名称和该文件的大小之间的对应关系;
(2)提交节点计算每个子任务优先级;具体为:计算每个子任务采集的数据文件的优先级,计算每个优先级等级的文件数目,根据公式(1)计算该子任务的优先级Tpri;其中,k为第k个优先权等级,Wk为第k优先权等级对应的权重系数,PLk表示第k个优先权等级对应的文件数目;
Tpri=TaskPr×(∑Wk×PLk/∑PLk)公式(1)
(3)提交节点按照优先级顺序分别对每个子任务进行调度处理;具体为:将所有子任务设置为就绪状态,并按照优先级从大到小的顺序排序,将排序后的子任务交由调度单元进行调度;调度单元为提交节点内所包含的单元;
调度单元将子任务按照其优先级放入调度队列中进行统一的调度;由于调度列表是针对所有任务对应的所有子任务进行统一的调度,因此,在子任务进入调度列表后其调度顺序会发生改变,所有子任务的优先级需要和已经进入调度列表的其他子任务的优先级进行比较后重新进行排序;可以通过设置任务优先级的方式来调整该任务对应的所有子任务的优先级,当将任务的优先级设置为足够大时,可以使得该任务对应的所有的子任务均处于调度列表的前部;当系统存在子任务调度可用资源时,调度单元从调度队列头部获取第一个子任务进行调度;被调度的子任务将执行后续具体的数据通信处理;
具体的:通过子任务的方式使得所有的数据通信任务均可以按照其优先级的顺序有序完成;对于高优先级的任务即使晚进入队列也会得到优先的处理;可以通过提高优先级的方式调整处理顺序;
优选的:该任务和子任务的执行主体为进程或者线程;该数据提交任务或者子任务和操作系统中的其他任务在操作系统看来是没有差异的,仅能够通过任务标识识别出该任务和子任务的类型;
(4)提交节点子任务基于随机数计算数据加密密钥K1;具体为:获取随机数 S1,S2,S3,基于该随机数S1~S3和该子任务数据类型从存储节点获取密钥机文件;基于随机数S1~S3和密钥机文件,采用公式(2)计算本次数据加密密钥K1,其中,在参与计算时,用S3代表的运算替代S3;
其中,S1和S2的取值范围是1~N,S3的值为0~3之间,S3=0~3分别标识加法、乘法、减法、mod除法运算,其中N为预设值,该预设值需要定期的同时在提交节点和上位机作更新;该预设值可以保存在存储节点中;C1~ Cx是从密钥机文件的位置P1~Px处获取的数据值;其中,x采用公式(3)计算得到;Pj采用(4)计算得到;Lall为密钥机文件数据的总长度;公式(4) 中的除法“/”为整除,i是数据值C的编号,j为位置P的编号;
x=|N+S1+S2|-|N-S1-S2| 公式(3)
Pj=(j×P1)mod Lall 公式(4)
当密钥机文件为二进制表示时,该数据值为从位置P开始的8或16或32 或64位数据值;
优选的:存储节点根据数据类型进行数据组织,不同的数据类型对应多个密钥机文件,通过S1~S3的计算值和密钥机文件建立对应关系,该计算值可以是哈希值;提交节点和上位机基于该S1~S3的哈希值查找相应的密钥机文件,存储节点对密钥机文件进行管理,例如:定期的作更新;
(5)提交节点子任务采用密钥对数据进行加密处理;具体为:判断密钥数值 K1大小,根据不同密钥值采用不同的加密方式:(A)当密钥0<=K1<TK1时,采用循环移位加密方式,将数据采用左/右移动K1次的方式进行加密;(B)当密钥TK1<=K1<TK2时,采用替换方式加密,将数据的第mK1位置的数据值替换为默认值,例如None,0等值,并将替换掉的所有第mK1位置的数据值保存到替换表中,并将该替换表的数据区分的按顺序放置在数据的结尾处;优选的:区分放置为在数据的结尾处放置预设数量的特定值后再存放替换表;该特定值为边界值;(C)当密钥TK2<=K1<TK3时,采用分块交换方式加密;将数据分为大小为K1的数据块,从第一个数据块开始,2个数据块分为一组,对于组内相邻的两块Block和Block+1,将Block的第一个数据值和Block+1 的倒数第一个数据值作交换,将Block的第二个数据值和Block+1的倒数第二个数据值作交换,直到Block和Block+1的所有数据值均交换完毕为止;如果组内只有一个数据块,或者组内任一个数据块的大小不足K1,则不对该组作交换加密;(D)当密钥K1>=TK3时,采用填充加密方式,每隔K1个数据长度,填充预定的值序列;该预定的值序列可以是预定子序列的重复;例如:对于文本类型的数据,填充A~Z序列的重复;
在加密中使用的随机数S1,S2,S3前后均填充特殊数值序列后形成第一预设长度的特殊数据块,将该第一预设长度的特殊数据块可区分的添加在数据的头部;
其中,TK1~TK3和密钥机文件关联保存在存储节点中;
(6)提交节点子任务对加密后的数据进行数据检验处理;具体为:将加密后的数据分块,每块的大小为(S1×S2),对于大小不足(S1×S2)的数据块,数据块结尾用默认值填充,得到数据块Block1~Blockball,其中,ball为数据块的总块数;例如:对于文本数据用ASCII的最大值填充;计算每个数据块的签名值 Sig1~Sigball,将该签名值的组作为该数据的检验值序列;将该检验值序列可区分的放置在该数据的头部;
单独的对随机数S1,S2,S3所在的第一预设长度的特殊数据块计算数据签名;并将该数据签名放在签名序列的第一位置;
优选的:可以替换的采用常用的数据检验算法来计算检验值,例如:MD5 算法,奇偶检验算法等;可以替换的对该签名值序列计算其总的签名值Tsig作为该数据的检验值;
(7)提交节点子任务对数据进行压缩处理;具体为:判断该数据对应的数据类型,基于数据类型选择最优压缩算法,对该数据进行压缩;由于数据可能是多种类型的,如:全文文本、图像、声音、影视、超媒体等,每种类型都有其适应的压缩算法,采用该适应的压缩算法相比其他压缩算法能够达到较高的压缩比;预存数据类型及其对应的最优压缩算法,通过查询该对应关系获取所要采用的压缩算法;
由于子任务对应的数据类型都是一致的,因此可以一致性的选择压缩算法提高压缩效率;
(8)提交节点子任务选择最优通信路径进行数据通信;具体为:将子任务对应的数据进行组包处理,获取提交节点到上位机的所有数据通信路径集合;选取 QOS值最高的数据通信路径对组包后形成的数据包进行数据通信;其中路径 PTHi对应的QOSi值的采用公式(5)计算得到;其中,PTH_TSi为路径i的通信开销,例如:传送预定长度的数据包所需要的时间长度;PTH_SFi为路径i 的安全级别,例如:该路径包含的高安全级别子路径的个数等;PTH_MSi为路径 i的通信质量,例如:丢包率等;
QOSi=PTH_TSi/∑PTH_TSi+PTH_SFi/∑PTH_SFi+PTH_MSi/∑PTH_MSi公式(5)
通过综合考量数据通信路径的服务质量,选择最优的数据通信路径进行子任务对应数据包的通信;
优选的:可替代的根据子任务偏重因子(yi,1,yi,2,yi,3)根据公式(6)计算QOSi;子任务偏重因子是一个三元组,分别用于对QOS的三个考量因素进行调整;
QOSi=yi,1×PTH_TSi/∑PTH_TSi+yi,2×PTH_SFi/∑PTH_SFi+yi,3×PTH_MSi/∑PTH_MSi 公式(6)
该子任务偏重因子(yi,1,yi,2,yi,3)由任务根据用户需求来设置;例如:用户强调安全的传送数据,对于通信时间可以作出让步,此时,可以增加yi,2 的值,而减小yi,1的值;
(9)上位机接收提交节点发送的数据包,提取数据包中的数据,对提取的数据进行解压缩;具体的:根据压缩类型选择相应的解压缩算法对数据包进行解压缩;
(10)上位机从数据的头部获取检验值序列,从第一预设长度的特殊数据块中提取S1,S2,S3值对数据进行分块,对每个数据块进行数据检验,在数据检验完毕后,根据数据块检验失败率和数据类型决定是否请求重新发送数据;
优选的:当检验失败率超过第一失败阈值时,给提交节点发送检验失败消息,请求提交节点重新进行数据的发送;否则,丢弃失败数据块包含的数据,并对该数据所在的区域填充指定数据值;
第一失败阈值可以根据数据的类型以及用户指定来设定;例如:对于视频数据,在丢失数量较小时,对观看效果的影响可以不大,可以容忍一定程度的失败率;
优选的:首先获取第一个数据签名值及其对应的随机数S1,S2,S3所在的第一预设长度的特殊数据块,并对其进行数据检验,当检验失败时,丢弃接收到的所有数据,给提交节点发送检验失败消息,请求提交节点重新进行数据的发送;
优选的:请求提交节点重新发送第一个数据签名值及其对应的随机数S1, S2,S3所在的第一预设长度的特殊数据块;在数据量较大的情况下,丢弃所有数据造成较大的资源浪费,可以请求仅仅发送该检验失败部分的信息;
(11)上位机根据随机数S1~S3计算数据加密密钥K1并进行解密;具体为:采用和提交节点类似的方式计算加密密钥K1,基于该密钥值K1采用和提交节点对应的解密方式进行解密处理;
(12)上位机对完成对同一任务对应的所有子任务对应的数据的接收、检验、解密后,对这些数据进行拼接组合,并对提交节点发送接收完成消息;
提交节点在接收到上位机发送的接收完成消息后,可以将完成提交的数据设置为临时数据或者过期数据,在时机条件满足时,将该临时数据或者过期数据丢弃;
可以将该高效的信息提交方法应用于智能家居领域中,上位机为用户的移动终端设备,提交节点为智能家居中的家用设备,家用设备可以通过数据提交的方式向用户呈现家用设备的工作状态;该数据提交方法可以在智能管家的控制下发起和完成,也可以是在用户的主动请求下进行数据的提交。
本发明的一种高效的信息提交方法,能够方便应用到各种提交节点中,针对不同的数据类型均能够进行高效的数据提交,在提交过程中能够保证数据的安全性,在接收到提交数据后能够针对数据类型适应性的调整数据检验策略,该方法能够应用于智能家居系统中,用于向用户呈现智能家居管理信息和智能家用设备的运行状况信息。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。
Claims (14)
1.一种信息提交方法,其特征在于,该方法包括如下步骤:
步骤1:提交节点获取需要提交的数据内容,进行数据加密后,对加密后的数据进行分块后作数据检验处理;
所述步骤1包括:
(1)提交节点接收数据通信任务及其对应的任务优先级TaskPr;具体为:
从提交节点从任务中获取任务优先级TaskPr,以及每个待通信数据文件名称及其存储位置;
获取待通信数据的类型数目nt,为每种数据类型分别创建子任务T1~Tnt,每个子任务负责采集一种类型的数据,子任务用于基于存储位置和数据文件名称查找到相应类型的数据文件,采集该类型的数据文件,并将该类型的所有数据文件按照文件名称进行排序,将排序后的数据文件进行组合,组合后形成该类型的数据文件组合;
每个子任务保存该子任务包含的文件名称和该文件的大小之间的对应关系;
(2)提交节点计算每个子任务优先级,具体为:计算每个子任务采集的数据文件的优先级,计算每个优先级等级的文件数目,根据公式(1)计算该子任务的优先级Tpri,其中,k为第k个优先权等级,Wk为第k优先权等级对应的权重系数,PLk表示第k个优先权等级对应的文件数目:
Tpri=TaskPr×(∑Wk×PLk/∑PLk)——公式(1)
(3)提交节点按照优先级顺序分别对每个子任务进行调度处理,具体为:将所有子任务设置为就绪状态,并按照优先级从大到小的顺序排序,将排序后的子任务交由调度单元进行调度;调度单元为提交节点内所包含的单元;
调度单元将子任务按照其优先级放入调度队列中进行统一的调度;
子任务进入针对所有任务对应的所有子任务进行统一的调度列表后,所有子任务的优先级需要和已经进入调度列表的其他子任务的优先级进行比较后重新进行排序;
通过设置任务优先级的方式调整该任务对应的所有子任务的优先级,当将任务的优先级设置为足够大时,使得该任务对应的所有的子任务均处于调度列表的前部;
当系统存在子任务调度可用资源时,调度单元从调度队列头部获取第一个子任务进行调度;
被调度的子任务将执行后续具体的数据通信处理,具体的:
通过子任务的方式使得所有的数据通信任务均按照其优先级的顺序有序完成;
对于高优先级的任务即使晚进入队列也会得到优先的处理;
或通过提高优先级的方式调整处理顺序;
(4)提交节点子任务基于随机数计算数据加密密钥K1,具体为:
获取随机数S1,S2,S3,基于该随机数S1~S3和该子任务数据类型从存储节点获取密钥机文件;
基于随机数S1~S3和密钥机文件,采用公式(2)计算本次数据加密密钥K1,其中,在参与计算时,用S3代表的运算替代S3;
其中,S1和S2的取值范围是1~N,S3的值为0~3之间,S3=0~3分别标识加法、乘法、减法、mod除法运算,其中N为预设值,该预设值需要定期的同时在提交节点和上位机作更新;
该预设值保存在存储节点中;
C1~Cx是从密钥机文件的位置P1~Px处获取的数据值;
其中,x采用公式(3)计算得到;Pj采用(4)计算得到;
Lall为密钥机文件数据的总长度;公式(4)中的除法“/”为整除,i是数据值C的编号,j为位置P的编号;
x=|N+S1+S2|-|N-S1-S2| 公式(3)
Pj=(j×P1)mod Lall 公式(4)
当密钥机文件为二进制表示时,该数据值为从位置P开始的8或16或32或64位数据值;
(5)提交节点子任务采用密钥对数据进行加密处理;具体为:判断密钥数值K1大小,根据不同密钥值采用不同的加密方式,所述密钥值包括:
(A)当密钥0<=K1<TK1时,采用循环移位加密方式,将数据采用左/右移动K1次的方式进行加密;
(B)当密钥TK1<=K1<TK2时,采用替换方式加密,将数据的第mK1位置的数据值替换为默认值,并将替换掉的所有第mK1位置的数据值保存到替换表中,并将该替换表的数据区分的按顺序放置在数据的结尾处;
(C)当密钥TK2<=K1<TK3时,采用分块交换方式加密;将数据分为大小为K1的数据块,从第一个数据块开始,2个数据块分为一组,对于组内相邻的两块Block和Block+1,将Block的第一个数据值和Block+1的倒数第一个数据值作交换,将Block的第二个数据值和Block+1的倒数第二个数据值作交换,直到Block和Block+1的所有数据值均交换完毕为止;如果组内只有一个数据块,或者组内任一个数据块的大小不足K1,则不对该组作交换加密;
(D)当密钥K1>=TK3时,采用填充加密方式,每隔K1个数据长度,填充预定的值序列;该预定的值序列是预定子序列的重复;
在加密中使用的随机数S1,S2,S3前后均填充特殊数值序列后形成第一预设长度的特殊数据块,将该第一预设长度的特殊数据块可区分的添加在数据的头部;
其中,TK1~TK3和密钥机文件关联保存在存储节点中;
(6)提交节点子任务对加密后的数据进行数据检验处理;具体为:
将加密后的数据分块,每块的大小为(S1×S2),对于大小不足(S1×S2)的数据块,数据块结尾用默认值填充,得到数据块Block1~Blockball,其中,ball为数据块的总块数;
计算每个数据块的签名值Sig1~Sigball,将该签名值的组作为该数据的检验值序列;
将该检验值序列可区分的放置在该数据的头部;
单独的对随机数S1,S2,S3所在的第一预设长度的特殊数据块计算数据签名;
并将该数据签名放在签名序列的第一位置;
步骤2:提交节点对经过检验处理的数据进行压缩处理;判断数据对应的数据类型,基于数据类型选择最优压缩算法,对该数据进行压缩,具体为:
所述数据的类型包括:全文文本、图像、声音、影视、超媒体;每种类型都有其适应的压缩算法,采用该适应的压缩算法相比其他压缩算法能够达到较高的压缩比;
预存数据类型及其对应的最优压缩算法,通过查询该对应关系获取所要采用的压缩算法;
由于子任务对应的数据类型都是一致的,因此一致性的选择压缩算法提高压缩效率;
(7)提交节点子任务选择最优通信路径进行数据通信,具体为:
将子任务对应的数据进行组包处理,获取提交节点到上位机的所有数据通信路径集合;
选取QOS值最高的数据通信路径对组包后形成的数据包进行数据通信;
其中路径PTHi对应的QOSi值的采用公式(5)计算得到,其中:
PTH_TSi为路径i的包括传送预定长度的数据包所需要的时间长度的通信开销;
PTH_SFi为路径i的包括该路径包含的高安全级别子路径的个数的安全级别;
PTH_MSi为路径i的包括丢包率的通信质量;
QOSi=PTH_TSi/∑PTH_TSi+PTH_SFi/∑PTH_SFi+PTH_MSi/∑PTH_MSi 公式(5)
通过综合考量数据通信路径的服务质量,选择最优的数据通信路径进行子任务对应数据包的通信;
该子任务偏重因子(yi,1,yi,2,yi,3)由任务根据用户需求来设置;
步骤3:上位机接收提交节点发送的数据包,提取数据包中的数据,对提取的数据根据压缩类型选择相应的解压缩算法对数据包进行解压缩;
步骤4:上位机对数据进行分块,对每个数据块进行数据检验,在数据检验完毕后,根据数据块检验失败率和数据类型决定是否请求重新发送数据。
2.根据权利要求1所述的信息提交方法,其特征在于,根据提交数据的数据类型确定第一失败阈值,当检验失败率超过第一失败阈值时,给提交节点发送检验失败消息,请求提交节点重新进行全部数据的提交;否则,丢弃失败数据块包含的数据,并对该数据所在的区域填充指定数据值。
3.根据权利要求2所述的信息提交方法,其特征在于,当数据类型要求的数据准确性较高时,将第一失败阈值设置为0,只要发生数据块的提交失败,就请求重新发送全部提交书。
4.根据权利要求1-3任意一项所述的信息提交方法,其特征在于,第一失败阈值由用户或者系统根据数据的类型设定。
5.根据权利要求4所述的信息提交方法,其特征在于,将数据类型和其对应的第一失败阈值预存在上位机的存储单元中,通过查询该预存信息获取第一失败阈值。
6.根据权利要求1所述的信息提交方法,其特征在于,进一步的基于校验正确的连续数据块占所有提交数据块数量的比率来决定是否请求重新发送数据,其校验正确的连续数据块中每一个数据块均通过校验,而该连续的数据块相邻的数据块则没有通过校验。
7.根据权利要求6所述的信息提交方法,其特征在于,当校验正确的连续数据块占所有提交数据块数量的比率超过第一失败阈值时,仅请求重新提交部分数据块,该部分数据块不包括校验正确的连续数据块。
8.根据权利要求6所述的信息提交方法,其特征在于,该校验正确的连续数据块的数据块数目大于预定数目时被确定为校验正确的连续数据块,而当数量小于预定数量时被确定为非校验正确的连续数据块。
9.根据权利要求8所述的信息提交方法,其特征在于,该预定数目为3块,此时,只有在
校验正确的数据块是该连续的,且连续的数据块个数超过3块时,才用于计算比率。
10.根据权利要求9所述的信息提交方法,其特征在于,在关键数据块没有通过校验时,
给提交节点发送检验失败消息,请求提交节点重新进行数据的发送。
11.根据权利要求1所述的信息提交方法,其特征在于,该任务和子任务的执行主体为进
程或者线程;该数据提交任务或者子任务和操作系统中的其他任务在操作系统看来是没有
差异的,仅能够通过任务标识识别出该任务和子任务的类型。
12.根据权利要求1所述的信息提交方法,其特征在于,存储节点根据数据类型进行数据组织,不同的数据类型对应多个密钥机文件,通过S1~S3的计算值和密钥机文件建立对应关系,该计算值是哈希值;提交节点和上位机基于该S1~S3的哈希值查找相应的密钥机文件,存储节点对密钥机文件进行管理。
13.根据权利要求1所述的信息提交方法,其特征在于,区分放置为在数据的结尾处放置预设数量的特定值后再存放替换表;该特定值为边界值。
14.根据权利要求1所述的信息提交方法,其特征在于,根据子任务偏重因子(yi,1,yi,2,yi,3)根据公式(6)计算QOSi;子任务偏重因子是一个三元组,分别用于对QOS的三个考量因素进行调整;
QOSi=yi,1×PTH_TSi/∑PTH_TSi+yi,2×PTH_SFi/∑PTH_SFi+yi,3×PTH_MSi/∑PTH_MSi公式(6)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611207648.1A CN108243146B (zh) | 2016-12-23 | 2016-12-23 | 一种信息提交方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611207648.1A CN108243146B (zh) | 2016-12-23 | 2016-12-23 | 一种信息提交方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108243146A CN108243146A (zh) | 2018-07-03 |
CN108243146B true CN108243146B (zh) | 2020-01-24 |
Family
ID=62703605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611207648.1A Active CN108243146B (zh) | 2016-12-23 | 2016-12-23 | 一种信息提交方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108243146B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635522A (zh) * | 2018-11-13 | 2019-04-16 | 许继集团有限公司 | 一种动态库的防篡改方法及装置 |
CN109947776B (zh) * | 2019-03-15 | 2021-05-28 | 海南火链科技有限公司 | 一种数据压缩、解压方法及装置 |
CN110764698B (zh) * | 2019-09-29 | 2021-01-29 | 北京航空航天大学 | 信息收发方法及设备 |
CN112365373B (zh) * | 2020-11-10 | 2022-07-12 | 四川大学 | 一种随案电子卷宗保全和互认处理方法 |
CN114124376B (zh) * | 2021-11-23 | 2023-05-23 | 中国标准化研究院 | 基于网络数据采集的数据处理方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306114A (zh) * | 2010-09-25 | 2012-01-04 | 广东电子工业研究院有限公司 | 基于云存储的数据定时备份和恢复方法 |
CN102708183A (zh) * | 2012-05-09 | 2012-10-03 | 华为技术有限公司 | 数据压缩的方法和装置 |
CN103414650A (zh) * | 2013-07-29 | 2013-11-27 | 上海华为技术有限公司 | 一种避免拥塞的路由方法和装置 |
CN104579558A (zh) * | 2014-12-05 | 2015-04-29 | 苏州沃斯麦机电科技有限公司 | 一种数据传输过程中完整性检测方法 |
CN105843966A (zh) * | 2016-04-22 | 2016-08-10 | 中国银联股份有限公司 | 数据处理系统以及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7212987B2 (en) * | 2001-10-23 | 2007-05-01 | International Business Machines Corporation | System and method for planning a design project, coordinating project resources and tools and monitoring project progress |
-
2016
- 2016-12-23 CN CN201611207648.1A patent/CN108243146B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306114A (zh) * | 2010-09-25 | 2012-01-04 | 广东电子工业研究院有限公司 | 基于云存储的数据定时备份和恢复方法 |
CN102708183A (zh) * | 2012-05-09 | 2012-10-03 | 华为技术有限公司 | 数据压缩的方法和装置 |
CN103414650A (zh) * | 2013-07-29 | 2013-11-27 | 上海华为技术有限公司 | 一种避免拥塞的路由方法和装置 |
CN104579558A (zh) * | 2014-12-05 | 2015-04-29 | 苏州沃斯麦机电科技有限公司 | 一种数据传输过程中完整性检测方法 |
CN105843966A (zh) * | 2016-04-22 | 2016-08-10 | 中国银联股份有限公司 | 数据处理系统以及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108243146A (zh) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108243146B (zh) | 一种信息提交方法 | |
US8448224B2 (en) | Intercepting malicious access | |
WO2020253083A1 (zh) | 主备存储卷同步数据校验方法、装置、设备及存储介质 | |
CN109617996B (zh) | 文件上传及下载方法、服务器及计算机可读存储介质 | |
US10341469B2 (en) | Data transmission method and apparatus and data receiving method and apparatus | |
CN110336848B (zh) | 一种访问请求的调度方法及调度系统、设备 | |
CN103259797B (zh) | 数据文件传输方法及平台 | |
CN105939201A (zh) | 服务器状态的检查方法和装置 | |
WO2014121630A1 (en) | Method and device for transferring file | |
CN108897806A (zh) | 数据一致性比对方法、装置、存储介质及电子设备 | |
CN107645357B (zh) | 传输文件不完整的恢复方法及装置 | |
CN108243001B (zh) | 一种数据加密通信方法 | |
CN110831039A (zh) | 多路并发系统中的数据传输方法及传输服务器 | |
CN105471700B (zh) | 一种消息处理的方法、装置和系统 | |
CN110831168B (zh) | 通信方法、系统、物联网平台和计算机可读存储介质 | |
CN113111043A (zh) | 一种中台源数据文件的处理方法、装置、系统及存储介质 | |
CN117857649A (zh) | 一种传输控制协议数据包的传输方法及系统 | |
CN104933059B (zh) | 文件信誉获取方法、网关设备和文件信誉服务器 | |
CN111372277B (zh) | 数据分发方法、装置及存储介质 | |
JP2011510572A (ja) | フィンガープリント技術の実現方法、装置、及びシステム | |
CN114666411B (zh) | 请求处理方法、装置、服务器、存储介质及产品 | |
CN106878266B (zh) | 一种非结构化数据传输系统 | |
US10992702B2 (en) | Detecting malware on SPDY connections | |
CN114189384A (zh) | 业务处理方法、装置、设备及存储介质 | |
CN109688204B (zh) | 基于ndn网络的文件下载方法、节点、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4) Applicant after: Zhongke Star Map Co., Ltd. Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing Applicant before: Space Star Technology (Beijing) Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |