CN107622073A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN107622073A
CN107622073A CN201610562682.4A CN201610562682A CN107622073A CN 107622073 A CN107622073 A CN 107622073A CN 201610562682 A CN201610562682 A CN 201610562682A CN 107622073 A CN107622073 A CN 107622073A
Authority
CN
China
Prior art keywords
data
cell
data cell
value
relating value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610562682.4A
Other languages
English (en)
Inventor
杨剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610562682.4A priority Critical patent/CN107622073A/zh
Publication of CN107622073A publication Critical patent/CN107622073A/zh
Pending legal-status Critical Current

Links

Abstract

本申请涉及数据处理方法和装置,所述方法包括:接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;比较所述第一关联值与所述第一验证关联值是否一致;若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。本申请可以有效提高数据验证效率,降低系统资源的消耗,减少对源端数据库的调用,不影响线上业务的进行,还能够有效提高数据验证的准确性,有效保障数据传输的一致性。

Description

一种数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着大数据时代的来临,如何实现数据的准确传输、备份,以便对数据进行统计、分析、应用成为了一个值得关注的问题。在现有技术中,在传输数据时,通常存在两种方式:一种是直接将数据从源端同步到目的端,这种方式需要频繁读取源端数据库,严重影响线上业务的进行;一种是将源端数据同步到一级目的端,再从一级目的端分发给多个二级目的端,这种方式可以减少对源端数据库的频繁调用,但在一级目的端同步数据到二级目的端的过程中,会增加数据不一致的风险。为了保证源端数据与多个目的端数据的一致性,通常需要对目的端数据进行一致性验证。
现有技术中存在两种数据一致性验证的方法,一种是将目的端数据与源端数据进行全文比对,这种方式计算量大、极其耗费资源,同时会导致对源端数据的二次读取,影响线上业务的进行。另外一种方式是在目的端进行抽样数据比对,这种方式无法保证数据本身的正确性,也不能保证数据顺序的正确性,存在准确率不高的缺陷。
发明内容
本申请的目的是,提供一种数据处理方法和装置,可以对待处理数据进行验证,有效提高数据验证的准确性和效率。
本申请提供了如下技术方案:
第一方面,本身去实施例提供了一种数据处理系统,所述系统包括数据接收端和数据发送端,其中:所述数据发送端被配置用于获取待处理数据中第一数据单元的数据;使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;以及,向所述数据接收端发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值;所述数据接收端被配置用于接收至少包括第一数据单元的数据以及第二数据单元的数据的待处理数据;所述第一数据单元与所述第二数据单元相邻;获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;比较所述第一关联值与所述第一验证关联值是否一致;若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
第二方面,本申请实施例提供了一种数据处理方法,所述方法包括:获取待处理数据中第一数据单元的数据;使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
第三方面,本申请实施例提供了一种数据处理方法,所述方法包括:
接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
比较所述第一关联值与所述第一验证关联值是否一致;
若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
第四方面,本申请实施例提供了一种数据处理装置,所述装置包括:
获取单元,用于获取待处理数据中第一数据单元的数据;
关联值计算单元,用于使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
第一关联存储单元,用于将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
发送单元,用于向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
第五方面,本申请实施例提供了一种数据处理装置,所述装置包括:
数据接收单元,用于接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
关联值获取单元,用于获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
第一比较单元,用于比较所述第一关联值与所述第一验证关联值是否一致;
第一确定单元,用于若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
第六方面,本申请实施例提供了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取待处理数据中第一数据单元的数据;
使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
第七方面,本申请实施例提供了一种用于数据处理的装置,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
比较所述第一关联值与所述第一验证关联值是否一致;
若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
本申请实施例提供的数据处理方法及装置,通过获取接收的与第二数据单元的数据关联存储的第一关联值,以及使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值,将所述第一关联值与第一验证关联值进行比较,当所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。在本申请中,第一关联值是通过对第一数据单元的数据运算得到,将其关联存储到与第一数据单元相邻的第二数据单元中,使得第一数据单元和第二数据单元形成关联,进而在数据接收端对所述关联值进行验证,从而确定数据传输是否正确。由于本申请实施例不需要对接收的数据进行全量比对,有效提高了数据比对的效率。此外,本申请进行比较的关联值通过对数据本身运算得到,既能够校验数据的正确性,同时能够校验数据传输顺序的正确性,有效提高了数据验证的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法流程图;
图2为本申请实施例提供的又一种数据处理方法流程图;
图3为本申请实施例提供的又一种数据处理方法流程图;
图4为本申请实施例提供的数据传输示意图;
图5为本申请实施例提供的又一种数据处理方法流程图;
图6为本申请实施例提供的一种数据处理装置示意图;
图7为本申请实施例提供的又一种数据处理装置示意图;
图8为本申请实施例提供的一种数据处理装置示意图;
图9为本申请实施例提供的又一种数据处理装置示意图;
图10是根据一示例性实施例示出的一种用于数据处理的装置的框图;
图11是根据一示例性实施例示出的一种用于数据处理的装置的框图;
图12为根据一示例性实施例示出的一种数据处理系统示意图;
图13为本申请示例性应用场景示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法和装置,可以对待处理数据进行验证,有效提高数据验证的准确性和效率。
首先参照图12,对本申请实施例提供的数据处理系统进行介绍。如图12所示,本申请实施例提供的数据处理系统包括数据发送端1201和数据接收端1202,其中:
所述数据发送端被配置用于获取待处理数据中第一数据单元的数据;使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;以及,向所述数据接收端1202发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值。
所述数据接收端1202被配置用于接收至少包括第一数据单元的数据以及第二数据单元的数据的待处理数据;所述第一数据单元与所述第二数据单元相邻;获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;比较所述第一关联值与所述第一验证关联值是否一致;若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
由于本申请实施例中,通过对第一数据单元的数据运算得到第一关联值,将其关联存储到与第一数据单元相邻的第二数据单元中,使得第一数据单元和第二数据单元形成关联,进而在数据接收端1202通过计算第一验证关联值,并将第一验证关联值与接收到的第一关联值进行比较,从而确定数据传输是否正确。由于本申请实施例不需要对接收的数据进行全量比对,有效提高了数据比对的效率。此外,本申请进行比较的关联值通过对数据本身运算得到,既能够校验数据的正确性,同时能够校验数据传输顺序的正确性,有效提高了数据验证的准确性。
下面分别从数据发送端和数据接收端对本申请实施例提供的数据处理方法进行详细地介绍。
图1是本申请实施例提供的数据处理方法流程图,如图1所示,本申请实施例的数据处理方法包括:
S101、获取待处理数据中第一数据单元的数据。
具体实现时,图1所示方法可以应用于数据发送端。所述待处理数据可以是结构化数据,也可以是非结构化数据。所述结构化数据例如可以是数据表,所述数据表可以包含若干条数据记录。举例说明,数据表中的一行即可以称之为一条记录,每条记录均有固定键值对。若所述待处理数据为结构化数据,获取所述结构化数据的一基础数据单元的数据作为第一数据单元的数据。举例说明,可以将数据表中的一条或数条记录作为一个数据单元的数据。所述非结构化数据可以是序列串、二进制串、文本段落、文件或者文件列表等。所述非结构化数据通常具有一定的标识符用于标识一个段落或者一个文本串,所述标识符可以包括起始标识符和结束标识符。若所述待处理数据为非结构化数据,获取所述非结构化数据的起始标识符和结束标识符之间的数据作为第一数据单元的数据。举例说明,对于一个由若干文本段落组成的数据,获取起始标识符以及与其对应的结束标识符之间的数据作为一个数据单元的数据。
需要说明的是,以上仅为示例性说明,数据单元的划分方式可以是灵活多样的,本申请对此不进行限制。
S102,使用第一方法对所述第一数据单元的数据进行运算得到第一关联值。
其中,关联值至少用于表明两个数据单元之间的关联关系,例如,第一关联值用于表明第一数据单元和第二数据单元的关联关系。所述关联值至少可以用于验证数据传输顺序的正确性。一般地,所述关联值通过对第一数据单元的数据运算得到,并将其与第一数据单元相邻的第二数据单元的数据关联存储。通过运算第一数据单元的数据以及所述第一关联值,来确定第一数据单元和第二数据单元的数据传输顺序是否正确。特别地,若所述第一关联值与第一数据单元的数据本身强相关时,第一关联值也可以用于验证第一数据单元的数据本身的正确性。
具体实现时,可以采用如下公式得到第一关联值RIDi
RIDi=fn1(Datai) (1)
其中,RIDi为第i个关联值,与第i+1个数据单元的数据关联存储或者与第i-1个数据单元的数据关联存储。fn1为第一函数,Datai为第i个数据单元的数据。i为正整数。
需要说明的是,生成第一关联值的第一方法可以是灵活多样的。具体地,可以利用第一函数fn对第i个数据单元的数据Datai进行运算,从而得到一个数值或者字符串,作为关联值。举例说明,对于结构化数据,可以将所述数据单元的数据的序号作为关联值,对于关系数据库即为每个数据表的每一行的主键值。当然,也可以对结构化数据本身进行运算得到关联值。又如,对于非结构化数据,可以对数据单元的数据进行运算得到关联值。其中,在对结构化数据或非结构化数据运算时,例如可以是使用MD5(英文全称为Message DigestAlgorithm 5,中文全称为消息摘要算法第五版)对其进行运算,以生成第一关联值。当然,也可以采用其他方法,例如MD3(英文全称为Message Digest Algorithm 3,中文全称为消息摘要算法第三版)、MD4(英文全称为Message Digest Algorithm 4,中文全称为消息摘要算法第四版)、DES算法(Data Encryption Algorithm,数据加密算法,一种对称加密算法)、3DES算法(三重DES算法)、TDEA算法(三重数据加密算法)、Blowfish算法(一种用来加密64Bit长度的字符串的对称加密方法)、RC5算法(一种参数可变的分组密码算法)、IDEA算法(全称为IntelliJ IDEA,一种基于JAVA的数据加密方法)等。特别地,第一方法还可以是CRC(英文全称为Cyclic Redundancy Code,中文全称为循环冗余码)校验方法。本申请对第一方法不进行限定。
S103,将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元。
具体实现时,将对第一数据单元的数据进行运算得到的第一关联值存储到与第一数据单元相邻的数据单元中,例如第二数据单元中,所述第二数据单元可以为与第一数据单元紧邻的、在第一数据单元之后的数据单元,或者,所述第二数据单元可以为与第一数据单元紧邻的、在第一数据单元之前的数据单元。举例说明,若第一数据单元为第i个数据单元,则所述第二数据单元可以第i+1个数据单元,也可以是第i-1个数据单元。对于同一批待处理数据而言,只要统一将第i个数据单元的数据生成的关联值与第i+1个数据单元的数据关联存储,或者统一将第i个数据单元的数据生成的关联值与第i-1个数据单元的数据关联存储即可。
在一些实施方式中,所述方法还包括:使用第二方法对所述第一数据单元的数据进行运算得到第一校验值;将所述第一校验值与所述第一数据单元的数据关联存储。其中,校验值与对应的数据关联存储,用于验证数据本身的正确性。例如,第一校验值通过使用第二方法对所述第一数据单元的数据进行运算而得到,其能够验证数据本身的准确性。
具体实现时,可以采用如下公式得到第一校验值CIDi
CIDi=fn2(Datai) (2)
其中,CIDi为第i个校验值,与第i个数据单元的数据关联存储。fn2为第二函数,Datai为第i个数据单元的数据。
进一步地,所述使用第二方法对所述第一数据单元的数据进行运算得到第一校验值包括:使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值;或者,使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第二关联值进行运算得到第一校验值;其中,所述第二关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。举例说明,若第一数据单元为第i个数据单元,第二个数据单元为第i+1个数据单元,则第三数据单元为第i-1个数据单元;若第一数据单元为第i个数据单元,第二个数据单元为第i-1个数据单元,则第三数据单元为第i+1个数据单元。
具体实现时,还可以采用如下公式得到第一校验值CIDi
CIDi=fn2(Datai,RIDi) (3)
或者,
CIDi=fn2(Datai,RIDn) (4)
其中,CIDi为第i个校验值,与第i个数据单元的数据关联存储。fn2为第二函数,Datai为第i个数据单元的数据。RIDi为第i个关联值。
在公式(4)中,n=i+1或者n=i-1。需要特别说明的是,若将RIDi与第i+1个数据单元的数据关联存储,则n=i-1。若将RIDi与第i-1个数据单元的数据关联存储,则n=i+1。
在一些实施方式中,第二方法可以是CRC校验方法。第二方法还可以是MD5、MD3、MD4、DES算法、3DES算法、TDEA算法、Blowfish算法、RC5算法、IDEA算法等。只要是与数据本身强相关,能够验证数据本身正确性的方法均可以。
在一些实施方式中,第二方法可以与第一方法不同。例如,第一方法可以是MD5算法;第二方法可以是CRC校验方法。又如,第一方法可以是MD4算法,第二方法可以是MD5算法。具体的实现方式是非常灵活的,在此不进行限定。
在一些实施方式中,第一方法和第二方法可以相同。这样,只要利用第一数据单元的数据生成一个值(或者字符串),将其作为第一校验值与第一数据单元的数据关联存储,用于验证数据本身的正确性;并将其作为第一关联值与第二数据单元的数据关联存储,用于验证数据传输顺序的正确性。
在一些实施方式中,可以仅生成关联值或者称之为校验值。例如,利用第一数据单元的数据生成一个值(或者字符串),将其作为第一关联值与第二数据单元的数据关联存储,用于验证数据传输顺序的正确性,同时其还可以验证数据本身的正确性。
S104,向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
与图1所示实施例相对应的,本申请实施例还包括在数据接收端对数据进行验证处理的方法。
参见图2,为本申请实施例提供的又一种数据处理方法流程图,所述方法可以包括:
S201,接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻。
其中,所述待处理数据是数据发送端发送给数据接收端的。在将待处理数据存储至数据接收端的存储空间之前,需要对待处理数据进行验证处理。
S202,获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值。
具体实现时,与图1所示实施例对应的,数据发送端将使用第一方法对第一数据单元的数据进行运算得到的第一关联值,与第二数据单元的数据关联存储。数据接收端只要提取所述第一关联值即可。
数据接收端同样地,使用第一方法对接收的第一数据单元的数据进行运算,以获取第一验证关联值。需要特别说明的是,数据发送端和数据接收端获取第一关联值、第一验证关联值使用的第一方法是相同的。
S203,比较所述第一关联值与所述第一验证关联值是否一致。
S204,若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
其中,所述数据传输发生错误可以包括:数据本身发生错误和/或数据传输顺序发生错误。当数据传输发生错误时,可以进一步生成错误日志或者生成提示消息,用于提示数据传输发生错误。进一步地,根据系统容错性的不同,可以根据需要设置数据停止传输或者继续传输。
进一步地,若所述第一关联值与所述第一验证关联值一致,至少确定所述第一数据单元和所述第二数据单元的数据传输顺序正确。需要说明的是,若第一关联值的运算与数据本身强相关,能够验证数据本身的正确性,若所述第一关联值与所述第一验证关联值一致,可以确定数据本身也正确、数据传输顺序也正确。需要说明的是,当数据正确时,才将接收的数据存储至目的系统中。
在一些实施方式中,所述方法还包括:获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值;比较所述第一校验值与所述第一验证校验值是否一致;若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。举例说明,若在数据发送端利用第二方法对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值,并将第一校验值与第一数据单元的数据关联存储一起发送到数据接收端,则数据接收端可以提取所述第一校验值,用于验证数据本身的正确性。数据接收端在接收第一数据单元的数据后,即可以使用第二方法对接收的第一数据单元的数据进行运算,以获取第一验证校验值。需要特别说明的是,数据发送端和数据接收端获取第一校验值、第一验证校验值使用的第二方法是相同的。比较所述第一校验值和第一验证校验值是否一致,即可以验证数据本身是否正确。若一致,则数据本身正确。若不一致,则数据本身发生错误。
需要说明的是,根据数据发送端生成第一校验值的方式的不同,在数据接收端生成第一验证校验值的方式也对应不同。具体地,所述使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值包括:使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一验证校验值;或者,使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第三关联值进行运算得到第一验证校验值;其中,所述第三关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
需要说明的是,生成第一验证校验值的方式与生成第一校验值的方式是对应的,具体实现可以参见图1所示实施例的描述,在此不再赘述。
需要说明的是,在一些实施方式中,若生成校验值是利用数据和关联值生成的,在进行数据验证处理时,可以先比较校验值,再比较关联值,由此可以提高数据验证的准确率。
本申请实施例提供的数据方法,可以有效提高数据验证效率,降低系统资源的消耗,减少对源端数据库的调用,不影响线上业务的进行,还能够有效提高数据验证的准确性,有效保障数据传输的一致性。
为了便于本领域技术人员更清楚地理解本申请在具体场景下的实施方式,下面以一个具体示例对本申请实施方式进行介绍。需要说明的是,该具体示例仅为使得本领域技术人员更清楚地了解本申请,但本申请的实施方式不限于该具体示例。
参见图3为本申请实施例提供的又一种数据处理方法流程图。
S301,数据发送端获取待处理数据中第一数据单元的数据。
S302,数据发送端使用第一方法对所述第一数据单元的数据进行运算得到第一关联值,将所述第一关联值与第二数据单元的数据关联存储。
在本申请这一实施例中,是将使用第一方法对第i个数据单元的数据进行运算得到的关联值RIDi,与第i+1个数据单元关联存储。
S303,数据发送端使用第二方法对所述第一数据单元的数据进行运算得到第一校验值,将所述第一校验值与所述第一数据单元的数据关联存储。
S304,数据发送端依次处理完所有数据单元的数据。
S305,数据发送端向数据接收端发送待处理数据。
参见图4,为本申请实施例数据传输示意图。在数据接收端将各数据单元的数据均处理为“AAA……RID CID”的结构,数据接收端接收的数据也均为“AAA……RID CID”的结构,其中AAA为真实有效数据,RID为关联值、CID为校验值。如图4所示,在数据发送端存在待传输数据A,包括若干个数据单元,XXX、YYY、ZZZ均为各数据单元的数据,RID为关联值、CID为校验值。数据接收端接收的数据为B,也包括若干个数据单元,XXX、YYY、ZZZ均为接收的各数据单元的数据,RID为关联值、CID为校验值。需要说明的是,数据发送端生成关联值和校验值的方式可以是在生成业务数据时直接计算并同时生成关联值和校验值,并将其与相应数据单元的数据关联存储。当然,针对已经存储的业务数据,也可以依次对业务数据进行运算,并将生成的关联值和校验值与相应的数据单元的数据关联存储。
S306,数据接收端接收待处理数据。
S307,数据接收端获取第一数据单元的数据以及与第一数据单元的数据关联存储的第一校验值。
S308,数据接收端使用第二方法对接收的第一数据单元的数据进行运算,得到第一验证校验值。
S309,数据接收端比较第一校验值与第一验证校验值;若一致,进入S311;若不一致,进入S310。
S310,确定第一数据单元的数据本身发生错误。
S311,数据接收端获取与第二数据单元的数据关联存储的第一关联值。
S312,数据接收端使用第一方法对接收的第一数据单元的数据进行运算,得到第一验证关联值。
S313,数据接收端比较第一关联值与第一验证关联值;若一致,进入S314;若不一致,进入S315。
S314,确定数据接收端接收的第一数据单元的数据本身正确、数据传输顺序也正确。将验证后的数据存储到数据接收端的存储空间中。
S315,确定数据传输顺序发生错误。
如此,依次对待接收的数据进行处理,即可以对数据进行验证处理,以验证数据传输过程中的一致性。
需要说明的是,图中所述各步骤的执行顺序可以根据需要进行调整,也可以某一些步骤与另一些步骤颠倒地执行,或者并行地执行,只要能实现本申请的目的即可,在此不进行限制。举例说明,S302和S303的顺序可以颠倒地执行,也可以并行地执行。又如,S307至S309比较校验值的步骤,也可以放在S311至S312比较关联值的步骤之后进行。当然,比较校验值和比较关联值的步骤可以并行地执行,只要其中一个不一致,则确定数据传输发生错误。当然,本领域技术人员在不付出创造性劳动下,对各实施例进行改动和变形以得到其他实施例,也属于本申请的保护范围。
需要说明的是,本申请实施例中,为了提高数据的安全性,得到校验值的第一方法和得到关联值的第二方法不同。由此,增加了不法分子篡改数据的难度,提高了数据的安全性。此外,为了进一步提高不法分子篡改数据的难度,校验值的生成可以是通过关联值和数据一起生成,更进一步提高了数据的安全性。
需要说明的是,由于本申请实施例生成了校验值与关联值,并分别进行比较验证,从而既能够验证数据本身的正确性,也可以验证数据传输顺序的准确性。此外,还可以定位错误发生的地方。举例说明,若经过比较,校验值不一致,则确定数据本身发生错误。若经过比较,关联值不一致,则确定数据传输顺序发生错误。举例说明,假设有100万条数据,第i-1条数据通过验证,第i条数据未通过验证,若校验值Cid不一致,则确定第i条数据本身发生错误;若关联值Rid不一致,则确定第i条数据前面丢失了数据,之前的数据不是接收的第i-1条数据。
需要说明的是,在本申请实施例中,仅通过比较校验值和关联值,即可以验证数据本身的正确和数据顺序的正确,提高了数据验证的准确性,且无需对数据进行全量比较,大大减少了计算量,减少了资源浪费,提高了数据处理效率,也无需频繁读取源端数据库,不影响线上业务的进行。
为了简化方法的实行,可以将对第一数据单元的数据进行运算生成的第一校验值,作为关联值与第二数据单元的数据关联存储。在数据接收端进行验证处理时,只需要提取与第二数据单元的数据关联存储的第一关联值,将其与接收的第一数据单元的数据进行运算得到的数值进行比较,若一致,则确定数据本身也正确,数据顺序也正确。这样,所述校验值既可以作为校验值用于验证数据本身的正确性,也可以作为关联值用于验证数据传输的正确性。由此,简化了方案的实施,进一步提高了效率。当然,处于数据安全性高的考虑,最好使用图3所示实施例的方法。
参见图5,为本申请实施例提供的又一种数据处理方法流程图。
S501,数据发送端获取待处理数据中第一数据单元的数据。
S502,数据发送端使用第一方法对所述第一数据单元的数据进行运算得到第一校验值,将所述第一校验值与第二数据单元的数据关联存储。
此时,所述第一校验值既用于验证数据本身的准确性,也可以作为关联值与第二数据单元的数据关联存储。
S503,数据发送端向数据接收端发送待处理数据。
S504,数据接收端接收待处理数据。
S505,数据接收端获取第一数据单元的数据以及与第二数据单元的数据关联存储的第一校验值。
S506,数据接收端使用第一方法对所述第一数据单元的数据进行运算得到第一验证校验值。
S507,数据接收端比较第一校验值与第一验证校验值。
S508,若一致,确定数据传输正确。
S509,若不一致,确定数据传输发生错误。
需要说明的是,本申请实施例提供的方法可以应用在多种场景下。以图13为例进行说明,本申请实施例提供的方法可以应用于包括数据源端A、一级目的端B、多个二级目的端(例如二级目的端C、二级目的端D……二级目的端N)的系统中。在此应用场景下,数据源端A可以作为数据发送端,一级目的端B、二级目的端C、D……N等可以作为数据接收端。这时,由数据源端A获取待处理数据中第一数据单元的数据,使用第一方法对所述第一数据单元的数据进行运算得到第一关联值,将所述第一关联值与第二数据单元的数据关联存储,以及,向所述一级目的端B发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值。一级目的端B作为数据接收端,利用本申请实施例图2提供的方法对接收的数据进行验证。若验证数据正确,由一级目的端B向多个二级目的端发送数据,二级目的端在接收到数据后,同样地,用本申请实施例图2提供的方法对接收的数据进行验证。当然,本领域技术人员可以理解的是,在此应用场景下,当一级目的端B在验证数据正确后,向二级目的端发送数据之前,可以不对数据进行任何处理。替代这种方式,当一级目的端B在验证数据正确后,向二级目的端发送数据之前,可以利用本申请实施例图1提供的方法对接收的数据进行处理,这时,一级目的端B即作为数据发送端执行了本申请实施例提供的数据处理方法。对应地,二级目的端C、D……N等作为数据接收端对接收的数据进行验证。本领域技术人员可以理解的是,在图13所示的应用场景中,数据源端A也可以对数据不进行任何处理,直接发送给一级目的端B。这时,由一级目的端B作为数据发送端应用本申请实施例图1提供的方法对数据进行处理并发送给二级目的端,二级目的端作为数据接收端,利用本申请实施例图2提供的方法对接收的数据进行验证。具体地实现可以是非常灵活的,在此不进行限定。
需要说明的是,本申请实施例提供的方法也可以应用于只包括数据源端A和一级目的端B的系统中,这时,数据源端A可以作为数据发送端应用本申请实施例图1提供的方法对数据进行处理并发送给一级目的端B,一级目的端B可以作为数据接收端利用本申请实施例图2提供的方法对接收的数据进行验证。
以上对本申请实施例所提供的数据处理方法进行了详细描述,下面对本申请提供的数据处理装置进行详细描述。
参见图6,为本申请实施例提供的一种数据处理装置示意图。
一种数据处理装置600,所述装置包括:
获取单元601,用于获取待处理数据中第一数据单元的数据。
关联值计算单元602,用于使用第一方法对所述第一数据单元的数据进行运算得到第一关联值。
第一关联存储单元603,用于将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元。
发送单元604,用于向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
其中,所述获取单元具体包括:
第一获取单元,用于若所述待处理数据为结构化数据,获取所述结构化数据的一基础数据单元的数据作为第一数据单元的数据;
第二获取单元,用于若所述待处理数据为非结构化数据,获取所述非结构化数据的起始标识符和结束标识符之间的数据作为第一数据单元的数据。
参见图7,为本申请实施例提供的又一种数据处理装置示意图。
所述数据处理装置700包括:
获取单元701,用于获取待处理数据中第一数据单元的数据。
关联值计算单元702,用于使用第一方法对所述第一数据单元的数据进行运算得到第一关联值。
第一关联存储单元703,用于将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元。
校验值计算单元704,用于使用第二方法对所述第一数据单元的数据进行运算得到第一校验值。
第二关联存储单元705,用于将所述第一校验值与所述第一数据单元的数据关联存储。
其中,所述校验值计算单元包括:
第一校验值计算单元,用于使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值;或者,
第二校验值计算单元,用于使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第二关联值进行运算得到第一校验值;其中,所述第二关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
参见图8,为本申请实施例提供的一种数据处理装置示意图。
一种数据处理装置800,所述装置包括:
数据接收单元801,用于接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
关联值获取单元802,用于获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
第一比较单元803,用于比较所述第一关联值与所述第一验证关联值是否一致;
第一确定单元804,用于若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
其中,所述装置还包括:
第二确定单元,用于若所述第一关联值与所述第一验证关联值一致,至少确定所述第一数据单元和所述第二数据单元的数据传输顺序正确。
参见图9,为本申请实施例提供的又一种数据处理装置示意图。
一种数据处理装置900,所述装置包括:
数据接收单元901,用于接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻。
关联值获取单元902,用于获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值。
第一比较单元903,用于比较所述第一关联值与所述第一验证关联值是否一致。
第一确定单元904,用于若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
校验值获取单元905,用于获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值。
第二比较单元906,用于比较所述第一校验值与所述第一验证校验值是否一致;
第三确定单元907,用于若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。
其中,所述校验值获取单元具体用于:
使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一验证校验值;或者,使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第三关联值进行运算得到第一验证校验值;其中,所述第三关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
上述图6至图9各装置的各单元的功能可对应于图1~图5详细描述的上述数据处理方法的处理步骤,于此不再赘述。
参见图10,是根据一示例性实施例示出的一种用于数据处理的装置的框图。所述数据处理装置1000包括:至少一个处理器1001(例如CPU),存储器1002,接收器1003,发送器1004和至少一个通信总线1005,用于实现这些装置之间的连接通信。处理器1001用于执行存储器1002中存储的可执行模块,例如计算机程序。存储器1002可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器1001执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取待处理数据中第一数据单元的数据;
使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
所述发送器1004用于向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
其中,所述处理器1001具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
使用第二方法对所述第一数据单元的数据进行运算得到第一校验值;
将所述第一校验值与所述第一数据单元的数据关联存储。
其中,所述处理器1001具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值;或者,
使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第二关联值进行运算得到第一校验值;其中,所述第二关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
其中,所述处理器1001具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
若所述待处理数据为结构化数据,获取所述结构化数据的一基础数据单元的数据作为第一数据单元的数据;
若所述待处理数据为非结构化数据,获取所述非结构化数据的起始标识符和结束标识符之间的数据作为第一数据单元的数据。
参见图11,是根据一示例性实施例示出的一种用于数据处理的装置的框图。
所述数据处理装置1100包括:至少一个处理器1101(例如CPU),存储器1102,接收器1103,发送器1104和至少一个通信总线1105,用于实现这些装置之间的连接通信。处理器1101用于执行存储器1102中存储的可执行模块,例如计算机程序。存储器1102可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器1101执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
比较所述第一关联值与所述第一验证关联值是否一致;
若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
其中,所述处理器1101具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
若所述第一关联值与所述第一验证关联值一致,至少确定所述第一数据单元和所述第二数据单元的数据传输顺序正确。
其中,所述处理器1101具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值;
比较所述第一校验值与所述第一验证校验值是否一致;
若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。
其中,所述处理器1101具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一验证校验值;或者,
使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第三关联值进行运算得到第一验证校验值;其中,所述第三关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
本申请实施例提供的数据方法及装置,可以有效提高数据验证效率,降低系统资源的消耗,减少对源端数据库的调用,不影响线上业务的进行,还能够有效提高数据验证的准确性,有效保障数据传输的一致性。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (17)

1.一种数据处理系统,其特征在于,所述系统包括数据接收端和数据发送端,其中:
所述数据发送端被配置用于获取待处理数据中第一数据单元的数据;使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;以及,向所述数据接收端发送所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值;
所述数据接收端被配置用于接收至少包括第一数据单元的数据以及第二数据单元的数据的待处理数据;所述第一数据单元与所述第二数据单元相邻;获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;比较所述第一关联值与所述第一验证关联值是否一致;若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
2.一种数据处理方法,其特征在于,所述方法包括:
获取待处理数据中第一数据单元的数据;
使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
使用第二方法对所述第一数据单元的数据进行运算得到第一校验值;
将所述第一校验值与所述第一数据单元的数据关联存储。
4.根据权利要求3所述的方法,其特征在于,所述使用第二方法对所述第一数据单元的数据进行运算得到第一校验值包括:
使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一校验值;或者,
使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第二关联值进行运算得到第一校验值;其中,所述第二关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
5.根据权利要求1所述的方法,其特征在于,所述获取待处理数据中第一数据单元的数据包括:
若所述待处理数据为结构化数据,获取所述结构化数据的一基础数据单元的数据作为第一数据单元的数据;
若所述待处理数据为非结构化数据,获取所述非结构化数据的起始标识符和结束标识符之间的数据作为第一数据单元的数据。
6.一种数据处理方法,其特征在于,所述方法包括:
接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
比较所述第一关联值与所述第一验证关联值是否一致;
若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
7.根据权利要求65所述的方法,其特征在于,所述方法还包括:
若所述第一关联值与所述第一验证关联值一致,至少确定所述第一数据单元和所述第二数据单元的数据传输顺序正确。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值;
比较所述第一校验值与所述第一验证校验值是否一致;
若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。
9.根据权利要求8所述的方法,其特征在于,所述使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值包括:
使用第二方法,对所述第一数据单元的数据以及所述第一关联值进行运算得到第一验证校验值;或者,
使用第二方法,对所述第一数据单元的数据以及与所述第一数据单元的数据关联存储的第三关联值进行运算得到第一验证校验值;其中,所述第三关联值通过对第三数据单元的数据运算得到;所述第三数据单元为与所述第一数据单元相邻、但与所述第二数据单元不同的数据单元。
10.一种数据处理装置,其特征在于,所述装置包括:
获取单元,用于获取待处理数据中第一数据单元的数据;
关联值计算单元,用于使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
第一关联存储单元,用于将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
发送单元,用于向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
校验值计算单元,用于使用第二方法对所述第一数据单元的数据进行运算得到第一校验值;
第二关联存储单元,用于将所述第一校验值与所述第一数据单元的数据关联存储。
12.一种数据处理装置,其特征在于,所述装置包括:
数据接收单元,用于接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
关联值获取单元,用于获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
第一比较单元,用于比较所述第一关联值与所述第一验证关联值是否一致;
第一确定单元,用于若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
校验值获取单元,用于获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值;
第二比较单元,用于比较所述第一校验值与所述第一验证校验值是否一致;
第二确定单元,用于若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。
14.一种用于数据处理的装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取待处理数据中第一数据单元的数据;
使用第一方法对所述第一数据单元的数据进行运算得到第一关联值;
将所述第一关联值与第二数据单元的数据关联存储;其中,所述第二数据单元为与所述第一数据单元相邻的数据单元;
向数据接收端发送至少包括所述第一数据单元的数据、第二数据单元的数据以及与第二数据单元的数据关联存储的所述第一关联值的待处理数据。
15.根据权利要求14所述的装置,所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
使用第二方法对所述第一数据单元的数据进行运算得到第一校验值;
将所述第一校验值与所述第一数据单元的数据关联存储。
16.一种用于数据处理的装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收待处理数据;所述待处理数据至少包括第一数据单元的数据以及第二数据单元的数据;所述第一数据单元与所述第二数据单元相邻;
获取与所述第二数据单元的数据关联存储的第一关联值,以及,使用第一方法对接收的所述第一数据单元的数据进行运算得到第一验证关联值;
比较所述第一关联值与所述第一验证关联值是否一致;
若所述第一关联值与所述第一验证关联值不一致,确定数据传输发生错误。
17.根据权利要求16所述的装置,所述处理器具体还用于执行所述一个或者一个以上程序包含用于进行以下操作的指令:
获取与接收的所述第一数据单元的数据关联存储的第一校验值,以及,使用第二方法对所述第一数据单元的数据进行运算得到第一验证校验值;
比较所述第一校验值与所述第一验证校验值是否一致;
若所述第一校验值与所述第一验证校验值不一致,确定所述第一数据单元的数据发生错误。
CN201610562682.4A 2016-07-15 2016-07-15 一种数据处理方法及装置 Pending CN107622073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610562682.4A CN107622073A (zh) 2016-07-15 2016-07-15 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610562682.4A CN107622073A (zh) 2016-07-15 2016-07-15 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN107622073A true CN107622073A (zh) 2018-01-23

Family

ID=61087581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610562682.4A Pending CN107622073A (zh) 2016-07-15 2016-07-15 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN107622073A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123855A (zh) * 2019-12-06 2020-05-08 北京国电通网络技术有限公司 一种施工现场管控系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110047200A1 (en) * 2008-06-27 2011-02-24 Oridao A method and a system for validating a succession of events experienced by a device
CN103957080A (zh) * 2014-04-30 2014-07-30 浙江中控技术股份有限公司 一种数据完整性校验方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110047200A1 (en) * 2008-06-27 2011-02-24 Oridao A method and a system for validating a succession of events experienced by a device
CN103957080A (zh) * 2014-04-30 2014-07-30 浙江中控技术股份有限公司 一种数据完整性校验方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123855A (zh) * 2019-12-06 2020-05-08 北京国电通网络技术有限公司 一种施工现场管控系统及方法

Similar Documents

Publication Publication Date Title
CN104767613B (zh) 签名验证方法、装置及系统
CN110427774A (zh) 基于区块链的数据存证方法、数据校验方法及相关装置
CN106503589A (zh) 区块链交易信息正确性的校验方法、装置及系统
CN110291757A (zh) 用于提供简化帐户注册服务、用户认证服务的方法及利用其的认证服务器
CN111131278B (zh) 数据处理方法及装置、计算机存储介质、电子设备
CN107683489A (zh) 用于在受信任执行环境中执行加密操作的系统、装置和方法
CN110493258A (zh) 基于token令牌的身份校验方法及相关设备
Yuchuan et al. Enable data dynamics for algebraic signatures based remote data possession checking in the cloud storage
CN110351089A (zh) 一种数据签名认证方法及装置
Ma et al. An empirical study of sms one-time password authentication in android apps
Barker et al. Sp 800-90a. recommendation for random number generation using deterministic random bit generators
CN113179240B (zh) 密钥保护方法、装置、设备及存储介质
US20140068780A1 (en) Apparatus and method for remotely deleting critical information
EP3790221A1 (en) Automated hash validation
CN112907375B (zh) 数据处理方法、装置、计算机设备和存储介质
CN107196972A (zh) 一种认证方法及系统、终端和服务器
CN109508562A (zh) 基于tee的可信远程验证的方法
Ivanov et al. Ethclipper: a clipboard meddling attack on hardware wallets with address verification evasion
CN107332833A (zh) 校验方法及装置
CN114003925A (zh) 一种基于区块链的签名结合在线申报方法及系统
CN110493011B (zh) 基于区块链的证书颁发管理方法以及装置
CN107622073A (zh) 一种数据处理方法及装置
CN107222453A (zh) 一种文件传输方法及装置
KR20200095203A (ko) 전자 문서 관리 방법 및 그 시스템
CN109302442A (zh) 一种数据存储证明方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180123

RJ01 Rejection of invention patent application after publication