CN109921895A - 一种数据Hash值的计算方法及系统 - Google Patents

Abstract

本申请公开了一种数据Hash值的计算方法及系统，所述方法包括：根据程序申请占用Hash计算模块，及内存资源；根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的所述存储区域；多个所述线程同步处理所述待处理数据。本申请中，多个线程共享设备和内存资源，其中，预先分配好内存资源，将内存资源划分为多个存储区域，多个线程相互独立的访问其对应的存储区域，本申请不需要频繁的申请以及释放设备和内存资源，提高了Hash值的计算效率，同时，对CPU的利用更加合理化，提高了其他程序的执行效率。

Description

一种数据Hash值的计算方法及系统

技术领域

本申请涉及信息安全和密码技术领域，尤其涉及一种数据Hash值的计算方法及系统。

背景技术

为了保证验证消息的完整性，通常用数字签名技术防止验证消息被人伪造，数字签名技术是将摘要信息用发送者的私钥加密，与原文一起传送给接收者。在数字签名技术中，通过Hash运算来对原消息产生一个摘要信息，常用的Hash算法有MD5.SHA-1及SHA-256。

Hash运算有两种实现方式，一种是软件方式，依靠CPU(中央处理器，CentralProcessing Unit)的运算来实现，利用CPU的多核优势，将数据流通过算法分组，然后采用多线程方式进行分组计算，最后再将各个计算结果通过算法合并运算。另一种是硬件方式，在CPU中，Hash运算模块利用硬件来实现Hash值的计算，在一个CPU中，同一种算法的硬件Hash运算模块常常只有一个，多个线程之间需要程序通过抢占的方式调用硬件资源，用完需要立即释放，多个线程之间相互抢占Hash运算模块，在并行处理多路数据流的时候频繁申请和释放Hash运算模块硬件资源(包括DMA内存)。

上述软件方式中，对CPU的要求较高，CPU需为多核，而且该方式占用了CPU的运算时间，当遇到大量并行数据流需要计算时，CPU会被频繁占用，影响其他的程序的执行效率。硬件方式则需要多个线程之间相互抢占Hash运算硬件资源，频繁申请和释放硬件资源会影响整个数据处理系统的效率，而且，由于硬件Hash运算模块计算的速度远高于数据产生和数据加载的速度，每次在等待硬件Hash运算模块计算的期间，CPU相当于处于空闲状态，使得CPU没有得到充分利用。

发明内容

本申请提供了一种数据Hash值的计算方法及系统，以解决现有技术中Hash值的计算效率低的技术问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

本申请实施例公开了一种数据Hash值的计算方法，所述方法包括：

根据程序申请占用Hash计算模块，及内存资源；

根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；

将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的所述存储区域；

多个所述线程同步处理所述待处理数据。

可选地，在上述数据Hash值的计算方法中，根据多个所述线程，将所述内存资源划分为等数量的存储区域，包括：

根据多个所述线程内待处理数据的数量分配所述存储区域的大小。

可选地，在上述数据Hash值的计算方法中，在所述多个所述线程同步处理所述待处理数据之后，所述方法还包括：

根据数据处理完成情况，多个所述线程依次退出；

根据所述程序释放所述内存资源及所述Hash计算模块。

可选地，在上述数据Hash值的计算方法中，所述存储区域均包括第一存储单元和第二存储单元。

可选地，在上述数据Hash值的计算方法中，所述多个所述线程同步处理所述待处理数据，包括：

多个所述线程将对应的待处理数据进行计算，得到多个摘要信息；

将多个所述摘要信息进行合并运算，得到所述待处理数据的Hash值。

可选地，在上述数据Hash值的计算方法中，所述多个所述线程将对应的待处理数据进行计算，包括：

读取线程中部分所述待处理数据至相对应的第一存储单元或第二存储单元；

通知所述Hash计算模块，计算所述第一存储单元或所述第二存储单元中的待处理数据；

在所述第一存储单元或所述第二存储单元中的部分待处理数据计算过程中，更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元；

重复更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元中，并进行数据计算，直至所述线程中所述待处理数据全部计算完成。

可选地，在上述数据Hash值的计算方法中，所述第一存储单元的待处理数据的数据长度值小于或者等于所述第一存储单元的大小；所述第二存储单元中的待处理数据的数据长度值小于或者等于所述第二存储单元的大小。

可选地，在上述数据Hash值的计算方法中，通知所述Hash计算模块，包括：通知所述Hash计算模块待处理数据所在位置，内存资源的偏移地址及待处理数据的数据长度值。

可选地，在上述数据Hash值的计算方法中，在多个所述线程依次退出之前，所述方法还包括：

任一所述线程实时调整所占存储区域大小，并释放多余存储区域；

剩余线程占用所述多余存储区域。

第二方面，本申请实施例公开了一种数据Hash值的计算系统，所述系统包括：

申请资源模块，用于根据程序申请占用Hash计算模块，及内存资源；

存储划分模块，用于根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；

数据分流模块，用于将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的存储区域；

数据处理模块，用于多个所述线程同步处理所述待处理数据。

与现有技术相比，本申请的有益效果为：

本申请提供了一种数据Hash值的计算方法及系统，所述方法包括：根据程序申请占用Hash计算模块，并向内核申请一段内存资源，根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域。将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的所述存储区域，多个所述线程同步处理所述待处理数据。本申请数据Hash值的计算方法中，多个线程共享设备和内存资源，其中，预先分配好内存资源，将内存资源划分为多个存储区域，多个线程相互独立的访问其对应的存储区域，本申请不需要频繁的申请以及释放设备和内存资源，提高了Hash值的计算效率，同时，对CPU的利用更加合理化，提高了其他程序的执行效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据Hash值的计算方法的流程示意图；

图2为本发明实施例提供的内存资源分配示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在数据处理，特别是在视频流处理的应用中，传统的编码、解码等都是依靠CPU的运算来实现，即软解码/编码。随着现在视频分辨率越来越高，CPU的负荷也越来越重。目前，在改进的CPU中，像编码、解码及Hash运算这些常用模块通常采用硬件实现。而在一个CPU中，同一种算法的Hash计算模块常常只有一个，需要程序通过抢占的方式来分时复用。随着需求的不断增加，数据流并行处理的通道数和每个通道的处理数据量也在不断增加，需要设计一种数据Hash值的计算方法，以此保证数据Hash计算的效率。

参见图1，为本发明实施例提供的一种数据Hash值的计算方法的流程示意图。结合图1，本申请提供的数据Hash值的计算方法，包括以下步骤：

步骤S01：根据程序申请占用Hash计算模块，及内存资源；

本申请中，通过程序申请占用Hash计算模块，然后向内核申请一段内存资源，本发明实施例所提供的数据Hash值的计算方法中，所述内存资源可优选为DMA内存。用户可根据待处理数据量，预设线程数量，上述DMA内存被多个线程共享，申请DMA的大小由线程的数量决定。另外，上述Hash计算模块可以为Hash计算专用硬件设备，也可以是在通用处理器上用软件方式实现Hash计算。

步骤S02：根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的所述存储区域；

用户可根据多个所述线程内待处理数据的数量自行分配所述内存资源的大小，也就是说，每个线程对应所述内存资源中的存储区域的大小不同。由于硬件资源有限，待处理数据的数量不可控，一般情况下分配的存储区域的大小和需要处理的数据量的多少不是一个数量级，故待处理数据的数量有可能远大于存储区域的大小。参见图2，为本发明实施例提供的内存资源分配示意图。图中以X、Y及Z三个线程为例，将申请占用的内存资源分配给X、Y及Z三个线程。

进一步，多个所述线程均将对应的存储区域进行划分，得到第一存储单元和第二存储单元。每一个线程将自己的存储区域从逻辑上分为两块(第一存储单元和第二存储单元)，在等待Hash计算模块计算数据的同时，CPU继续加载待处理数据到另一块空闲存储单元。如图2所示，X线程、Y线程及Z线程，三个线程均将自己所对应的存储区域划分为第一存储单元和第二存储单元。为了增加应用场景的灵活性，本申请中，所述第二存储单元的大小大于或等于所述第一存储单元的大小，也就是说，第一存储单元和第二存储单元的大小分配可由用户自行设定，例如，有些应用是周期性交替产生一个大文件和一个小文件，此时为了达到最优效率，就可以不均匀分配第一存储单元和第二存储单元。

步骤S03：将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的存储区域；

待线程创建后，向多个所述线程内均输入预设信息，所述预设信息包括：设备句柄及内存资源分配情况，即传入要操作的数据信息，以及每个线程所对应的存储区域分配后的地址等，各个线程即可运行。

步骤S04：多个所述线程同步处理所述待处理数据。

在多个所述线程同步处理所述待处理数据之后，根据数据处理完成情况，多个所述线程依次退出，根据所述程序释放所述内存资源及所述Hash计算模块。

多个所述线程同步处理所述待处理数据，包括：多个所述线程将对应的待处理数据进行计算，得到多个摘要信息；将多个所述摘要信息进行合并运算，得到所述待处理数据的Hash值。

多个所述线程将对应的待处理数据进行计算，具体为：首先，读取线程中部分所述待处理数据至相对应的第一存储单元或第二存储单元，然后，通知所述Hash计算模块，即通知所述Hash计算模块待处理数据所在位置，内存资源的偏移地址及待处理数据的数据长度值，使Hash计算模块计算所述第一存储单元或所述第二存储单元中的待处理数据，在所述第一存储单元或所述第二存储单元中的部分待处理数据计算过程中，更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元。不断重复更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元中，并进行数据计算，也就是说，第一存储单元和第二存储单元交替使用，直至所述线程中所述待处理数据全部计算完成。

本申请中，所述第一存储单元或所述第二存储单元交替使用，将数据加载到所述第一存储单元，然后通知Hash计算模块调用第一存储单元的数据，Hash计算模块是单独的硬件处理，不会占用CPU运算资源，所以CPU可以继续准备所述第二存储的数据。

在读取数据前，由于待处理数据可以是有限长度的，也可以是不限长度的，但是Hash计算模块每次计算的数据必须要有限长度(长度可以不定)。所以，Hash计算一般都会根据应用协议的规定来对待处理数据进行分块，得到Hash处理块，比如，视频流按照一帧或者多帧数据进行分块。本申请中，所述待处理数据包括：储存介质的数据、网络的数据或者设备生成的数据。

另外，所述第一存储区的待处理数据的数据长度值小于或者等于所述第一存储区的大小；所述第二存储区中的待处理数据的数据长度值小于或者等于所述第二存储区的大小。读取的部分待处理数据的长度有两种，若最后读取到Hash处理块结束时，所述第一存储区或所述第二存储区任然没有填充满，则数据长度值为实际读取到的数据长度，否则，数据长度值为所述第一存储区或所述第二存储区的大小。

在多个所述线程退出之前，所述方法还包括：任一所述线程实时调整所占存储区域大小，并释放多余存储区域空间，剩余线程占用所述多余存储区域空间。本申请中，灵活处理共享存储区域的分配问题，各个线程之间可以根据自身需求实时调整自己对内存空间的需求。比如说，图2中，X线程开始时有10M的存储区域，某段时间由于需求调整只需要1M的存储区域，X线程即可调整自己的需求，并通知Y线程或者Z线程来使用自己释放出的9M的存储区域。

与上述方法相对应的，本发明实施例还提供了一种数据Hash值的计算系统，所述系统包括：申请资源模块，用于根据程序申请占用Hash计算模块，及内存资源；存储划分模块，用于根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；数据分流模块，用于将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的存储区域；数据处理模块，用于多个所述线程同步处理所述待处理数据。

综上，本申请中，根据程序申请占用Hash计算模块，并向内核申请一段内存资源，根据待处理数据，依次创建多个线程，并根据多个所述线程，分配各个线程所占用的内存资源，每一个线程将自己存储区域从逻辑上分为所述第一存储单元和所述第二存储单元两块。向所述线程内均输入预设信息，所述预设信息包括：设备句柄及内存资源分配情况，多个所述线程同步处理所述待处理数据，当全部的待处理数据处理完成后，多个所述线程退出，根据所述程序释放所述内存资源及所述Hash计算模块。本申请数据Hash值的计算方法中，多个线程共享设备和内存资源，其中，预先分配好内存资源，多个线程相互独立的访问其对应的存储区域，本申请不需要频繁的申请以及释放设备和内存资源，提高了Hash值的计算效率，同时，对CPU的利用更加合理化，提高了其他程序的执行效率。另外，每一个线程访问的存储空间被再次划分为两个区域，避免了数据读取或者数据产生的速度跟不上Hash计算模块的运算速度的问题。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种数据Hash值的计算方法，其特征在于，所述方法包括：

根据程序申请占用Hash计算模块，及内存资源；

根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；

将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的所述存储区域；

多个所述线程同步处理所述待处理数据。

2.根据权利要求1所述的数据Hash值的计算方法，其特征在于，根据多个所述线程，将所述内存资源划分为等数量的存储区域，包括：

根据多个所述线程内待处理数据的数量分配所述存储区域的大小。

3.根据权利要求1所述的数据Hash值的计算方法，其特征在于，在所述多个所述线程同步处理所述待处理数据之后，所述方法还包括：

根据数据处理完成情况，多个所述线程依次退出；

根据所述程序释放所述内存资源及所述Hash计算模块。

4.根据权利要求1所述的数据Hash值的计算方法，其特征在于，所述存储区域均包括第一存储单元和第二存储单元。

5.根据权利要求4所述的数据Hash值的计算方法，其特征在于，所述多个所述线程同步处理所述待处理数据，包括：

多个所述线程将对应的待处理数据进行计算，得到多个摘要信息；

将多个所述摘要信息进行合并运算，得到所述待处理数据的Hash值。

6.根据权利要求5所述的数据Hash值的计算方法，其特征在于，所述多个所述线程将对应的待处理数据进行计算，包括：

读取线程中部分所述待处理数据至相对应的第一存储单元或第二存储单元；

通知所述Hash计算模块，计算所述第一存储单元或所述第二存储单元中的待处理数据；

在所述第一存储单元或所述第二存储单元中的部分待处理数据计算过程中，更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元；

重复更新所述线程中部分待处理数据至所述第一存储单元或所述第二存储单元中，并进行数据计算，直至所述线程中所述待处理数据全部计算完成。

7.根据权利要求6所述的数据Hash值的计算方法，其特征在于，所述第一存储单元的待处理数据的数据长度值小于或者等于所述第一存储单元的大小；所述第二存储单元中的待处理数据的数据长度值小于或者等于所述第二存储单元的大小。

8.根据权利要求6所述的数据Hash值的计算方法，其特征在于，通知所述Hash计算模块，包括：通知所述Hash计算模块待处理数据所在位置，内存资源的偏移地址及待处理数据的数据长度值。

9.根据权利要求3所述的数据Hash值的计算方法，其特征在于，在多个所述线程依次退出之前，所述方法还包括：

任一所述线程实时调整所占存储区域大小，并释放多余存储区域；

剩余线程占用所述多余存储区域。

10.一种数据Hash值的计算系统，其特征在于，所述系统包括：

申请资源模块，用于根据程序申请占用Hash计算模块，及内存资源；

存储划分模块，用于根据待处理数据，依次创建多个线程，并根据多个所述线程，将所述内存资源划分为等数量的存储区域；

数据分流模块，用于将所述待处理数据分流至多个所述线程，并分别加载至每一线程相对应的存储区域；

数据处理模块，用于多个所述线程同步处理所述待处理数据。