CN108196966A - 多数据源的数据比对方法、装置和芯片 - Google Patents

Abstract

本发明提供了一种多数据源的数据比对方法、装置和芯片；其中，该方法包括：当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；从数据源对应的多个存储块中，查找存储地址为空闲状态的存储块；将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征与其它数据源的数据特征进行比对。本发明通过为每个数据源设置多个存储快，可以将数据特征保存在处于空闲状态下的存储地址中，避免了数据特征之间的覆盖问题，提高了数据比对的成功率。

Description

多数据源的数据比对方法、装置和芯片

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种多数据源的数据比对方法、装置和芯片。

背景技术

在异构多核处理背景下，FPGA硬件与多个处理器连接；FPGA对接收到的数据根据来源的处理器不同，对数据特征进行缓存；FPGA在进行数据比对时，通过查找该数据特征对应的存储地址，提取相应的数据特征，将该数据特征与其它数据源对应的数据特征进行比对。然而，由于存储块资源有限，如果两个不同的数据特征，对应相同的存储地址，则会存在数据特征被覆盖的问题，导致数据比对结果发生错误。

针对上述现有的多数据源的数据比对方式中存在数据特征被覆盖的问题，尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种多数据源的数据比对方法、装置和芯片，以避免数据特征之间的覆盖问题，提高数据比对的成功率。

第一方面，本发明实施例提供了一种多数据源的数据比对方法，方法应用于芯片，芯片内为每个数据源分配有多个存储块；方法包括：当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；从数据源对应的多个存储块中，查找存储地址为空闲状态的存储块；将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征与其它数据源的数据特征进行比对。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述查找存储地址为空闲状态的存储块的步骤，包括：查找子步骤：查找数据源对应的多个存储块中，是否有存储地址为空闲状态的存储块；如果是，按照设定的顺序，从空闲状态的存储块中确定用于保存数据特征的存储块；如果否，继续执行查找子步骤。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述将数据特征保存至空闲状态的存储块的存储地址中的步骤之后，方法还包括：将存储块的存储地址标记为非空状态。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述方法还包括：接收数据比对信号；判断步骤：判断比对信号对应的存储块的存储地址是否为非空状态；如果是，提取存储地址内保存的数据特征，将数据特征与其它数据源的数据特征进行比对，输出比对结果；如果否，在设定的等待时间内，继续执行判断步骤。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述方法还包括：当比对结果为比对成功时，释放存储地址，将存储地址标记为空闲状态。

第二方面，本发明实施例提供了一种多数据源的数据比对装置，装置设置于芯片，芯片内为每个数据源分配有多个存储块；装置包括：提取模块，用于当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；查找模块，用于从数据源对应的多个存储块中，查找存储地址为空闲状态的存储块；保存模块，用于将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征与其它数据源的数据特征进行比对。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述装置还包括：标记模块，用于将存储块的存储地址标记为非空状态。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述装置还包括：信号接收模块，用于接收数据比对信号；判断模块，用于判断比对信号对应的存储块的存储地址是否为非空状态；比对模块，用于如果存储地址是非空状态，提取存储地址内保存的数据特征，将数据特征与其它数据源的数据特征进行比对，输出比对结果；触发模块，用于如果存储地址不是非空状态，在设定的等待时间内，继续触发判断模块运行。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述装置还包括：释放模块，用于当比对结果为比对成功时，释放存储地址，将存储地址标记为空闲状态。

第三方面，本发明实施例提供了一种芯片，上述多数据源的数据比对装置设置于芯片。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种多数据源的数据比对方法、装置和芯片，内为每个数据源分配有多个存储块；当接收到数据源发送的数据时，提取数据的数据特征并生成对应的存储地址；通过查找存储地址为空闲状态的存储块，可以将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征的比对；该方式通过为每个数据源设置多个存储快，可以将数据特征保存在处于空闲状态下的存储地址中，避免了数据特征之间的覆盖问题，提高了数据比对的成功率。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中一种多数据源的数据比对方法中，数据存储方式的示意图；

图2为本发明实施例提供的一种多数据源的数据比对方法的流程图；

图3为本发明实施例提供的另一种多数据源的数据比对方法的流程图；

图4为本发明实施例提供的一种多数据源的数据比对方法中，数据存储方式的示意图；

图5为本发明实施例提供的一种多数据源的数据比对装置的结构示意图；

图6为本发明实施例提供的一种芯片中，多数据源的数据比对的数据流向示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在异构多核处理背景下，FPGA(Field-Programmable Gate Array，现场可编程门阵列)硬件与多个处理器连接；多个处理器同时进行运算并向FPGA输出运算结果的数据；由于各个处理器运算速度不同，其数据到达FPGA的时间也会不同；通常，FPGA对接收到数据根据来源的处理器不同(即数据源不同)，对数据进行缓存，在缓存过程中对每个数据提取唯一的数据特征(该数据特征可以用于数据比对)，再采用相关算法，从该数据特征中提取长度较小的数据存储地址，进而根据该存储地址保存该数据特征，FPGA在进行数据比对时，通过查找存储地址，提取相应的数据特征，将该数据特征与其它数据源对应的数据特征进行比对。

在实际实现时，通过上述相关算法，不同的数据特征可能提取出相同的存储地址；由于存储地址相同，后来的数据特征则会覆盖之前已保存在该存储地址的数据特征；如图1所示的现有技术中一种多数据源的数据比对方法中，数据存储方式的示意图；数据特征1、数据特征2、…、直至数据特征X先后发送至FPGA，而数据特征1、数据特征2、…、直至数据特征X提取出的存储地址都为地址1；此时，地址1内首先会保存数据特征1，当数据特征2到来时，保存数据特征2，数据特征1被覆盖；直至当数据特征X到来时，保存数据特征X，地址1内之前存储的数据特征被覆盖。

FPGA从上述地址1提取数据时，其目的可能是提取数据特征1或数据特征2，但FPGA并不知晓数据特征1或数据特征2已被覆盖，其提取的实际数据是当前存储在地址1的数据特征X，基于该数据特征X与对应于数据特征1或数据特征2的其他数据源的数据进行比对时，很容易导致数据比对结果错误；并且，在多个数据源的数据到达时间差距越大、数据传输速率越快的情况下，数据特征的覆盖情况越严重，比对结果错误的几率就越高。

针对上述多数据源的数据比对方式中存在数据特征被覆盖的问题，本发明实施例提供了一种多数据源的数据比对方法、装置和芯片；该技术可以应用于异构多核处理背景下，FPGA或其他芯片对多处理器发送的数据进行比对的过程中；还可以应用于其他大数据处理过程中的数据比对中。该技术可以采用相关的软件或硬件实现，下面通过实施例进行描述。

参见图2所示的一种多数据源的数据比对方法的流程图；该方法应用于芯片，该芯片内为每个数据源分配有多个存储块；该方法包括如下步骤：

步骤S202，当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；

上述数据源可以理解为处理器；芯片(例如，FPGA)可以连接有多个数据源，芯片内为每个数据源设置多个存储快；每个存储快内设置有多个存储地址。可以采用设定的分析算法从数据中提取对应的数据特征；该分析算法可以为分布分析算法、统计量分析算法、相关性分析算法等；该数据特征可以为分布特征、统计量特征、相关性特征等。通常，一个数据对应唯一的数据特征，特殊情况下，不同的数据也可以提取出相同的数据特征。

上述存储地址可以为数据特征中长度较小的数据，也可以为数据特征中位宽较小的数据；可以采用相关算法从数据特征中提取存储地址。

步骤S204，从数据源对应的多个存储块中，查找存储地址为空闲状态的存储块；

步骤S206，将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征与其它数据源的数据特征进行比对。

例如，当提取出的数据特征对应的存储地址为地址2时，从多个存储块中查找地址2处于空闲状态的存储块，如，存储块A和存储块B的地址2处于空闲状态，则将该数据特征保存在存储块A或存储块B的地址2中；当该数据特征需要与其它数据源的数据特征进行比对时，从保存的存储地址中提取该数据特征。

本发明实施例提供的一种多数据源的数据比对方法，芯片内为每个数据源分配有多个存储块；当接收到数据源发送的数据时，提取数据的数据特征并生成对应的存储地址；通过查找存储地址为空闲状态的存储块，可以将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征的比对；该方式通过为每个数据源设置多个存储快，可以将数据特征保存在处于空闲状态下的存储地址中，避免了数据特征之间的覆盖问题，提高了数据比对的成功率。

参见图3所示的另一种多数据源的数据比对方法的流程图；该方法在图2中所示方法基础上实现；该方法应用于芯片，该芯片内为每个数据源分配有多个存储块；该方法以FPGA芯片为例进行说明，该方法包括如下步骤：

步骤S302，当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；

步骤S304，从数据源对应的多个存储块中，查找是否有存储地址为空闲状态的存储块；如果是，执行步骤S306；如果否，执行步骤S304；

例如，可以在某个字段中设置该存储地址状态的标识符；当该存储地址保存有数据特征时，该标识符置为1，表示该存储地址为非空状态；当该存储地址没有保存数据特征时，该标识符置为0，表示该存储地址为空闲状态。

如果该数据源对应的所有的存储块中，该存储地址均为非空状态时，可以采用等待机制，直至某个存储块中的相应的存储地址被释放，变更为空闲状态，该数据特征被存储在该空闲状态的存储地址中。

步骤S306，按照设定的顺序，从空闲状态的存储块中确定用于保存数据特征的存储块；

在实际实现时，执行上述步骤S302结束后，提取出的数据特征可以暂时保存在缓存区，直至查找到存储地址为空闲状态的存储块，将该数据特征再保存至相应的存储地址中。

如果数据特征对应的存储地址为空闲状态的存储块为多个，可以随机确定用于保存数据特征的存储块，也可以预先将存储块进行优先级排序，按照该排序，确定用于保存数据特征的存储块。

步骤S308，将数据特征保存至空闲状态的存储块的存储地址中；将存储块的存储地址标记为非空状态；

如图4所示的一种多数据源的数据比对方法中，数据存储方式的示意图；例如，对于一个数据源，分配有M个存储块，分别为存储块1、存储块2、…、存储块M；当然，当FPGA与N个数据源连接时，则应当配置有N×M个存储块；数据特征1、数据特征2、…、直至数据特征X先后发送至FPGA，而数据特征1、数据特征2、…、直至数据特征X提取出的存储地址都为地址1；此时，可以将这些数据特征分别存储至不同存储块的地址1中，避免数据特征之间被覆盖的问题。

步骤S310，接收数据比对信号；启动计时器；

步骤S314，判断比对信号对应的存储块的存储地址是否为非空状态；如果是，执行步骤S318；如果否，执行步骤S316；

步骤S316，判断计时器是否到达设定的等待时间；如果是，执行步骤S320；如果否，执行步骤S314；

如果比对信号对应的存储块的存储地址是空闲状态，则说明该数据源还没有发送相应的数据，FPGA会启动等待机制，如果在上述等待时间内，该数据源还没有发送相应的数据，则此次数据比对失败。

步骤S318，提取存储地址内保存的数据特征，将数据特征与其它数据源的数据特征进行比对，输出比对结果；

步骤S320，判断该比对结果是否为比对成功；如果是，执行步骤S322；如果否，执行步骤S324；

步骤S322，确认该数据特征比对成功，释放存储地址，将存储地址标记为空闲状态。

步骤S324，确认数据特征比对失败。

本发明实施例提供的一种多数据源的数据比对方法，FPGA内为每个数据源分配有多个存储块；当接收到数据源发送的数据时，提取数据的数据特征并生成对应的存储地址；通过查找存储地址为空闲状态的存储块，可以将数据特征保存至空闲状态的存储块的存储地址中；当接收到比对信号时，从相应的存储地址中提取数据特征以完成数据特征的比对；该方式通过为每个数据源设置多个存储快，可以将数据特征保存在处于空闲状态下的存储地址中，避免了数据特征之间的覆盖问题，提高了数据比对的成功率。

对应于上述方法实施例，参见图5所示的一种多数据源的数据比对装置的结构示意图；该装置设置于芯片，芯片内为每个数据源分配有多个存储块；该装置包括如下部分：

提取模块50，用于当接收到数据源发送的数据时，提取数据的数据特征，生成数据特征对应的存储地址；

查找模块51，用于从数据源对应的多个存储块中，查找存储地址为空闲状态的存储块；

保存模块52，用于将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征与其它数据源的数据特征进行比对。

本发明实施例提供的一种多数据源的数据比对装置，芯片内为每个数据源分配有多个存储块；当接收到数据源发送的数据时，提取数据的数据特征并生成对应的存储地址；通过查找存储地址为空闲状态的存储块，可以将数据特征保存至空闲状态的存储块的存储地址中，以等待数据特征的比对；该方式通过为每个数据源设置多个存储快，可以将数据特征保存在处于空闲状态下的存储地址中，避免了数据特征之间的覆盖问题，提高了数据比对的成功率。

进一步地，上述装置还包括：标记模块，用于将存储块的存储地址标记为非空状态。

进一步地，上述装置还包括：信号接收模块，用于接收数据比对信号；判断模块，用于判断比对信号对应的存储块的存储地址是否为非空状态；比对模块，用于如果存储地址是非空状态，提取存储地址内保存的数据特征，将数据特征与其它数据源的数据特征进行比对，输出比对结果；触发模块，用于如果存储地址不是非空状态，在设定的等待时间内，继续触发判断模块运行。

进一步地，上述装置还包括：释放模块，用于当比对结果为比对成功时，释放存储地址，将存储地址标记为空闲状态。

本发明实施例还提供了一种芯片，上述多数据源的数据比对装置设置于该芯片。参见图6所示为一种芯片中，多数据源的数据比对的数据流向示意图；该芯片中，数据流首先进入数据特征及存储地址提取模块、再依次流入M个存储块、数据寻址模块、数据提取模块和数据比对模块，从而实现上述多数据源的数据比对方法。

本发明实施例提供的一种芯片，与上述实施例提供的多数据源的数据比对方法和装置具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的一种多数据源的数据比对方法、装置和芯片，可以使任意情况下的数据传输比对正确输出；该方式具有以下优点：实现了允许在一段时间内多个重复存储地址出现但数据不覆盖的目的；解决了由于存储地址覆盖问题而引起的数据比对错误问题；保留了基于数据特征的比对方法；具有灵活性，可根据实际的应用场景来分配存储块。

本发明实施例所提供的一种多数据源的数据比对方法、装置和芯片的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种多数据源的数据比对方法，其特征在于，所述方法应用于芯片，所述芯片内为每个数据源分配有多个存储块；所述方法包括：

当接收到所述数据源发送的数据时，提取所述数据的数据特征，生成所述数据特征对应的存储地址；

从所述数据源对应的多个所述存储块中，查找所述存储地址为空闲状态的存储块；

将所述数据特征保存至空闲状态的所述存储块的所述存储地址中，以等待所述数据特征与其它数据源的数据特征进行比对。

2.根据权利要求1所述的方法，其特征在于，所述查找所述存储地址为空闲状态的存储块的步骤，包括：

查找子步骤：查找所述数据源对应的多个所述存储块中，是否有所述存储地址为空闲状态的存储块；

如果是，按照设定的顺序，从所述空闲状态的存储块中确定用于保存所述数据特征的存储块；

如果否，继续执行所述查找子步骤。

3.根据权利要求1所述的方法，其特征在于，所述将所述数据特征保存至空闲状态的所述存储块的所述存储地址中的步骤之后，所述方法还包括：

将所述存储块的所述存储地址标记为非空状态。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收数据比对信号；

判断步骤：判断所述比对信号对应的所述存储块的存储地址是否为非空状态；

如果是，提取所述存储地址内保存的数据特征，将所述数据特征与其它数据源的数据特征进行比对，输出比对结果；

如果否，在设定的等待时间内，继续执行所述判断步骤。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当所述比对结果为比对成功时，释放所述存储地址，将所述存储地址标记为空闲状态。

6.一种多数据源的数据比对装置，其特征在于，所述装置设置于芯片，所述芯片内为每个数据源分配有多个存储块；所述装置包括：

提取模块，用于当接收到所述数据源发送的数据时，提取所述数据的数据特征，生成所述数据特征对应的存储地址；

查找模块，用于从所述数据源对应的多个所述存储块中，查找所述存储地址为空闲状态的存储块；

保存模块，用于将所述数据特征保存至空闲状态的所述存储块的所述存储地址中，以等待所述数据特征与其它数据源的数据特征进行比对。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

标记模块，用于将所述存储块的所述存储地址标记为非空状态。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

信号接收模块，用于接收数据比对信号；

判断模块，用于判断所述比对信号对应的所述存储块的存储地址是否为非空状态；

比对模块，用于如果存储地址是非空状态，提取所述存储地址内保存的数据特征，将所述数据特征与其它数据源的数据特征进行比对，输出比对结果；

触发模块，用于如果存储地址不是非空状态，在设定的等待时间内，继续触发所述判断模块运行。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

释放模块，用于当所述比对结果为比对成功时，释放所述存储地址，将所述存储地址标记为空闲状态。

10.一种芯片，其特征在于，权利要求6-9任意一项所述的装置设置于所述芯片。