CN110633154B - 一种数据全排序方法及系统 - Google Patents

Abstract

本发明涉及一种数据全排序方法及系统，所述方法包括以下步骤：S1：设置输入通道的存储格式，并按照存储格式存储输入数据包；S2：识别输入数据包，并储存至数据包预存存储中；S3：将某个时间内的所有输入数据包均存入相应输入通道的数据包预存存储中；S4：对预存数据包进行全排序处理；S5：恢复存储中的数据即为按时间戳顺序排列的数据包。本发明针对PET数据处理中实时性的要求，设计了一种应用于FPGA的快速实时排序算法，经测试，算法效率高，能够实时有效地处理多探头输出的数据，满足工程需求。

Description

一种数据全排序方法及系统

技术领域

本发明是关于一种基于FPGA的数据全排序方法及系统，能够对多探测器输出信号按照信号发生时间进行全排序，涉及用于对数据进行序列生成的各技术领域，例如信息搜索、任务调度运筹学处理、人工智能算法、基于FPGA的模式识别、大数据排序处理或探测器电子学读取系统等技术领域。

背景技术

获取任务数据可以采用CPU进行串行的排序处理，两两比较并存储起来，通常采用的方法有：冒泡排序、快速排序或插入排序等方法。

冒泡排序是基础而又简单的排序算法，排序原理为：通过比较数组中相邻的元素并在必要的情况下进行交换。以升序为例，定义排序数组q[n]，如果第一个元素q[0]比第二个元素q[1]大，就交换他们两个；从开始第一对数据到结尾最后一对，对每一对相邻元素做同样的工作，在第一次循环结束后，数组最后的元素n应该会是数组中最大的数；然后针对前n-1的元素重复以上的步骤，每次把一个元素归位；第i次循环对前n-i+1个元素重复上面的步骤，直到没有任何一对数字需要比较。这个归位过程就像水中升起的气泡一样，因此得名冒泡排序。通过代码实现很容易就知道即使在最优的情况下，冒泡排序的时间复杂度是O(n²)，而算法的核心部分是双重嵌套循环，很多人都曾尝试过对它进行改进，最为著名的鸡尾酒算法，即定向冒泡排序。

快速排序是20世纪十大算法之一，相比冒泡排序，快速排序的每次交换是跳跃式的，是二分法的应用：当从小到大排序时，每次排序时取区间中的一个数作为基准点，将小于基准点的数全部放到基准点的左边，将大于等于基准点的数放到基准点的右边。这样在每次交换时就不会像冒泡排序一样只能在相邻的数之间进行交换，交换的距离就大的多了，因此总的比较和交换次数就少了，速度自然就快了。最坏的情况下，即要进行所有数据的交换时，它的时间复杂度也是O(n²)。

插入排序的核心思想是在查询基础上加上插入：将数组分为两部分，已排序好的和未经排序的。将未排序的元素插入到已排序好的序列中，直到数组整体都具有有序性。定义排序数组q[n]，首先假设数组中的第一个元素q[0]是有序的，定义当前要插入的元素为k，要插入的元素的值为temp，循环将temp与已排序好的元素比较，当这个元素大于temp时该元素向后移动，最后当存在大于temp的数时将temp插入空位，将这个过程重复n-1次即可完成排序。

专用序列分析模块：使用事件符合处理模块将各个探测器的时间分别按各通道事件顺序存储起来，然后在数据获取处理服务器(DAPS)，取一通道的数据依次与另一通道相比对排序，获得的事件存储后在将其与下一通道事件排序，依次重复，最终完成所有事件的排序工作。该方案排序次数多，使用存储资源多，但有集成处理模块，处理频率高，因此离线处理能力较强，但实时性依然不足。

目前使用的方法，对于要处理的数据，需要时间复杂度高，不利于在实时性要求较高的数据处理场合使用。

发明内容

针对上述问题，本发明的目的是提供能够使多个探测器并行输入的低时间关联性事件转换为按发生时间顺序排列的事件组，提高系统工作效率和改善成像精度的数据全排序方法及系统。

为实现上述目的，本发明采取以下技术方案：

第一方面，本实施例提供一种数据全排序方法，包括步骤为：

S1：设置输入通道的存储格式，并按照存储格式存储输入数据包；

S2：识别输入数据包，储存至数据包预存存储中；

S3：将某段时间内的所有输入数据包均存入相应输入通道的数据包预存存储中；

S4：对预存数据包进行全排序处理；

S5：恢复存储中的序列数据即为按时间戳顺序排列的数据包。

进一步地，上述步骤S1的具体实现过程为：对每个输入通道设置移位寄存器组，将输入数据依次存储在多级移位寄存器中，假设输入数据包长为n，令级数为n+1，则令靠近输入通道的第一级为缓存级，第二级为包尾识别级，第n+1级为包头级。

进一步地，上述步骤S2的具体实现过程为：对每一输入通道，当数据包流入对应移位寄存器组时，若数据包的包头到达包头级，数据包的包尾必然位于包尾，对包头级和包尾级进行包头包尾的识别即可判断一组数据包已经到达，此时认为一个完整数据包已经通过移位寄存器组，将该数据包合并储存至数据包预存存储中。

进一步地，上述步骤S3的具体实现过程为：对于任意输入通道，当移位寄存器组完成一组数据包的识别后，随时钟将新数据包输入第一级预存寄存器中，令原第一级预存寄存器数据传入第二级预存寄存器中，同理，第二级预存寄存器传入第三级预存寄存器，第三级预存寄存器传入第四级预存寄存器，从而该段时间内所有输入数据均存入所有通道的数据包预存存储中。

进一步地，上述步骤S4的具体实现过程为：

S41：提取各预存寄存器内数据包的时间戳部分，比较时间戳，获得比较矢量矩阵；

S42：根据比较矢量矩阵，进行数据包序列判别；

S43：采用高阻线与方法，恢复数据包的正常序列。

进一步地，上述步骤S41的具体实现过程为：对各输入通道预存数据包编号，共四个通道，16个数据包，第一输入通道的数据包分别为1,2,3,4，第二输入通道的数据包分别为5,6,…，依次类推；从第一个数据包开始依次只与后续数据包进行比较，比较结果记为a_ij，i为比较数据包的编号，j为被比较数据包的编号，其中，比较规则为：认为全零的时间戳是数值最大，其他时间戳保持正常大小，在此规则下，对于任一预存寄存器，比对时若比对数据包的时间戳小于等于被比对时间戳，则比较结果a_ij为1，否则取0，从而获得关于每一个预存寄存器的比较矢量矩阵的上三角矩阵，由于比较结果具有对称特点：a_ij＝-a_ji，补齐比较矢量矩阵的另一半。

进一步地，上述步骤S42的具体实现过程为：根据比较矢量矩阵确定各预存寄存器数据包的相对大小关系，将各预存寄存器的比较矢量按位相加，对于预存数据包m，若共由k个预存数据包的时间戳不大于数据包m，则该数据包应位于第m位，按照比较规则，该比较矢量上有且仅有m位数据为1，其算术和即为其相对于其他数据的序列m，对应比较矢量各位的和即为该数据包对应的序列值。

第二方面，本发明还提供一种基于FPGA的数据全排序系统，该系统包括：

数据输入模块，用于设置输入通道的存储格式，并按照存储格式存储输入数据包；

数据识别模块，用于识别输入数据包，并储存至数据包预存存储中；

数据存储模块，用于将某个时间内的所有输入数据包均存入相应输入通道的数据包预存存储中；

数据排序模块，用于对预存数据包进行全排序处理；

数据恢复模块，用于恢复存储中的数据即为按时间戳顺序排列的数据包。

本发明由于采取以上技术方案，其具有以下特点：本发明针对PET数据处理中实时性的要求，设计基于FPGA的快速实时排序算法，经测试，算法效率高，能够实时有效地处理多探头输出的数据，满足工程需求。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例提供的数据全排序方法基于FPGA进行实现，但是不限于此，可以适用于其它处理器，具体过程为：

S1：设置输入通道的存储格式，并按照存储格式存储输入数据包。

具体地，对每个输入通道设置移位寄存器组，将输入数据依次存储在多级移位寄存器中，其中，移位寄存器组位宽与输入数据位宽相同，级数与输入数据的包长有关，假设输入数据包长为n，则可令级数为n+1，则令靠近输入通道的第一级为缓存级，第二级为包尾识别级，第n+1级为包头级。

S2：识别输入数据包，并储存至数据包预存存储中。

具体地，对每一输入通道，当数据包数据流入对应移位寄存器组时，若数据包的包头到达包头级，数据包的包尾必然位于包尾。因此，对包头级和包尾级进行包头包尾的识别即可判断一组数据包是否已经到达，若包头级识别到包头，同时包尾级识别到包尾，则认为是一个完整的数据包，否则继续移位，包头级数据将被上一级更新。一个完整数据包已经通过移位寄存器组，可以将该数据包合并储存至数据包预存存储中。优选地，建议使用寄存器作为储存单元，这样可以将从包头级至包尾级的所有数据在一个系统时钟内导入至数据包预存存储中，减少数据处理时间，其中，一个时钟指的是FPGA内部运行的一个时钟周期，例如50M系统时钟对应20ns的周期。所有数据一个时钟内导入至预存存储指的是某一数据包如格式为16bit*13的数据包，在经过上述过程后，数据包的包头到达包头位置，包尾到达包尾位置，则可以将从包头至包尾的寄存器组中所有数据输入至一个新的16*13＝208bit的存储中。

S3：将某段时间段内的所有输入数据包均存入相应输入通道的数据包预存存储中。

具体地，由于探测器数据发送端每次同步发送一段时间内采集的事件，每个探测器可能探测有多个事件，因此需要对每个探测通道设置数据包预存储存组，用来将该时段每个探测器获得的事件进行预存，预存深度可随探测器同步发送周期确定，例如：若每个事件的处理周期为1us，而发送周期为4us可设置预存深度为4。其中，预存过程为：

对于任意输入通道，当移位寄存器组完成一组数据包的识别后，随时钟将新数据包输入第一级预存寄存器中，为避免有些通道事例率低导致的旧事例堆积，这里同时令原第一级预存寄存器数据传入第二级预存寄存器中，同理，第二级传入第三级，第三级传入第四级。从而该段时间内所有输入数据均存入所有通道的数据包预存存储中，只需在下一个识别周期内完成全排序即可，而全排序可在40ns内完成所有需处理数据的排序。

S4：对预存数据包进行全排序处理

具体地，在探测器同步发送后，当所有数据预存完成时，即可对预存数据包进行全排序处理，这里对所有预存存储的数据包均进行排序处理，包括没有数据包的预存寄存器单元，处理方法如下：

S41：提取各预存寄存器内数据包的时间戳部分，比较时间戳，获得比较矢量矩阵。

具体地，数据包指的是经ADC将探测器输出信号进行数字化后，对探测器输出信号的数字化信息采集形成的数据包，一般包含固定的格式，包含时间戳、能量、探测序号、探测晶体位置等信息；时间戳，指的是数据包中的探测器信号反应事件发生的时刻信息。

本实施例对各输入通道预存数据包编号，共四个通道，16个数据包，例如第一输入通道的四个数据包分别为1，2，3，4，第二输入通道的四个数据包分别为5，6，7，8，依次类推，然后从第一个数据包开始依次只与后续数据包进行比较，比较结果称为a_ij，i为比较数据包的编号，j为被比较数据包的编号，其中，比较规则设定为：认为全零的时间戳是数值最大，其他时间戳保持正常大小。在此规则下，对于任一预存寄存器，比对时若比对数据包的时间戳小于等于被比对时间戳，则比较结果a_ij为1，否则取0，从而获得关于每一个预存寄存器的比较矢量矩阵的上三角矩阵：

由于比较结果具有对称特点：a_ij＝-a_ji，所以可以以此补齐比较矢量矩阵的另一半：

S42：根据比较矢量矩阵，进行数据包序列判别

具体地，根据比较矢量矩阵可以确定各预存寄存器数据包的相对大小关系，将各预存寄存器的比较矢量按位相加，对于预存数据包m，若共由k个预存数据包的时间戳不大于数据包m，则该数据包应位于第m位，按照比较规则，该比较矢量上有且仅有m位数据为1，其算术和即为其相对于其他数据的序列m，则比较矢量各位的和即为该数据包对应的序列值。由于上述比较矢量矩阵使用的是上三角矩阵拓展出的矩阵，使得时间戳相等的数据包对应的比较矢量算术和也不会相同，保证各个比较矢量的独立性。由此产生的序列可将有效数据包和全零数据包分离，因为这里设置全零时间戳最大，所以所有全零数据包的序列值会集中分布在尾部，不影响有效数据包的事件恢复。

S43：采用高阻线与方法，恢复事件的正常序列

具体地，使用现有的高阻线与方法可以根据算术和恢复事件的正常序列。在FPGA中，线与是错误的结构，容易引发错误数据状态，但对于高阻线与则可以使用。将恢复的事件存储在新的序列恢复存储单元中，即完成此次排序，将数据读出，即可进行下一次的排序运算，从而将相应数据包的数据传至相应的序列恢复存储单元中。

其中，如要判定第k个序列应该对应哪个数据包，则对于数据包总量为16的情况来说，高阻线与的方法的实现代码如下：

Qk<＝D1 when k-1＝List_D1 else(others＝>‘z’)；

Qk<＝D2 when k-1＝List_D2 else(others＝>‘z’)；

…

Qk<＝Dk when k-1＝List_Dk else(others＝>‘z’)；

…

Qk<＝D_n＝16 when k-1＝List_D16 else(others＝>‘z’)；

代码when else语句基本语法为：左值<＝右值1when判断表达式else右值2，在判断表达式有效时，赋右值1给左值；判断表达式无效时，赋右值2给左值。该部分是使用高阻线与的方式对同一信号Qk进行多组并行赋值，赋值使用when else语句，并在else后使用高阻赋值，即others＝>‘z’。该种赋值方式在Qk未选中该组赋值的情况下，即该组的判断表达式不成立时输出为‘z’，不影响后续赋值结果，而且所有组的判断表达式的条件互不相同，因此只有一组的判断表达式成立，即输出不受‘z’影响的有效数据，从而可以将排序后序列为k的数据包赋给Qk。

由于FPGA并行处理特征，各序列的恢复可以同时进行，因此可以一步完成所有数据的序列恢复。其中，考虑到数据输出的带宽大小，序列恢复存储中的数据可以分若干流水线读出，具体流水线级数与实际需求相关，在此不做赘述。

S5：恢复存储中的序列数据即为按时间戳顺序排列的数据包，根据用户需求，直接将这些数据包输出或者进行时间戳符合算法的处理等，然后将结果通过上位机读出或存进存储器中。至此，完成所有数据包的全排序，其效果在于，对于大量事件，可以同时处理，效率高，理论上可以在固定较短的时钟周期内直接完成对内存中所有事件的排序工作。

实施例2：

本实施例提供一种基于FPGA的数据全排序系统，该系统包括：

数据输入模块，用于设置输入通道的存储格式，并按照存储格式存储输入数据包；

数据识别模块，用于识别输入数据包，并储存至数据包预存存储中；

数据存储模块，用于将某个时间内的所有输入数据包均存入相应输入通道的数据包预存存储中；

数据排序模块，用于对预存数据包进行全排序处理；

数据恢复模块，用于恢复存储中的数据即为按时间戳顺序排列的数据包。

最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (3)

1.一种数据全排序方法，其特征在于包括以下步骤：

S1：设置某输入通道的存储格式，并按照存储格式存储该输入通道的输入数据包，其中，对每个输入通道设置移位寄存器组，将输入数据依次存储在多级移位寄存器中，假设输入数据包长为n，令级数为n+1，则令靠近输入通道的第一级为缓存级，第二级为包尾识别级，第n+1级为包头级；

S2：识别所述S1的输入数据包，储存至数据包预存存储中，其中，对每一输入通道，当数据包流入对应移位寄存器组时，若数据包的包头到达包头级，数据包的包尾必然位于包尾级，对包头级和包尾级进行包头包尾的识别即可判断一组数据包已经到达，此时认为一个完整数据包已经通过移位寄存器组，将该数据包合并储存至数据包预存存储中；

S3：重复所述S1和S2的过程，将某段时间段内的所有输入数据包均存入相应输入通道的数据包预存存储中，其中，上述步骤S3的具体实现过程为：

对于任意输入通道，当移位寄存器组完成一组数据包的识别后，随时钟将新数据包输入第一级预存寄存器中，令原第一级预存寄存器数据传入第二级预存寄存器中，同理，第二级预存寄存器数据传入第三级预存寄存器，第三级预存寄存器数据传入第四级预存寄存器，从而该段时间内所有输入数据均存入所有通道的数据包预存存储中；

S4：对所述S3中存储完成的所有通道的预存数据包进行全排序处理，具体实现过程为：

S41：提取各预存寄存器内数据包的时间戳部分，比较时间戳，获得比较矢量矩阵；

S42：根据比较矢量矩阵，进行数据包序列判别；

S43：采用高阻线与方法，恢复数据包的正常序列；

S5：恢复存储中的序列数据即为按时间戳顺序排列的数据包。

2.根据权利要求1所述的数据全排序方法，其特征在于，上述步骤S41的具体实现过程为：

对各输入通道预存数据包编号，共四个通道，16个数据包，第一输入通道的数据包分别为1,2,3,4，第二输入通道的数据包分别为5,6,…，依次类推；从第一个数据包开始依次只与后续数据包进行比较，比较结果记为a_ij，i为比较数据包的编号，j为被比较数据包的编号，其中，比较规则为：认为全零的时间戳是数值最大，其他时间戳保持正常大小，在此规则下，对于任一预存寄存器，比对时若比对数据包的时间戳小于等于被比对时间戳，则比较结果a_ij为1，否则取0，从而获得关于每一个预存寄存器的比较矢量矩阵的上三角矩阵，由于比较结果具有对称特点：a_ij＝-a_ji，补齐比较矢量矩阵的另一半。

3.一种数据全排序系统，其特征在于，该系统包括：

数据输入模块，用于设置某输入通道的存储格式，并按照存储格式存储该输入通道的输入数据包，其中，对每个输入通道设置移位寄存器组，将输入数据依次存储在多级移位寄存器中，假设输入数据包长为n，令级数为n+1，则令靠近输入通道的第一级为缓存级，第二级为包尾识别级，第n+1级为包头级；

数据识别模块，用于识别数据输入模块的输入数据包，并储存至数据包预存存储中，其中，对每一输入通道，当数据包流入对应移位寄存器组时，若数据包的包头到达包头级，数据包的包尾必然位于包尾级，对包头级和包尾级进行包头包尾的识别即可判断一组数据包已经到达，此时认为一个完整数据包已经通过移位寄存器组，将该数据包合并储存至数据包预存存储中；

数据存储模块，用于将某个时间段内的所有输入数据包均存入相应输入通道的数据包预存存储中，其中，对于任意输入通道，当移位寄存器组完成一组数据包的识别后，随时钟将新数据包输入第一级预存寄存器中，令原第一级预存寄存器数据传入第二级预存寄存器中，同理，第二级预存寄存器数据传入第三级预存寄存器，第三级预存寄存器数据传入第四级预存寄存器，从而该段时间内所有输入数据均存入所有通道的数据包预存存储中；

数据排序模块，用于对预存数据包进行全排序处理，其中，数据排序模块具体实现过程为：

提取各预存寄存器内数据包的时间戳部分，比较时间戳，获得比较矢量矩阵；

根据比较矢量矩阵，进行数据包序列判别；

采用高阻线与方法，恢复数据包的正常序列；

数据恢复模块，用于恢复存储中的数据即为按时间戳顺序排列的数据包。