CN116756059A - 查询数据输出方法、加速器件、系统、存储介质及设备 - Google Patents
查询数据输出方法、加速器件、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN116756059A CN116756059A CN202311025405.6A CN202311025405A CN116756059A CN 116756059 A CN116756059 A CN 116756059A CN 202311025405 A CN202311025405 A CN 202311025405A CN 116756059 A CN116756059 A CN 116756059A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- output
- data
- hit data
- engines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0877—Cache access modes
- G06F12/0882—Page mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种查询数据输出方法、加速器件、系统、存储介质及设备,涉及数据处理技术领域,方法包括:设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽;通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;按照各先进先出队列的顺序依次将其中的命中数据输出。本发明能够使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出,进而使同一物理页、相邻物理页的命中数据在输出时保持连续,不交叉输出。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种查询数据输出方法、加速器件、系统、存储介质及设备。
背景技术
异构加速是目前比较热门的一个研究领域,这项技术可以将消耗CPU(CentralProcessing Unit,中央处理器)的计算部分卸载到异构加速卡中。异构加速卡核心通常是GPU(graphics processing unit,图形处理器)或者FPGA(Field Programmable GateArray,现场可编程逻辑门阵列)。
数据库异构加速是目前数据库的一个重要研究方向。数据库采用物理页(page)的格式存储,采用FPGA执行查询加速时,数据被按照物理页轮流分配到加速引擎中进行查询加速,查询结束后每个物理页有多少行数据会命中并不知道,所以给输出结果留多大的RAM(Random Access Memory,随机存取存储器)空间不好确定;而且多核并行时,如何保持同一页面的命中数据在输出时保持连续,不会出现不同页面命中结果交叉输出,都是技术难题。
发明内容
有鉴于此,本发明的目的在于提出一种查询数据输出方法、加速器件、系统、存储介质及设备,用以解决现有技术中采用FPGA对数据执行查询加速时,FPGA的输出结果存在不同物理页的命中数据交叉混合的情况的问题。
基于上述目的,本发明提供了一种查询数据输出方法,包括以下步骤:
设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽;
通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;
按照各先进先出队列的顺序依次将其中的命中数据输出。
在一些实施例中,设置加速器件包含的加速引擎数的步骤包括:
分析每个加速引擎解析和过滤物理页所用加速器件资源量,并基于加速器件资源量和加速器件资源总量确定加速引擎数。
在一些实施例中,基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽的步骤包括:
通过功能仿真确定每个加速引擎对物理页进行解析所用的第一时长;
基于加速引擎数以及第一时长确定先进先出队列的位宽,以使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出。
在一些实施例中,方法还包括:
基于加速引擎数以及先进先出队列的位宽设置比特流文件,并利用比特流文件对加速器件进行配置。
在一些实施例中,基于加速引擎数以及第一时长确定先进先出队列的位宽的步骤包括:
基于先进先出队列将当前物理页组的全部命中数据输出所用的时间计算第二时长;
通过使加速引擎数与第二时长的乘积小于第一时长以确定先进先出队列的位宽。
在一些实施例中,进行解析的步骤包括:
通过每个加速引擎对对应物理页依次进行帧结构解析以及行结构解析。
在一些实施例中,对对应物理页进行帧结构解析的步骤包括:
对对应物理页进行帧结构解析,得到若干行数据。
在一些实施例中,对对应物理页进行行结构解析的步骤包括:
对行数据进行行结构解析,得到行数据中的每个列数据。
在一些实施例中,按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:
将各先进先出队列中输出的命中数据顺序存放至总先进先出队列。
在一些实施例中,按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:
判断总先进先出队列中存放的命中数据所占容量是否达到输出界限容量;
响应于达到输出界限容量,将存放的命中数据输出。
在一些实施例中,响应于达到输出界限容量,将存放的命中数据输出的步骤包括:
响应于达到输出界限容量,激活总线传输模块,并通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据输出。
在一些实施例中,方法还包括:
响应于所有物理页组的命中数据已通过所有先进先出队列输出并且总先进先出队列中存放的剩余命中数据所占容量未达到输出界限容量,直接将剩余命中数据输出。
在一些实施例中,通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据输出的步骤包括:
通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据传输至加速器件片外的DDR中。
在一些实施例中,物理页中的数据为数据库的原始数据。
在一些实施例中,加速器件中的资源至少包括寄存器资源和RAM资源。
在一些实施例中,加速器件为FPGA或GPU。
本发明的另一方面,还提供了一种加速器件,包括:
多个加速引擎,配置用于分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据;以及
多个先进先出队列,配置用于分别接收对应的加速引擎输出的查询到的命中数据,并按照各先进先出队列的顺序依次将其中的命中数据输出,
其中,先进先出队列具有基于加速引擎的解析能力和加速引擎数量配置的位宽。
本发明的又一方面,还提供了一种查询数据输出系统,包括:
设置模块,配置用于设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽;
查询模块,配置用于通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;以及
输出模块,配置用于按照各先进先出队列的顺序依次将其中的命中数据输出。
本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果:
本发明的查询数据输出方法,通过设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽,再通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列,按照各先进先出队列的顺序依次将其中的命中数据输出,从而能够使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出,进而能够使同一物理页、相邻物理页的命中数据在输出时保持连续,不会出现不同物理页的命中数据交叉输出的情况,保证了命中结果高效输出,方式简易,并且相对于现有技术中需要消耗硬件资源对命中数据重新排序的方式而言节省了硬件资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的查询数据输出方法的示意图;
图2为根据本发明实施例提供的实现查询数据输出方法的结构示意图;
图3为根据现有技术提供的命中结果存放的示意图;
图4为根据本发明实施例提供的查询数据输出系统的示意图;
图5为根据本发明实施例提供的实现查询数据输出方法的计算机可读存储介质的示意图;
图6为根据本发明实施例提供的执行查询数据输出方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的,本发明实施例的第一个方面,提出了一种查询数据输出方法的实施例。图1示出的是本发明提供的查询数据输出方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:
步骤S10、设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽;
步骤S20、通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;
步骤S30、按照各先进先出队列的顺序依次将其中的命中数据输出。
本发明实施例的查询数据输出方法,通过设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽,再通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列,按照各先进先出队列的顺序依次将其中的命中数据输出,从而能够使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出,进而能够使同一物理页、相邻物理页的命中数据在输出时保持连续,不会出现不同物理页的命中数据交叉输出的情况,保证了命中结果高效输出,方式简易,并且相对于现有技术中需要消耗硬件资源对命中数据重新排序的方式而言节省了硬件资源。
在一些实施例中,设置加速器件包含的加速引擎数的步骤包括:分析每个加速引擎解析和过滤物理页所用加速器件资源量,并基于加速器件资源量和加速器件资源总量确定加速引擎数。
本实施例中,假设每个加速引擎进行解析和过滤物理页所用的资源量为加速器件资源总量的10%,则可以确定加速引擎数N为10。所以,加速器件资源总量除以每个加速器件资源量即可得到加速引擎数。该加速引擎数的多个加速引擎并行进行工作。
在一些实施例中,加速器件中的资源至少包括寄存器资源和RAM资源。
本实施例中,每个加速引擎都需要对物理页进行解析和过滤,解析和过滤均会消耗加速器件的资源,例如寄存器资源、RAM(Random Access Memory,随机存取存储器缩写)资源等。通过分析解析和过滤所用的资源量,能够根据加速器件的资源总量确定加速器件中能容纳的并行工作的加速引擎的数量。
在一些实施例中,基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽的步骤包括:通过功能仿真确定每个加速引擎对物理页进行解析所用的第一时长;基于加速引擎数以及第一时长确定先进先出队列的位宽,以使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出。
本实施例中,每个加速引擎的解析能力包括其对单个物理页进行解析所用的第一时长。
为了使命中数据能够有序输出,本实施例需要在下一物理页组完成解析时,当前物理页组中的命中数据已经从对应的先进先出队列输出。下一物理页组得到了解析结果,经过过滤即从解析结果中找到了命中数据,然后便可输入到已经为空的对应的先进先出队列了。如此即可保持所有物理页的命中数据有序输出。
在一些实施例中,基于加速引擎数以及第一时长确定先进先出队列的位宽的步骤包括:基于先进先出队列将当前物理页组的全部命中数据输出所用的时间计算第二时长;通过使加速引擎数与第二时长的乘积小于第一时长以确定先进先出队列的位宽。
图2示出了根据本发明实施例提供的实现查询数据输出方法的结构示意图。如图2所示,在对加速器件进行配置之前,需要分析在该加速器件中用加速引擎解析物理页所需的时长,假设为T1;假设加速引擎数为N;假设一个先进先出队列(FIFO,first input firstoutput)将对应物理页的命中数据输出所用的时长为T2,则所有先进先出队列将当前物理页组的全部命中数据输出所用的时长为N*T2;为了保证加速器件中所有加速引擎的命中数据不会乱序输出,需要使N*T2<T1。
为了满足N*T2<T1,可以通过调整FIFO的位宽来减少T2。在固定的时钟周期下,FIFO的位宽越宽,每次输出的命中数据越多,总输出时长也就越小。所以,通过增加FIFO的数据宽度可以减少T2时间。
在一些实施例中,方法还包括:基于加速引擎数以及先进先出队列的位宽设置比特流文件,并利用比特流文件对加速器件进行配置。
本实施例中,比特流文件是实现了所有的代码设计并且仿真确定功能是正确的,对整个设计进行编译后产生的文件,该比特流文件配置给加速器件后,加速器件就可以实现需要的功能了。
在一些实施例中,物理页中的数据为数据库的原始数据。
本实施例中,数据库中的原始数据以物理页(page)结构的形式存在,每个page的大小为4K或8K等。
本实施例中的数据库可以是PostgreSQL(一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统)。加速引擎接收基于物理页结构的原始数据,对这些数据进行解析和过滤,以查找到命中数据。
在一些实施例中,进行解析的步骤包括:通过每个加速引擎对对应物理页依次进行帧结构解析以及行结构解析。在一些实施例中,对对应物理页进行帧结构解析的步骤包括:对对应物理页进行帧结构解析,得到若干行数据。在一些实施例中,对对应物理页进行行结构解析的步骤包括:对行数据进行行结构解析,得到行数据中的每个列数据。
本实施例中,物理页的结构是多行多列的形式,需要解析后才能查找命中数据。
如图2所示, page帧结构解析是把page结构的数据解析出行数据结构(tuple),一个page可能包含不定数量的tuple结构数据(一行数据封装在一个tuple结构中);行结构解析模块是把每一行的数据再解析出这一行中每一列的数据。解析出每一行每一列的数据后,再根据查询条件进行过滤,找到命中数据。
在一些实施例中,按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:将各先进先出队列中输出的命中数据顺序存放至总先进先出队列。
如图2所示,将各FIFO中输出的命中数据顺序存放到了总FIFO(总先进先出队列)中。
图3示出了根据现有技术提供的命中结果存放的示意图。如图3所示,命中结果利用RAM存放,并采用乒乓的方式,一个RAM-A存命中结果,存满后命中结果存入RAM-B中,同时输出RAM-A的数据到DDR(Double Data Rate SDRAM,双倍速率同步动态随机存储器)中;RAM-B存满后再把命中数据往RAM-A中存,同时读RAM-B中的数据到DDR4中。采用该方式,需要关注RAM的存储状态并切换读写路径,操作复杂,需要较多的FPGA布线资源。
本实施例中,通过为每个加速引擎设置对应的FIFO,并依次将命中结果输出到FIFO中,再从FIFO中按序存放到总FIFO,能够简易地使相同或相邻物理页的命中结果有序排列,避免了利用RAM的乒乓方式需要不停的切换读写源头导致设计复杂,并且排列无序的情况。
在一些实施例中,按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:判断总先进先出队列中存放的命中数据所占容量是否达到输出界限容量;响应于达到输出界限容量,将存放的命中数据输出。
本实施例中,为了在命中数据量不确定的情况下还能高效地输出命中数据,为总先进先出队列设置了输出界限容量,以使其中的命中数据量只要达到该输出界限容量,便输出。
在一些实施例中,响应于达到输出界限容量,将存放的命中数据输出的步骤包括:响应于达到输出界限容量,激活总线传输模块,并通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据输出。
本实施例中,通过设置总线传输模块,能够监测总先进先出队列中的命中数据量是否达到输出界限容量,只要监测到达到输出界限容量,即会驱动总先进先出队列通过总线将存放的命中数据输出。
在一些实施例中,方法还包括:响应于所有物理页组的命中数据已通过所有先进先出队列输出并且总先进先出队列中存放的剩余命中数据所占容量未达到输出界限容量,直接将剩余命中数据输出。
本实施例中,若最后剩余的命中数据量没有达到输出界限容量,则直接输出了。
在一些实施例中,通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据输出的步骤包括:通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据传输至加速器件片外的DDR中。
上述实施例中,采用可计数FIFO的方法,灵活高效地输出命中数据到FPGA片外的DDR(Double Data Rate SDRAM,双倍速率同步动态随机存储器)中。由于AXI-4总线采用burst(突发传输)方法可以提高传输效率,且AXI-4有4K(输出界限容量)边界的限制,我们就把FIFO的计数定位4K,只要FIFO里的数据达到4K,就自动激活一次4K-AXI传输模块(总线传输模块),自动高效的把数据输出到DDR4中;当数据块处理结束的指示到达,如果FIFO里正好4K,那么激活一次4k-AXI传输模块;如果不满4K,激活一次Nbyte-AXI输出模块。Nbyte-AXI输出模块就是把当前数量的剩余命中数据通过AXI输出到DDR的输出模块。Nbyte-AXI的传输效率要低于4k-AXI模块,但是在整个数据块操作中,只有一个Nbyte-AXI输出模块,大大提高了整体的输出效率。
在一些实施例中,加速器件为FPGA或GPU。
本实施例中,加速器件可以是FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)或者GPU(graphics processing unit,图形处理器)。
本发明实施例的第二个方面,还提供了一种加速器件。加速器件包括:
多个加速引擎,配置用于分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据;以及
多个先进先出队列,配置用于分别接收对应的加速引擎输出的查询到的命中数据,并按照各先进先出队列的顺序依次将其中的命中数据输出,
其中,先进先出队列具有基于加速引擎的解析能力和加速引擎数量配置的位宽。在一些实施例中,该加速器件为FPGA或GPU。
本发明实施例的第三个方面,还提供了一种查询数据输出系统。图4示出的是本发明提供的查询数据输出系统的实施例的示意图。如图4所示,一种查询数据输出系统包括:设置模块10,配置用于设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和加速引擎数配置先进先出队列的位宽;查询模块20,配置用于通过多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;以及输出模块30,配置用于按照各先进先出队列的顺序依次将其中的命中数据输出。
在一些实施例中,设置模块10包括加速引擎数设置模块,配置用于分析每个加速引擎解析和过滤物理页所用加速器件资源量,并基于加速器件资源量和加速器件资源总量确定加速引擎数。
在一些实施例中,设置模块10还包括位宽设置模块,配置用于通过功能仿真确定每个加速引擎对物理页进行解析所用的第一时长;基于加速引擎数以及第一时长确定先进先出队列的位宽,以使多个加速引擎接收到下一物理页组并相应完成解析时,当前物理页组中的命中数据已从对应的先进先出队列输出。
在一些实施例中,系统还包括加速器件配置模块,配置用于基于加速引擎数、以及先进先出队列的位宽设置比特流文件,并利用比特流文件对加速器件进行配置。
在一些实施例中,位宽设置模块进一步配置用于基于先进先出队列将当前物理页组的全部命中数据输出所用的时间计算第二时长;通过使加速引擎数与第二时长的乘积小于第一时长以确定先进先出队列的位宽。
在一些实施例中,查询模块20包括解析模块,配置用于通过每个加速引擎对对应物理页依次进行帧结构解析以及行结构解析。
在一些实施例中,解析模块包括帧结构解析模块,配置用于对对应物理页进行帧结构解析,得到若干行数据。
在一些实施例中,解析模块还包括行结构解析模块,配置用于对行数据进行行结构解析,得到行数据中的每个列数据。
在一些实施例中,输出模块30进一步配置用于将各先进先出队列中输出的命中数据顺序存放至总先进先出队列。
在一些实施例中,输出模块30进一步还配置用于判断总先进先出队列中存放的命中数据所占容量是否达到输出界限容量;响应于达到输出界限容量,将存放的命中数据输出。
在一些实施例中,输出模块30更进一步配置用于响应于达到输出界限容量,激活总线传输模块,并通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据输出。
在一些实施例中,系统还包括直接输出模块,配置用于响应于所有物理页组的命中数据已通过所有先进先出队列输出并且总先进先出队列中存放的剩余命中数据所占容量未达到输出界限容量,直接将剩余命中数据输出。
在一些实施例中,输出模块30再进一步配置用于通过总线传输模块驱动总先进先出队列利用总线将存放的命中数据传输至加速器件片外的DDR中。
在一些实施例中,总线为AXI总线。
在一些实施例中,物理页中的数据为数据库的原始数据。
在一些实施例中,加速器件中的资源至少包括寄存器资源和RAM资源。
在一些实施例中,加速器件为FPGA或GPU。
本发明实施例的第四个方面,还提供了一种计算机可读存储介质,图5示出了根据本发明实施例提供的实现查询数据输出方法的计算机可读存储介质的示意图。如图5所示,计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解,在相互不冲突的情况下,以上针对根据本发明的查询数据输出方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的加速器件、查询数据输出系统和存储介质。
本发明实施例的第五个方面,还提供了一种计算机设备,包括如图6所示的存储器402和处理器401,该存储器402中存储有计算机程序,该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图6所示,为本发明提供的执行查询数据输出方法的计算机设备的一个实施例的硬件结构示意图。以如图6所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图6中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与查询数据输出系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的查询数据输出方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储查询数据输出方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的查询数据输出方法。
最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM 可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (20)
1.一种查询数据输出方法,其特征在于,包括以下步骤:
设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和所述加速引擎数配置所述先进先出队列的位宽;
通过所述多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询所述对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;
按照各先进先出队列的顺序依次将其中的命中数据输出。
2.根据权利要求1所述的方法,其特征在于,所述设置加速器件包含的加速引擎数的步骤包括:
分析每个加速引擎解析和过滤所述物理页所用加速器件资源量,并基于所述加速器件资源量和加速器件资源总量确定所述加速引擎数。
3.根据权利要求1所述的方法,其特征在于,所述基于每个加速引擎的解析能力和所述加速引擎数配置所述先进先出队列的位宽的步骤包括:
通过功能仿真确定每个加速引擎对所述物理页进行解析所用的第一时长;
基于所述加速引擎数以及所述第一时长确定所述先进先出队列的位宽,以使所述多个加速引擎接收到下一物理页组并相应完成解析时,所述当前物理页组中的命中数据已从对应的先进先出队列输出。
4.根据权利要求3所述的方法,其特征在于,还包括:
基于所述加速引擎数以及所述先进先出队列的位宽设置比特流文件,并利用所述比特流文件对所述加速器件进行配置。
5.根据权利要求3所述的方法,其特征在于,所述基于所述加速引擎数以及所述第一时长确定所述先进先出队列的位宽的步骤包括:
基于所述先进先出队列将当前物理页组的全部命中数据输出所用的时间计算第二时长;
通过使所述加速引擎数与所述第二时长的乘积小于所述第一时长以确定所述先进先出队列的位宽。
6.根据权利要求1所述的方法,其特征在于,所述进行解析的步骤包括:
通过每个加速引擎对所述对应物理页依次进行帧结构解析以及行结构解析。
7.根据权利要求6所述的方法,其特征在于,所述对所述对应物理页进行帧结构解析的步骤包括:
对所述对应物理页进行帧结构解析,得到若干行数据。
8.根据权利要求7所述的方法,其特征在于,所述对所述对应物理页进行行结构解析的步骤包括:
对所述行数据进行行结构解析,得到所述行数据中的每个列数据。
9.根据权利要求1所述的方法,其特征在于,所述按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:
将各先进先出队列中输出的命中数据顺序存放至总先进先出队列。
10.根据权利要求9所述的方法,其特征在于,所述按照各先进先出队列的顺序依次将其中的命中数据输出的步骤包括:
判断所述总先进先出队列中存放的命中数据所占容量是否达到输出界限容量;
响应于达到所述输出界限容量,将所述存放的命中数据输出。
11.根据权利要求10所述的方法,其特征在于,所述响应于达到所述输出界限容量,将所述存放的命中数据输出的步骤包括:
响应于达到所述输出界限容量,激活总线传输模块,并通过所述总线传输模块驱动所述总先进先出队列利用总线将所述存放的命中数据输出。
12.根据权利要求10所述的方法,其特征在于,还包括:
响应于所有物理页组的命中数据已通过所有先进先出队列输出并且所述总先进先出队列中存放的剩余命中数据所占容量未达到所述输出界限容量,直接将所述剩余命中数据输出。
13.根据权利要求11所述的方法,其特征在于,所述通过所述总线传输模块驱动所述总先进先出队列利用总线将所述存放的命中数据输出的步骤包括:
通过所述总线传输模块驱动所述总先进先出队列利用总线将所述存放的命中数据传输至所述加速器件片外的DDR中。
14.根据权利要求1所述的方法,其特征在于,所述物理页中的数据为数据库的原始数据。
15.根据权利要求2所述的方法,其特征在于,所述加速器件中的资源至少包括寄存器资源和RAM资源。
16.根据权利要求1所述的方法,其特征在于,所述加速器件为FPGA或GPU。
17. 一种加速器件,其特征在于,包括:
多个加速引擎,配置用于分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询所述对应物理页中的命中数据;以及
多个先进先出队列,配置用于分别接收对应的加速引擎输出的查询到的命中数据,并按照各先进先出队列的顺序依次将其中的命中数据输出,
其中,所述先进先出队列具有基于所述加速引擎的解析能力和加速引擎数量配置的位宽。
18.一种查询数据输出系统,其特征在于,包括:
设置模块,配置用于设置加速器件包含的加速引擎数和对应数量的先进先出队列,并基于每个加速引擎的解析能力和所述加速引擎数配置所述先进先出队列的位宽;
查询模块,配置用于通过所述多个加速引擎分别接收当前物理页组中的对应物理页,并依次进行解析和过滤,以查询所述对应物理页中的命中数据,并将查询到的命中数据传输至对应的先进先出队列;以及
输出模块,配置用于按照各先进先出队列的顺序依次将其中的命中数据输出。
19.一种计算机可读存储介质,其特征在于,存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-16任意一项所述的方法。
20.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-16任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311025405.6A CN116756059B (zh) | 2023-08-15 | 2023-08-15 | 查询数据输出方法、加速器件、系统、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311025405.6A CN116756059B (zh) | 2023-08-15 | 2023-08-15 | 查询数据输出方法、加速器件、系统、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116756059A true CN116756059A (zh) | 2023-09-15 |
CN116756059B CN116756059B (zh) | 2023-11-10 |
Family
ID=87961184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311025405.6A Active CN116756059B (zh) | 2023-08-15 | 2023-08-15 | 查询数据输出方法、加速器件、系统、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116756059B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106502935A (zh) * | 2016-11-04 | 2017-03-15 | 郑州云海信息技术有限公司 | Fpga异构加速系统、数据传输方法及fpga |
CN113918101A (zh) * | 2021-12-09 | 2022-01-11 | 苏州浪潮智能科技有限公司 | 一种写数据高速缓存的方法、系统、设备和存储介质 |
CN114020655A (zh) * | 2022-01-05 | 2022-02-08 | 苏州浪潮智能科技有限公司 | 一种内存扩展方法、装置、设备及存储介质 |
CN116383240A (zh) * | 2023-02-21 | 2023-07-04 | 山东浪潮科学研究院有限公司 | 基于fpga多数据库加速查询方法、装置、设备及介质 |
-
2023
- 2023-08-15 CN CN202311025405.6A patent/CN116756059B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106502935A (zh) * | 2016-11-04 | 2017-03-15 | 郑州云海信息技术有限公司 | Fpga异构加速系统、数据传输方法及fpga |
CN113918101A (zh) * | 2021-12-09 | 2022-01-11 | 苏州浪潮智能科技有限公司 | 一种写数据高速缓存的方法、系统、设备和存储介质 |
CN114020655A (zh) * | 2022-01-05 | 2022-02-08 | 苏州浪潮智能科技有限公司 | 一种内存扩展方法、装置、设备及存储介质 |
CN116383240A (zh) * | 2023-02-21 | 2023-07-04 | 山东浪潮科学研究院有限公司 | 基于fpga多数据库加速查询方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116756059B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9747242B2 (en) | Methods and apparatuses for providing data received by a plurality of state machine engines | |
US6513077B2 (en) | I/O and memory bus system for DFPs and units with two- or multi-dimensional programmable cell architectures | |
CN1103951C (zh) | 用于自定时算法执行的装置和方法 | |
US7962664B2 (en) | Techniques for generating a trace stream for a data processing apparatus | |
US8750294B2 (en) | Circuit arrangement for signal pick-up and signal generation and method for operating this circuit arrangement | |
US20050039185A1 (en) | Data flow control for adaptive integrated circuitry | |
CN101194245A (zh) | 具有宽寄存器组体系结构的分组处理器 | |
WO2011156644A2 (en) | Programmable device, heirarchical parallel machines, methods for providing state information | |
CN106503008B (zh) | 文件存储方法和装置及文件查询方法和装置 | |
US7352205B2 (en) | Reconfigurable switching device parallel calculation of any particular algorithms | |
US8780914B2 (en) | Parallel processing of network packets | |
CN111338787A (zh) | 一种数据处理方法及装置、存储介质、电子装置 | |
DE102017200456A1 (de) | Recheneinheit und Betriebsverfahren hierfür | |
CN116756059B (zh) | 查询数据输出方法、加速器件、系统、存储介质及设备 | |
CN110324204A (zh) | 一种在fpga中实现的高速正则表达式匹配引擎及方法 | |
CN112149047A (zh) | 数据的处理方法及装置、存储介质和电子装置 | |
CN109800074A (zh) | 任务数据并发执行方法、装置以及电子设备 | |
CN203617974U (zh) | 一种基于fpga的可配置系数的滤波器及电子设备 | |
CN102411555A (zh) | 一种可伸缩式动态可重构阵列配置信息方法 | |
CN115525582A (zh) | 基于页的内联计算引擎的任务管理和数据调度方法及系统 | |
CN104678815A (zh) | Fpga芯片的接口结构及配置方法 | |
CN115378873A (zh) | 一种提高以太网数据传输效率的流量控制方法和系统 | |
Benacer et al. | HPQ: A high capacity hybrid priority queue architecture for high-speed network switches | |
CN108628884A (zh) | 一种复杂事件处理方法、系统及其装置 | |
Zeng | FPGA-based high throughput merge sorter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |