CN105589938A - 基于fpga的图像检索系统及检索方法 - Google Patents

基于fpga的图像检索系统及检索方法 Download PDF

Info

Publication number
CN105589938A
CN105589938A CN201510925144.2A CN201510925144A CN105589938A CN 105589938 A CN105589938 A CN 105589938A CN 201510925144 A CN201510925144 A CN 201510925144A CN 105589938 A CN105589938 A CN 105589938A
Authority
CN
China
Prior art keywords
picture
image
fpga
feature
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510925144.2A
Other languages
English (en)
Inventor
梅林�
梁辰
宋石阳
黄海浪
吴轶轩
汤志伟
陈龙虎
李火生
赵博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Third Research Institute of the Ministry of Public Security
Original Assignee
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Research Institute of the Ministry of Public Security filed Critical Third Research Institute of the Ministry of Public Security
Priority to CN201510925144.2A priority Critical patent/CN105589938A/zh
Publication of CN105589938A publication Critical patent/CN105589938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于FPGA的图像检索系统及检索方法，该方案利用固态硬盘作为图片数据库，在其主控FPGA芯片中实现了图片库生成模块和图片查询模块。用户输入要查询的图片，在提取图片特征信息后；通过与图片数据库中的预分类特征进行相似度比对，排序图片的匹配度高低。本方案的创新在于：采用固态硬盘主控芯片实现图片库的构建和图片的相似性度量，减轻了CPU的计算负担，加速检索过程，提高了在海量图片数据中检索的时效性。

Description

基于FPGA的图像检索系统及检索方法
技术领域
本发明涉及图像检索技术领域，具体涉及到到FPGA图像检索技术。
背景技术
基于内容的图像检索是根据图像的可视化特征展开的，其主要思想是根据图像所包含的颜色、纹理、形状以及对象的空间关系等信息，建立图像的特征矢量，检索方法主要是针对图像的多维度的特征进行相似性计算并按检索结果排序输出。通过分析图像的内容，如图像的颜色、纹理、形状等，建立特征索引，存储在图像特征库中。
这样用户在检索查询时，只需提供待查询图像，系统首先提取图像的特征矢量，再与图像库中的图像的特征矢量进行比较来寻找相似的图像，这样就可以在大量的图像数据库中找到所需的图像。
这种图像检索方法在传统上把所有步骤都放在PC端进行，由于算法中图像特征描述、提取及相似度量计算等需要耗费较长时间，那么在处理海量图像数据(如交通卡口图像)时系统在时效性上就无法满足用户需求。
发明内容
针对现有图像检索方法效率低以及可靠性差等问题，本发明的主要目的在于提供一种基于FPGA的图像检索系统，用于对海量图像数据的特征相似度高效、高可靠性的检索。
在此基础上，本发明还提供一种基于FPGA的图像检索方法，以提供给用户的高效性和可靠性的图像搜索服务。
为了达到上述目的，本发明采用的技术方案如下：
方案1：基于FPGA的图像检索系统，所述图像检索系统采用硬盘主控FPGA芯片进行图片库的构建和图片的相似性度量。
优选的，所述图像检索加速系统包括图片库生成模块、图片数据库和图片库查询模块，所述图片库生成模块用于对图片进行处理，所述图片数据库用于存储图片库生成模块的处理结果，所述图片库查询模块用于对图片数据库进行图片查询；其中，图片数据库位于固态硬盘的存储介质中，图片库生成模块和图片库查询模块在一组硬盘主控FPGA芯片上实现，且该FPGA芯片同时作为硬盘主控芯片来驱动其读写数据。
优选的，所述图片库生成模块通过网络读入图片数据流，利用卷积神经网络模型，将图片的特征提取出来，同时对存储的图片按照预定的特征先进行粗略的预分类，构建图片索引，然后将图片特征和相关索引信息存到图片数据库中。
优选的，所述图片数据库中存储图片的特征和图片的索引信息，图片的特征信息由卷积神经网络模型自动处理图片得到的特征输出；图片的索引信息用来存储已被处理图片的存放位置。
优选的，所述图片库查询模块包括：查询图片信息存储单元，图片相似度计算单元，图片相似度排序单元以及目标图片输出单元；
所述图片库查询模块通过卷积神经网络模型对待查询图片进行处理，得到对应的图片特征，并将得到的特征传递给查询图片信息存储单元进行存储；
所述图片相似度计算单元接收查询图片信息存储单元中存储的图片特征，计算该图片特征与存储的图片特征之间的距离，从而得出相似度；
所述图片相似度排序单元按照图片的匹配度高低对图片的索引信息进行排序；
所述目标图片输出单元根据图片索引匹配存储的索引信息输出匹配度高的目标图片。
优选的，所述图片库查询模块中采用加权求和的方法进行图片相似度计算。
优选的，所述图片库查询模块在进行图片相似度计算时，FPGA在收到检索命令后，识别出被查询图片的特征信息，从硬盘中的图片数据库中读取相应分类的特征文件；
在FPGA中并行地将多种特征同时进行相似性度量，并以所有视觉特征距离的加权和确定被查询图片的特征与存储的图片特征之间的距离。
优选的，所述图片库查询模块中采用堆排序的方法对相似性度量值的排序。
优选的，所述图片相似度排序单元主要包括
数据输入子模块，根据输入使能信号将顺序进入的欧氏距离值依次缓存存入RAM
建堆子模块，将缓存在RAM中的欧氏距离值建成为一个大根堆；
堆排序子模块，对建好的大根堆排序；
数据输出子模块，将完成排序的欧氏距离值依次读出。
方案2：一种基于FPGA的图像检索方法，该图像检索方法利用固态硬盘作为图片数据库，并采用硬盘主控FPGA芯片进行图片库的构建和图片的相似性度量。
优选的，所述图像检索方法包括如下步骤：
(1)建立图片数据库；
(2)在图片库的基础上进行检索；
(3)在硬盘主控FPGA芯片中进行相似度计算；
(4)在硬盘主控FPGA芯片中对距离函数值进行排序；
(5)根据排序的结果，由硬盘主控FPGA芯片访问固态硬盘的图片数据库，输出相似度匹配度较高的目标图片。
优选的，所述步骤(1)中由硬盘主控FPGA芯片基于深度学习中的卷积神经网络方法，对从网络中导入的待存储图片进行特征提取和预分类，将图片按照某些特定的特征先进行粗略的归类；最后将图片及其提取的特征按照预分类存入固态硬盘，构成图片数据库。
优选的，所述步骤(2)中在进行图片检索时，由硬盘主控FPGA芯片利用卷积神经网络提取被检索图像的特征，把提取的图像特征作为查询的条件，通过比较其特征与图片数据库中的特征来决定其和图片数据库中图像的相似度。
优选的，所述步骤(3)采用欧氏距离计算图片的相似度，首先由硬盘主控FPGA芯片对被检索图像的多个特征向量进行内部、外部归一化处理；再并行地将多个特征同时进行相似性度量，并以所有视觉特征距离的加权和确定被查询图片的特征与存储的图片特征之间的距离。
优选的，所述步骤(4)中对距离值进行排序时，采用堆排序的方法，首先要对数据进行缓存；其次FPGA从RAM中读出数据进行建堆处理后，再重新存入RAM中；然后对建好的大根堆排序；最后将完成排序的欧氏距离值依次读出。
本发明提供的方案硬盘主控FPGA芯片进行图片库的构建和图片的相似性度量，减轻了CPU的计算负担，加速检索过程，提高了在海量图片数据中检索的时效性，从而有效解决现有技术所存在问题。
再者，本发明方案与现有技术相比，其优点在于：
(1)FPGA作为固态硬盘的主控芯片，负责硬盘读写驱动，完成图片数据库的构建，同时采用卷积神经网络实现图片的特征提取，在硬盘的主控芯片中处理数据，减轻了服务器CPU的计算负担，加快了检索过程，体现了“就近计算”的优势。
(2)本发明利用FPGA的并行计算特点，完成图片特征相似度计算与距离函数值排序，加快检索速度。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1所示为在固态硬盘基础上实现的FPGA图像检索系统模块框图；
图2所示为图1中FPGA图像检索系统图片库查询模块图像特征相似度并行加权计算的流程图示例；
图3所示为图1中FPGA图像检索系统图片库查询模块距离函数值进行堆排序的示例。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本方案利用固态硬盘作为图片数据库，在其主控FPGA芯片中实现了图片库生成和图片查询功能，即在固态硬盘主控FPGA芯片中实现图片库的构建和图片的相似性度量。这样在查询的图片时，由固态硬盘主控FPGA芯片提取图片特征信息后，通过与图片数据库中的预分类特征进行相似度比对，排序图片的匹配度高低，实现高效、高可靠性的以图搜图的功能。
参见图1，其所示为基于上述原理，在固态硬盘基础上实现的一种FPGA图像检索系统的模块框图。
由图可知，整个FPGA图像检索系统主要包括基于卷积神经网络(CNN)的图片库生成模块100、图片数据库200和图片库查询模块300。
其中，图片数据库200位于固态硬盘500的存储介质中，而图片库生成模块100和图片库查询模块300在固态硬盘500的一组主控FPGA芯片400上实现，同时该FPGA芯片400作为主控芯片来驱动固态硬盘500读写数据。
具体的，图片库生成模块100通过网络读入图片数据流，利用卷积神经网络模型600，把图片的特征提取出来，同时对存储的图片按照预定的特定的特征先进行粗略的预分类，构建图片索引，检索时只需将具有相同特征的图片一齐读入，缩小检索范围，提高检索效率；然后将图片特征和相关索引信息存到位于固态硬盘的图片数据库200。
图片数据库200中包括了图片的特征和图片的索引信息，图片的特征信息是从卷积神经网络模型600自动处理图片得到的特征输出；图片的索引信息用来存储已被处理图片的存放位置。
图片库查询模块300用于根据用户输入的待查询图片对图片数据库200进行图片查询。该图片库查询模块300包括以下几个功能单元：
查询图片信息存储单元301、图片相似度计算单元302、图片相似度排序单元303和目标图片输出单元(图中未示出)。
由此构成的图片库查询模块300在进行图片查询时，针对用户输入要查询的图片，通过卷积神经网络训练好的模型600自动处理输入的图片，把得到的特征传递给查询图片信息存储单元301；
图片相似度计算单元302接收查询图片信息存储单元301中存储的图片特征，计算该图片特征与存储的图片特征之间的距离，从而得出相似度；
图片相似度排序单元303按照图片的匹配度高低对图片的索引信息进行排序；
目标图片输出单元(图中未示出)按照排序，输出匹配度高的目标图片，即输出图片索引匹配存储的索引信息对应的图片。
在具体实现时，本图片库查询模块300中的图片相似度计算采用加权求和的方法：
当FPGA在收到检索命令后，首先调用卷积神经网络模型600识别出被查询图片的特征信息，并从固态硬盘读取相应分类的特征文件。
由于颜色、形状和纹理特征物理意义不同，不具有直接可比性，故进行综合特征相似性度量时，本方案对这些特征向量进行内部、外部归一化处理，保证不同特征向量在进行检索时具有相同的效果，再对颜色、纹理和形状特征进行检索；且本方案在FPGA中并行地将三个特征同时进行相似性度量；在一次检索中通过对图像的多种特征进行相似性度量，由所有视觉特征距离的加权和确定最终的待查询图片特征与存储的图片特征之间的距离值；在实际的应用中，对不同类型的图像，常需要对颜色、纹理特征分配不同的权重，以使检索效果更好；
最后按照距离的大小进行排序。
对于本图片库查询模块300中的图片相似度排序单元303，其设置在图片相似度计算单元302后，对相似性度量值的排序采用堆排序的方法。
参见图3，该图片相似度排序单元303总体结构包含了数据输入子模块303a(将顺序进入的欧氏距离值依次存入RAM，统计数据个数N)、建堆子模块303b(将缓存在RAM中的N个欧氏距离值建成为一个大根堆)、堆排序子模块303c、数据输出子模块303d，以及一个RAM使用权控制子模块303e。
数据输入子模块303a：根据输入使能信号将顺序进入的欧氏距离值依次缓存存入RAM，同时统计数据个数N。
建堆子模块303b：将缓存在RAM中的N个欧氏距离值建立为一个大根堆。设根节点编号为0，依次读出数据(编号k＝1,2,3,…N)及其父根(k-1)>>2，比较该数与父根的大小关系，直到找到比该数大的父根或读取到最顶层父根。该过程相当于在一个有序堆[0:k-1]的后面插入一个元素(编号k)，并进行排序。
堆排序子模块303c：先将堆尾数据N-1从堆中断开，将堆顶0与该数据交换，这样一来，前N-1个数据就乱序了，需要重新建堆；将该数两子节点取较大的数与该数比较，如果大于子节点中较大的数则表示重新建堆完成，否则继续向下查找直至大于其子节点或没有子节点为止。
RAM使用权控制子模块303e，该模块可以作为顶层，负责各子模块对RAM读写操作的仲裁。
由此构成的图片相似度排序单元303，在进行排序时，首先要对从图片相似度计算单元302传输来的数据进行缓存；其次从RAM中读出数据进行建堆处理后，重新存入缓存RAM中；再对建好的大根堆排序；最后将排序的距离函数值依次读出。
由此构成的FPGA图像检索系统，其以FPGA作为固态硬盘的主控芯片，负责硬盘读写驱动，以及完成图片数据库的构建，同时采用卷积神经网络实现图片的特征提取，在硬盘的主控芯片中处理数据，减轻了服务器CPU的计算负担，加快了检索过程。
基于上述的FPGA图像检索系统，其进行以图搜图的图像检索过程如下：
第一步是建立图片数据库，以实现图搜图的功能。
图片知识库的建立，由固态硬盘的主控FPGA芯片基于深度学习中的卷积神经网络方法，对从网络中导入的待存储图片进行特征提取和预分类，将图片按照某些特定的特征先进行粗略的归类，形成列表的形式；最后将图片及其提取的特征按照预分类存入固态硬盘，构成图片数据库，由于固态硬盘具有快速读写能力，且FPGA是固态硬盘的主控芯片，因而具有就近计算的便捷性，可以加速图片处理过程。
第二步是在图片库的基础上进行检索。
检索查询条件来自于被检索图像，仍由固态硬盘的主控FPGA芯片利用卷积神经网络提取被检索图像的特征，把提取的图像特征作为查询的条件，通过比较其特征与图像库中的特征来决定其和图像库中图像的相似度。如果图像数据库十分庞大，那么检索的时效性变得尤为突出，这也是评价一个检索系统好坏的标准。在基于图像内容的检索系统中，通常用颜色、纹理、轮廓等底层特征来描述一幅图像的基本特征，而检索的结果是以上基本特征与图像库中预分类图片的特征对比计算得来的，可利用FPGA的并行计算特点加快图片检索速度。
第三步是在FPGA中进行相似度计算。
在本方案中，采用欧氏距离计算图片的相似度；欧氏距离L2可以表示为，其中ai,bi是图像特征的第i维分量；由于颜色、形状和纹理特征物理意义不同，不直接具有可比性。在采用欧氏距离进行综合特征相似性度量时，先对这些特征向量进行内部、外部归一化处理，再对颜色、纹理和形状特征结合起来进行检索。
多特征组合的相似性度量模型有如图2所示的模型，即在FPGA中并行地将三个特征同时进行相似性度量。在模型中这种相似性度量是在一次检索中通过对图像的多种特征进行相似性度量，最终的距离函数的值取决于特征距离的加权和。注意，模型中的特征1、2、3为颜色、纹理、形状的任意顺序表示，权值亦与其对应相同。
设p1为查询图像，p2为数据库中的图像，D1代表图像颜色特征的相似度，代表图像形状特征的相似度，D2代表图像纹理特征的相似度，D3代表图像纹理特征的相似度，则图像间的相似性(即加权欧氏距离)可计算如下：
D ( p 1 , p 2 ) = w 1 D 1 + w 2 D 2 + w 3 D 3 w 1 + w 2 + w 3 .
第四步是在FPGA中对距离函数值进行排序。
本方案中，采用堆排序的方法，简要叙述如下：
进入排序程序后，首先要对数据进行缓存；其次FPGA从RAM中读出数据进行建堆处理后，再重新存入RAM中；然后对建好的大根堆排序；最后将完成排序的欧氏距离值依次读出。
第五步是，根据排序的结果，FPGA访问固态硬盘的图片数据库，输出相似度匹配度较高的目标图片。
整个检索过程利用FPGA的并行计算特点，完成图片特征相似度计算与距离函数值排序，加快检索速度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (15)

1.基于FPGA的图像检索系统，其特征在于，所述图像检索系统采用硬盘主控FPGA芯片进行图片库的构建和图片的相似性度量。
2.根据权利要求1所述的基于FPGA的图像检索系统，其特征在于，所述图像检索加速系统包括图片库生成模块、图片数据库和图片库查询模块，所述图片库生成模块用于对图片进行处理，所述图片数据库用于存储图片库生成模块的处理结果，所述图片库查询模块用于对图片数据库进行图片查询；其中，图片数据库位于固态硬盘的存储介质中，图片库生成模块和图片库查询模块在一组硬盘主控FPGA芯片上实现，且该FPGA芯片同时作为硬盘主控芯片来驱动其读写数据。
3.根据权利要求2所述的基于FPGA的图像检索系统，其特征在于，所述图片库生成模块通过网络读入图片数据流，利用卷积神经网络模型，将图片的特征提取出来，同时对存储的图片按照预定的特征先进行粗略的预分类，构建图片索引，然后将图片特征和相关索引信息存到图片数据库中。
4.根据权利要求2所述的基于FPGA的图像检索系统，其特征在于，所述图片数据库中存储图片的特征和图片的索引信息，图片的特征信息由卷积神经网络模型自动处理图片得到的特征输出；图片的索引信息用来存储已被处理图片的存放位置。
5.根据权利要求2所述的基于FPGA的图像检索系统，其特征在于，所述图片库查询模块包括：查询图片信息存储单元，图片相似度计算单元，图片相似度排序单元以及目标图片输出单元；
所述图片库查询模块通过卷积神经网络模型对待查询图片进行处理，得到对应的图片特征，并将得到的特征传递给查询图片信息存储单元进行存储；
所述图片相似度计算单元接收查询图片信息存储单元中存储的图片特征，计算该图片特征与存储的图片特征之间的距离，从而得出相似度；
所述图片相似度排序单元按照图片的匹配度高低对图片的索引信息进行排序；
所述目标图片输出单元根据图片索引匹配存储的索引信息输出匹配度高的目标图片。
6.根据权利要求5所述的基于FPGA的图像检索系统，其特征在于，所述图片库查询模块中采用加权求和的方法进行图片相似度计算。
7.根据权利要求6所述的基于FPGA的图像检索系统，其特征在于，所述图片库查询模块在进行图片相似度计算时，FPGA在收到检索命令后，识别出被查询图片的特征信息，从硬盘中的图片数据库中读取相应分类的特征文件；
在FPGA中并行地将多种特征同时进行相似性度量，并以所有视觉特征距离的加权和确定被查询图片的特征与存储的图片特征之间的距离。
8.根据权利要求5所述的基于FPGA的图像检索系统，其特征在于，所述图片库查询模块中采用堆排序的方法对相似性度量值的排序。
9.根据权利要求8所述的基于FPGA的图像检索系统，其特征在于，所述图片相似度排序单元主要包括
数据输入子模块，根据输入使能信号将顺序进入的欧氏距离值依次缓存存入RAM
建堆子模块，将缓存在RAM中的欧氏距离值建成为一个大根堆；
堆排序子模块，对建好的大根堆排序；
数据输出子模块，将完成排序的欧氏距离值依次读出。
10.一种基于FPGA的图像检索方法，其特征在于，所述的图像检索方法利用固态硬盘作为图片数据库，并采用硬盘主控FPGA芯片进行图片库的构建和图片的相似性度量。
11.根据权利要求10所述的一种基于FPGA的图像检索方法，其特征在于，所述图像检索方法包括如下步骤：
(1)建立图片数据库；
(2)在图片库的基础上进行检索；
(3)在硬盘主控FPGA芯片中进行相似度计算；
(4)在硬盘主控FPGA芯片中对距离函数值进行排序；
(5)根据排序的结果，由硬盘主控FPGA芯片访问固态硬盘的图片数据库，输出相似度匹配度较高的目标图片。
12.根据权利要求11所述的一种基于FPGA的图像检索方法，其特征在于，所述步骤(1)中由硬盘主控FPGA芯片基于深度学习中的卷积神经网络方法，对从网络中导入的待存储图片进行特征提取和预分类，将图片按照某些特定的特征先进行粗略的归类；最后将图片及其提取的特征按照预分类存入固态硬盘，构成图片数据库。
13.根据权利要求11所述的一种基于FPGA的图像检索方法，其特征在于，所述步骤(2)中在进行图片检索时，由硬盘主控FPGA芯片利用卷积神经网络提取被检索图像的特征，把提取的图像特征作为查询的条件，通过比较其特征与图片数据库中的特征来决定其和图片数据库中图像的相似度。
14.根据权利要求11所述的一种基于FPGA的图像检索方法，其特征在于，所述步骤(3)采用欧氏距离计算图片的相似度，首先由硬盘主控FPGA芯片对被检索图像的多个特征向量进行内部、外部归一化处理；再并行地将多个特征同时进行相似性度量，并以所有视觉特征距离的加权和确定被查询图片的特征与存储的图片特征之间的距离。
15.根据权利要求11所述的一种基于FPGA的图像检索方法，其特征在于，所述步骤(4)中对距离值进行排序时，采用堆排序的方法，首先要对数据进行缓存；其次FPGA从RAM中读出数据进行建堆处理后，再重新存入RAM中；然后对建好的大根堆排序；最后将完成排序的欧氏距离值依次读出。
CN201510925144.2A 2015-12-13 2015-12-13 基于fpga的图像检索系统及检索方法 Pending CN105589938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510925144.2A CN105589938A (zh) 2015-12-13 2015-12-13 基于fpga的图像检索系统及检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510925144.2A CN105589938A (zh) 2015-12-13 2015-12-13 基于fpga的图像检索系统及检索方法

Publications (1)

Publication Number Publication Date
CN105589938A true CN105589938A (zh) 2016-05-18

Family

ID=55929517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510925144.2A Pending CN105589938A (zh) 2015-12-13 2015-12-13 基于fpga的图像检索系统及检索方法

Country Status (1)

Country Link
CN (1) CN105589938A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529517A (zh) * 2016-12-30 2017-03-22 北京旷视科技有限公司 图像处理方法和图像处理设备
CN107315837A (zh) * 2017-07-17 2017-11-03 梧州井儿铺贸易有限公司 一种检索准确的图像检索系统
CN107358211A (zh) * 2017-07-17 2017-11-17 深圳源广安智能科技有限公司 一种服务水平高的智能机器人
CN107908788A (zh) * 2017-12-12 2018-04-13 时代数媒科技股份有限公司 一种基于图片识别、分析的照片整理排序方法
CN108073983A (zh) * 2016-11-10 2018-05-25 谷歌有限责任公司 在硬件中执行核心跨越
CN108090496A (zh) * 2017-12-22 2018-05-29 银河水滴科技（北京）有限公司 基于卷积神经网络的图像处理的方法和装置
CN108228583A (zh) * 2016-12-10 2018-06-29 南京理工大学 基于fpga的图像纹理检索系统及检索方法
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法
CN108681704A (zh) * 2018-05-15 2018-10-19 北京理工大学 一种基于深度学习的人脸识别系统
CN108776833A (zh) * 2018-06-05 2018-11-09 郑州云海信息技术有限公司 一种数据处理方法、系统及计算机可读存储介质
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN109344109A (zh) * 2018-10-23 2019-02-15 江苏华存电子科技有限公司 基于固态硬盘的大数据中加速人工智能计算的系统及方法
CN109657084A (zh) * 2019-01-07 2019-04-19 哈尔滨理工大学 一种基于图像处理的图书检索方法
CN109697257A (zh) * 2018-12-18 2019-04-30 天罡网(北京)安全科技有限公司 一种基于预分类和特征学习抗噪的网络信息检索方法
CN110032450A (zh) * 2019-04-17 2019-07-19 中山大学 一种基于固态盘扩展内存的大规模深度学习方法及系统
CN110110121A (zh) * 2018-01-19 2019-08-09 北京盛世光明软件股份有限公司 一种便于实现图片浏览的系统和方法
CN110261484A (zh) * 2019-07-11 2019-09-20 武汉中科创新技术股份有限公司 一种超声相控阵复合材料检测中轮式探头界面波跟踪方法
CN110633226A (zh) * 2018-06-22 2019-12-31 武汉海康存储技术有限公司 融合存储器、存储系统及深度学习计算方法
WO2020044094A1 (zh) * 2018-08-27 2020-03-05 优视科技新加坡有限公司 资源推荐方法、装置、电子设备以及计算机可读介质
WO2020142971A1 (en) * 2019-01-10 2020-07-16 Alibaba Group Holding Limited Systems and methods for providing database acceleration using a programmable logic device (pld)
CN113568572A (zh) * 2021-07-09 2021-10-29 浙江工业大学 一种基于固态硬盘的数据库并行排序连接系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551823A (zh) * 2009-04-20 2009-10-07 浙江师范大学 一种综合多特征图像检索方法
CN101567159A (zh) * 2009-06-10 2009-10-28 北京豪仪测控工程有限公司 基于图像识别技术的导览方法及设备
CN202110565U (zh) * 2011-07-05 2012-01-11 湖南城市学院 基于fpga的高速图像识别系统
CN102622366A (zh) * 2011-01-28 2012-08-01 阿里巴巴集团控股有限公司 相似图像的识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551823A (zh) * 2009-04-20 2009-10-07 浙江师范大学 一种综合多特征图像检索方法
CN101567159A (zh) * 2009-06-10 2009-10-28 北京豪仪测控工程有限公司 基于图像识别技术的导览方法及设备
CN102622366A (zh) * 2011-01-28 2012-08-01 阿里巴巴集团控股有限公司 相似图像的识别方法和装置
CN202110565U (zh) * 2011-07-05 2012-01-11 湖南城市学院 基于fpga的高速图像识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李璟洁: "基于参数统计量的图片检索系统", 《中国优秀硕士学位论文全文数据库》 *
赵超: "基于FPGA的图像检索", 《中国优秀硕士学位论文全文数据库》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073983A (zh) * 2016-11-10 2018-05-25 谷歌有限责任公司 在硬件中执行核心跨越
US11816532B2 (en) 2016-11-10 2023-11-14 Google Llc Performing kernel striding in hardware
CN108073983B (zh) * 2016-11-10 2022-04-26 谷歌有限责任公司 在硬件中执行核心跨越
CN108228583A (zh) * 2016-12-10 2018-06-29 南京理工大学 基于fpga的图像纹理检索系统及检索方法
CN106529517B (zh) * 2016-12-30 2019-11-01 北京旷视科技有限公司 图像处理方法和图像处理设备
CN106529517A (zh) * 2016-12-30 2017-03-22 北京旷视科技有限公司 图像处理方法和图像处理设备
CN107315837A (zh) * 2017-07-17 2017-11-03 梧州井儿铺贸易有限公司 一种检索准确的图像检索系统
CN107358211A (zh) * 2017-07-17 2017-11-17 深圳源广安智能科技有限公司 一种服务水平高的智能机器人
CN107358211B (zh) * 2017-07-17 2018-09-04 上海诚唐展览展示有限公司 一种智能机器人
CN107908788A (zh) * 2017-12-12 2018-04-13 时代数媒科技股份有限公司 一种基于图片识别、分析的照片整理排序方法
CN108090496A (zh) * 2017-12-22 2018-05-29 银河水滴科技（北京）有限公司 基于卷积神经网络的图像处理的方法和装置
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法
CN110110121A (zh) * 2018-01-19 2019-08-09 北京盛世光明软件股份有限公司 一种便于实现图片浏览的系统和方法
CN108681704A (zh) * 2018-05-15 2018-10-19 北京理工大学 一种基于深度学习的人脸识别系统
CN108776833A (zh) * 2018-06-05 2018-11-09 郑州云海信息技术有限公司 一种数据处理方法、系统及计算机可读存储介质
CN108776833B (zh) * 2018-06-05 2021-08-31 郑州云海信息技术有限公司 一种数据处理方法、系统及计算机可读存储介质
CN108960289A (zh) * 2018-06-08 2018-12-07 清华大学 医用图像分类装置及方法
CN108960289B (zh) * 2018-06-08 2021-03-16 清华大学 医用图像分类装置及方法
CN110633226A (zh) * 2018-06-22 2019-12-31 武汉海康存储技术有限公司 融合存储器、存储系统及深度学习计算方法
WO2020044094A1 (zh) * 2018-08-27 2020-03-05 优视科技新加坡有限公司 资源推荐方法、装置、电子设备以及计算机可读介质
CN109344109B (zh) * 2018-10-23 2022-07-26 江苏华存电子科技有限公司 基于固态硬盘的大数据中加速人工智能计算的系统及方法
CN109344109A (zh) * 2018-10-23 2019-02-15 江苏华存电子科技有限公司 基于固态硬盘的大数据中加速人工智能计算的系统及方法
CN109697257A (zh) * 2018-12-18 2019-04-30 天罡网(北京)安全科技有限公司 一种基于预分类和特征学习抗噪的网络信息检索方法
CN109657084A (zh) * 2019-01-07 2019-04-19 哈尔滨理工大学 一种基于图像处理的图书检索方法
WO2020142971A1 (en) * 2019-01-10 2020-07-16 Alibaba Group Holding Limited Systems and methods for providing database acceleration using a programmable logic device (pld)
CN110032450A (zh) * 2019-04-17 2019-07-19 中山大学 一种基于固态盘扩展内存的大规模深度学习方法及系统
CN110261484A (zh) * 2019-07-11 2019-09-20 武汉中科创新技术股份有限公司 一种超声相控阵复合材料检测中轮式探头界面波跟踪方法
CN113568572A (zh) * 2021-07-09 2021-10-29 浙江工业大学 一种基于固态硬盘的数据库并行排序连接系统
CN113568572B (zh) * 2021-07-09 2024-03-22 浙江工业大学 一种基于固态硬盘的数据库并行排序连接系统

Similar Documents

Publication Publication Date Title
CN105589938A (zh) 基于fpga的图像检索系统及检索方法
Wang et al. Sketch-based 3d shape retrieval using convolutional neural networks
CN108920720B (zh) 基于深度哈希和gpu加速的大规模图像检索方法
Li et al. SHREC’13 track: large scale sketch-based 3D shape retrieval
CN109918532A (zh) 图像检索方法、装置、设备及计算机可读存储介质
US20210158164A1 (en) Finding k extreme values in constant processing time
CN110059198A (zh) 一种基于相似性保持的跨模态数据的离散哈希检索方法
CN104573130B (zh) 基于群体计算的实体解析方法及装置
CN109426781A (zh) 人脸识别数据库的构建方法、人脸识别方法、装置及设备
CN108446312B (zh) 基于深度卷积语义网的光学遥感图像检索方法
CN101446952A (zh) 三维类似形状检索装置
CN103336795A (zh) 基于多特征的视频索引方法
CN103745201B (zh) 一种节目识别方法及装置
CN104834693A (zh) 基于深度搜索的视觉图像检索方法及系统
CN102890700A (zh) 一种基于体育比赛视频的相似视频片段检索方法
CN107545276A (zh) 联合低秩表示和稀疏回归的多视角学习方法
TWI747114B (zh) 圖像特徵提取及網路的訓練方法、電子設備和電腦可讀儲存媒體
Qian et al. Landmark summarization with diverse viewpoints
CN109492589A (zh) 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
CN110956213A (zh) 遥感影像特征库生成、遥感影像检索方法及装置
CN104142946A (zh) 一种同款业务对象聚合、搜索的方法和系统
CN106934410A (zh) 数据的分类方法及系统
CN110263644A (zh) 基于三胞胎网络的遥感图像分类方法、系统、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160518

RJ01 Rejection of invention patent application after publication