CN105447493B - 基于尺度化缓存插值结构的鲁棒特征点提取系统 - Google Patents

基于尺度化缓存插值结构的鲁棒特征点提取系统 Download PDF

Info

Publication number
CN105447493B
CN105447493B CN201510868049.3A CN201510868049A CN105447493B CN 105447493 B CN105447493 B CN 105447493B CN 201510868049 A CN201510868049 A CN 201510868049A CN 105447493 B CN105447493 B CN 105447493B
Authority
CN
China
Prior art keywords
caching
sized
module
characteristic point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510868049.3A
Other languages
English (en)
Other versions
CN105447493A (zh
Inventor
贾希杰
郭开元
汪玉
王文强
杨华中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510868049.3A priority Critical patent/CN105447493B/zh
Publication of CN105447493A publication Critical patent/CN105447493A/zh
Application granted granted Critical
Publication of CN105447493B publication Critical patent/CN105447493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于尺度化缓存插值结构的鲁棒特征点提取系统，包括：积分图计算模块，用于得到积分图数据；特征点定位模块，根据积分图数据得到符合预设条件的特征点的亚像素位置；尺度化缓存插值模块，对积分图数据进行多尺度化缓存和插值；特征点方向计算模块，根据每个特征点的亚像素位置及尺度化缓存插值模块输出的插值结果确定每个特征点的特征方向；特征点描述符向量计算模块，根据特征点的亚像素位置、积分图数据的插值结果和特征点方向，得到特征点描述符向量；单位向量计算模块，对特征点描述符向量进行单位化，以得到预设小数精度的特征点单位向量描述符向量。本发明提高了鲁棒特征点提取算法的计算精度和计算性能，降低了资源占用。

Description

基于尺度化缓存插值结构的鲁棒特征点提取系统
技术领域
本发明涉及计算机及电子信息技术领域，特别涉及一种基于尺度化缓存插值结构的鲁棒特征点提取系统。
背景技术
基于图像特征点匹配的图像分析工作是图像处理的重要内容之一，特征点提取则是特征点匹配工作中的重要基础内容。特征点提取算法的主要目的是在两幅类似场景或物体的图像中，寻找到相关的区域，以供匹配；同时还要能够克服来自如环境亮度变化、视场角度变化、甚至图像传感器引入的噪声等的干扰。特征点提取工作包括特征点定位和特征点描述两部分。特征点定位通过检测图像中的特定特征，如角点、边缘点、亮区中的暗点、暗区中的亮点等，获得这些特征点的坐标信息。特征点描述则为特征点计算相应的描述符，使得两幅图中相同景物的特征点具有一定的不变性，进而克服干扰，完成特征点匹配。
SURF(Speed-Up Robust Feature，鲁棒特征点提取)算法的主要步骤包括积分图计算、特征点定位、特征点方向计算和特征点描述符向量计算。
积分图数据是SURF算法的基础数据。积分图的计算公式为：
其中，I∑(x,y)为位于x(x，y)的积分图值，I(i，j)为以图像原点(一般为左上角)和点x(x，y)为顶点所形成的竖直矩形区域内的图像像素值。则任意竖直矩形区域abcd内的像素值的和(图像积分)可以通过使用四个顶点的积分图值A、B、C和D进行简单加减法得到，即I∑abcd＝(I∑a+I∑d)-(I∑b+I∑c)。
SURF算法在进行特征点定位时，通过尺度空间分析来获得特征点尺度不变性。图像按不同的降采样进行分组，每组内使用4个尺度s不同的盒子滤波模板D做卷积，得到4层卷积层。D共有xx、yy、xy三个方向。通过使用积分图，卷积计算得到了大幅简化。SURF算法通过计算Hessian矩阵行列式的极大值来寻找图像的极值位置。Hessian矩阵的定义为：
若某个卷积层s中的坐标位置(x，y)的行列式值为在包括其相邻卷积层在内的三层内，周边共3×3×3个行列式值中的极大值，则将该坐标位置及其所在卷积层s合记为一个特征点位置x(x，y，s)。在将特征点位置按尺度放大得到特征点在原图中的位置时，还需要计算位置坐标的小数部分计算公式为：
SURF算法为保证特征点具有旋转不变性，为特征点计算了特征方向。在以特征点为中心，半径为6s的圆形邻域内，共109个间距为s的邻域点。为每个邻域点做尺寸为4s的Haar小波变换，得到向量(HaarX，HaarY)，记为邻域点方向向量。使用一个扇形滑窗统计落入滑窗内的所有邻域点的Haar向量的基于高斯权重的和，取和向量的长度最长时的和向量角度记为特征点的方向。
SURF算法在计算特征点描述符向量时，对以特征点为中心，以特征方向为正方向，边长为24s的正方形邻域内的共576个特征点，分别做尺寸为2s的Haar小波变换，得到向量(HaarX，HaarY)，并将Haar向量旋转至特征点方向上，得到邻域点方向向量(dx，dy)。对正方向邻域划分为4×4个子邻域，则每个子邻域包含9×9个邻域点(相邻两个子邻域包含四行重叠的邻域点)。将每个子邻域内邻域点的方向向量进行基于高斯权重的累加，分别得到∑dx、∑dy、∑|dx|、∑|dy|。16个子邻域共得到4×4×4＝64维特征描述符向量，经过向量单位化后，得到SURF算法的特征描述符输出结果。
SURF算法在实现为数字系统计算程序时，不得不面对数字系统的量化误差问题，如真实连续图像经过图像传感器采集得到的数字图像被离散量化为像素。在计算各类点的坐标时，坐标被定点截断为整数等。这些因素都会导致SURF数字系统算法将相比其数学理论算法存在一定的误差，进而降低了SURF算法的精度，限制了SURF算法的应用。
SURF算法在CPU等数字串行通用计算平台中实现时，由于算法的高计算复杂度和高存储复杂度，导致SURF算法运行性能较低，仅能做实验室研究，无法进行实时计算和对高分辨率视频做支持。
在硬件平台上利用高度的并行性来设计专用的加速硬件结构是解决这类高复杂度问题的有效方法。如FPGA(Field－Programmable Gate Array，现场可编程门阵列)平台在功耗和灵活性上可以取得不错的平衡。然而现有的基于FPGA平台的SURF硬件算法尚未有能同时满足完整、实时、支持高分辨率的方案，这仍然无法让SURF算法得到有效应用。另外，SURF算法对计算和存储资源的高占用问题也仍未得到解决，使得SURF在单片FPGA芯片中难以与其他复杂的图像算法共存，这也限制了SURF的实际应用。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于尺度化缓存插值结构的鲁棒特征点提取系统，该系统提高了鲁棒特征点提取算法的计算精度和计算性能，降低了资源占用。
为了实现上述目的，本发明的实施例提出了一种基于尺度化缓存插值结构的鲁棒特征点提取系统，包括：积分图计算模块，所述积分图计算模块用于读取预先缓存的输入图像，并计算得到所述输入图像的积分图数据；特征点定位模块，所述特征点定位模块与所述积分图计算模块相连，用于根据所述积分图数据得到符合预设条件的特征点的亚像素位置，其中，所述亚像素位置包括亚像素坐标及所在尺度；尺度化缓存插值模块，所述尺度化缓存插值模块与所述积分图计算模块相连，用于对所述积分图数据进行多尺度化缓存，以得到整数坐标数据组，并对所述整数坐标组进行插值；特征点方向计算模块，所述特征点方向计算模块分别与所述特征点定位模块和所述尺度化缓存插值模块相连，用于根据每个所述特征点的亚像素位置及所述尺度化缓存插值模块输出的插值结果确定每个特征点的特征方向；特征点描述符向量计算模块，所述特征点描述符向量计算模块分别与所述特征点方向模块和所述尺度化缓存插值模块相连，用于根据所述特征点的亚像素位置、所述插值结果和特征点方向，计算得到特征点描述符向量；单位向量计算模块，所述单位向量计算模块与所述特征点描述符向量计算模块相连，用于对所述特征点描述符向量进行单位化，以得到预设小数精度的特征点单位向量描述符向量。
另外，根据本发明上述实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统还可以具有如下附加的技术特征：
在一些示例中，所述尺度化缓存插值模块用于：将特征点方向计算所需的邻域点作为积分图数据插值，并将所述积分图数据插值存储于尺度化积分图缓存组中；以及将特征点描述符向量计算所需的邻域点作为Haar小波向量数据插值，并将所述Haar小波向量数据插值分别存储于第一尺度化缓存组和第二尺度化缓存组中。
在一些示例中，所述尺度化缓存插值模块输出的插值结果包括亚像素积分图数据和亚像素Haar小波向量数据。
在一些示例中，所述特征点方向计算模块用于根据每个特征点的亚像素位置计算对应的多个邻域点所复用的多个积分图数据的亚像素坐标，并从所述尺度化缓存插值模块中读取所述亚像素积分图数据，通过Haar计算后得到Haar小波向量，并根据所述Haar小波向量确定每个特征点的特征方向。
在一些示例中，所述特征点描述向量计算模块用于根据所述特征点的亚像素位置和特征点方向，计算对应的多个邻域点的亚像素坐标，并从所述尺度化缓存插值模块中读取所述亚像素Haar小波向量数据，并通过高斯累加后得到所述特征点描述符向量。
在一些示例中，所述尺度化积分图缓存组、第一尺度化缓存组和第二尺度化缓存组均包括第一至第四尺度化缓存，所述第一至第四尺度化缓存分别包括第五至第八尺度化子缓存，所述第五至第八尺度化子缓存分别根据数据的坐标信息的奇偶性对数据进行存储。
在一些示例中，所述第一至第四尺度化缓存的尺度各不相同。
在一些示例中，其中，所述尺度化缓存插值模块还用于：在所述特征点方向计算模块和特征点描述符向量计算模块将亚像素坐标信息传入时，根据坐标信息分别从所述第五至第八尺度化子缓存中读取相应的数据，以构成亚像素数据插值所需的整数坐标数据组。
在一些示例中，所述整数坐标数据组包括：左上、右上、右下和左下四个整数坐标。
根据本发明实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统，充分利用了在计算Haar小波向量时，基于亚像素坐标插值的图像信息还原能力，获得了更接近于理论算法的计算结果；并且优化了缓存数据的读取带宽，使得计算性能满足实时要求；还通过优化缓存结构，剔除冗余数据，降低了对存储资源的需求，从而实现了在提高计算精度的同时，还提高了计算性能，降低了资源占用，克服了处理实时高分辨率图像时的性能和资源不足的问题。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统的整体结构框图；
图2是本发明一个实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统的尺度化缓存插值结构原理图；以及
图3是根据本发明一个实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统的匹配精度对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统。
图1是根据本发明一个实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统的整体结构框图。如图1所示，该基于尺度化缓存插值结构的鲁棒特征点提取系统采用流水线结构，包括：积分图计算模块110、特征点定位模块120、尺度化缓存插值模块130、特征点方向计算模块140、特征点描述符向量计算模块150及单位向量计算模块160。
其中，积分图计算模块110用于读取预先缓存的输入图像，并计算得到输入图像的积分图数据。
特征点定位模块120与积分图计算模块110相连，用于根据积分图数据得到符合预设条件的特征点的亚像素位置，其中，亚像素位置包括亚像素坐标及所在尺度。例如，符合预设条件的亚像素位置记作x(x，y，s)，其中，亚像素坐标为(x，y)，所在尺度为s。
尺度化缓存插值模块130与积分图计算模块110相连，用于对积分图数据进行多尺度化缓存，以得到整数坐标数据组，并对所述整数坐标组进行插值。
具体地，在本发明的一个实施例中，结合图2所示，尺度化缓存插值模块130用于：将特征点方向计算所需的邻域点作为积分图数据插值，并将该积分图数据插值存储于尺度化积分图缓存组中；以及将特征点描述符向量计算所需的邻域点作为Haar小波向量数据插值，并将该Haar小波向量数据插值分别存储于第一尺度化缓存组(如图2中的HaarX)和第二尺度化缓存组(如图2中的HaarY)中。这样设计是因为，特征点方向的邻域点由于不需旋转，使得邻域点间的积分图数据可以实现有效的复用。这样，特征点方向的计算不需牺牲计算精度。而在特征点描述符向量计算所需的每个尺度化缓存中，则配有一个Haar计算模块使用积分图数据计算得到整数坐标的Haar小波向量数据。
特征点方向计算模块140分别与特征点定位模块120和尺度化缓存插值模块130相连，用于根据每个特征点的亚像素位置及尺度化缓存插值模块输出的插值结果确定每个特征点的特征方向。其中，尺度化缓存插值模块输出的插值结果例如包括亚像素积分图数据和亚像素Haar小波向量数据。
具体地，在本发明的一个实施例中，特征点方向计算模块140用于根据每个特征点的亚像素位置计算对应的多个(例如109个)邻域点所复用的多个(例如255个)积分图数据的亚像素坐标，并从尺度化缓存插值模块130中读取亚像素积分图数据，通过Haar计算后得到Haar小波向量，并根据Haar小波向量，通过扇形滑窗模块确定每个特征点的特征方向。
特征点描述符向量计算模块150分别与特征点方向模块140和尺度化缓存插值模块130相连，用于根据特征点的亚像素位置、尺度化缓存插值模块输出的插值结果和特征点方向，计算得到特征点描述符向量。
具体地，在本发明的一个实施例中，特征点描述向量计算模块150用于根据特征点的亚像素位置和特征点方向，计算对应的多个(例如576个)邻域点的亚像素坐标，并从尺度化缓存插值模块130中读取亚像素Haar小波向量数据，并通过高斯累加后得到特征点描述符向量。
在本发明的一个实施例中，例如，上述的尺度化积分图缓存组、第一尺度化缓存组和第二尺度化缓存组均包括第一至第四尺度化缓存，第一至第四尺度化缓存分别包括第五至第八尺度化子缓存，第五至第八尺度化子缓存分别根据数据的坐标信息的奇偶性对数据进行存储。其中，上述的第一至第四尺度化缓存的尺度各不相同。进一步地，尺度化缓存插值模块130还用于在特征点方向计算模块140和特征点描述符向量计算模块150将亚像素坐标信息传入时，根据坐标信息分别从第五至第八尺度化子缓存中读取一个相应的数据，以构成亚像素数据插值所需的整数坐标数据组。其中，该整数坐标数据组包括：左上、右上、右下和左下四个整数坐标。换言之，结合图2所示，即每个尺度化缓存组中都划分为了四个尺度不同的尺度化缓存，这四个尺度不同的尺度化缓存又分别包括四个根据数据的坐标信息的奇偶性进行存储的尺度化子缓存。进而，在特征点方向计算模块140和特征点描述符向量计算模块150将亚像素坐标信息传入时，根据坐标信息从这四个根据数据的坐标信息的奇偶性进行存储的尺度化子缓存中各读取一个相应的数据，构成亚像素数据插值所需的左上、右上、右下、左下四个整数坐标数据组，以供插值模块进行插值计算后输出。
单位向量计算模块160与特征点描述符向量计算模块150相连，用于对特征点描述符向量进行单位化，以得到预设小数精度位数(例如为小数点后16bit精度)的特征点单位向量描述符向量。
图3展示了利用本发明实施例的鲁棒特征点提取系统在具体实施时获得的匹配精度对比示意图。如图3所示，相较于采用了定点整数精度坐标方式的软件算法(OpenSURF)，本发明的实施例获得了更高的Recall曲线，即更好的匹配精度。表1展示了利用本发明鲁棒特征点提取系统在具体实施时获得的最优性能结果。可以看出本发明的实施例获得了243KPPS的最大每秒可处理特征点数性能，则在1920x1080的高清分辨率下，仍能在最大72FPS的帧率时，提供最多每帧3250个特征点的处理能力，而片内缓存BRAM资源仅占用6.9Mbits，即实现了对实时高分辨率图像的支持。
表1
总的来说，本发明的实施例在计算Haar小波向量时，将其所使用的积分图数据的索引坐标精度由定点整数精度改进为定点小数精度(小数点后16bit精度)，得到积分图数据的亚像素坐标。相应的，所需积分图数据，则使用每个积分图数据周边四个整数索引坐标的积分图数据，通过双线性插值得到。积分图插值方法使用了更接近于SURF理论算法的积分图亚像素坐标，修正了读取数据的索引偏差；通过插值得到了亚像素积分图数据，也在一定程度上修正了数字图像系统的量化误差，更为接近连续图像。以上都帮助本发明实施例的系统的计算精度更接近于SURF理论算法的计算结果，提高了计算精度。简言之，即本发明的实施例使用了定点小数精度坐标，并通过插值得到了亚像素积分图数据与亚像素Haar小波向量，获得了更接近于理论算法的计算精度。
另外，由于使用积分图插值结构，需要由原先的每个积分图数据读取一次缓存，改为读取四次，带来了4倍的数据读取带宽，增加了系统复杂度，因此，将积分图插值的计算精度进行一定的折衷牺牲，即在计算特征点坐标和每个特征点的各个邻域点坐标时，仍使用亚像素坐标，即尺寸间隔s为亚像素级；在继续计算每个邻域点所需各个积分图数据的坐标时，则将尺寸间隔s通过圆整降为原先的像素级。这样，可以将插值步骤由对积分图数据进行，改为对Haar小波向量数据进行。这是因为，用于插值的周边四个整数索引坐标的Haar小波向量数据，其所需的各个积分图数据也位于整数坐标，可直接从缓存中读取，而不需插值，进而可以改进为计算并缓存整数索引坐标的Haar小波向量数据。于是，计算每个邻域点的Haar小波向量时，数据读取带宽则由原算法的需读取8个积分图数据，降为了仅需读取4个整数坐标Haar小波向量。这在当前的硬件能力(FPGA)限制下，有效克服了系统的计算瓶颈，提高了计算性能，实现了SURF算法的硬件实时计算。简言之，即本发明的实施例通过对Haar小波向量进行插值，使得读取数据所需的带宽得到减半，提高了系统的计算性能。
对于特征点的特征方向与描述符向量所需的Haar小波向量，本发明的实施例将其所需的积分图数据改进为通过均值滤波等图像尺度分析方法进行尺度化变换，得到不同尺度下的积分图数据，即在尺度化积分图中计算Haar小波向量时，尺寸间隔s将被归一化为1进行计算。尺度化的积分图相较对于原始积分图而言，图尺寸按尺度进行了比例缩小，即对于尺度为s的尺度化积分图，其行缓存所需行宽为原始积分图行宽的1/s。积分图尺度化剔除了大量的缓存冗余数据，并使得在较大尺度下的数据得到了更高的压缩比；同时，不同尺度下的特征点所需的积分图缓存行数也得到了归一化。虽然缓存个数由一个大的原始积分图变为了多个较小的尺度化积分图，但由于尺度化方法为图尺寸行列均缩小，因此仍实现了有效降低存储资源占用，实现了对高分辨率图像的缓存支持。简言之，即本发明的实施例通过对积分图进行尺度化变换后进行存储，剔除了大量冗余数据，降低了存储资源占用。
根据本发明实施例的基于尺度化缓存插值结构的鲁棒特征点提取系统，充分利用了在计算Haar小波向量时，基于亚像素坐标插值的图像信息还原能力，获得了更接近于理论算法的计算结果；并且优化了缓存数据的读取带宽，使得计算性能满足实时要求；还通过优化缓存结构，剔除冗余数据，降低了对存储资源的需求，从而实现了在提高计算精度的同时，还提高了计算性能，降低了资源占用，克服了处理实时高分辨率图像时的性能和资源不足的问题。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，包括：
积分图计算模块，所述积分图计算模块用于读取预先缓存的输入图像，并计算得到所述输入图像的积分图数据；
特征点定位模块，所述特征点定位模块与所述积分图计算模块相连，用于根据所述积分图数据得到符合预设条件的特征点的亚像素位置，其中，所述亚像素位置包括亚像素坐标及所在尺度；
尺度化缓存插值模块，所述尺度化缓存插值模块与所述积分图计算模块相连，用于对所述积分图数据进行多尺度化缓存，以得到整数坐标数据组，并对所述整数坐标组进行插值；
特征点方向计算模块，所述特征点方向计算模块分别与所述特征点定位模块和所述尺度化缓存插值模块相连，用于根据每个所述特征点的亚像素位置及所述尺度化缓存插值模块输出的插值结果确定每个特征点的特征方向；
特征点描述符向量计算模块，所述特征点描述符向量计算模块分别与所述特征点方向计算模块和所述尺度化缓存插值模块相连，用于根据所述特征点的亚像素位置、所述插值结果和特征点方向，计算得到特征点描述符向量；
单位向量计算模块，所述单位向量计算模块与所述特征点描述符向量计算模块相连，用于对所述特征点描述符向量进行单位化，以得到预设小数精度的特征点单位向量描述符向量。
2.根据权利要求1所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，所述尺度化缓存插值模块用于：
将特征点方向计算所需的邻域点作为积分图数据插值，并将所述积分图数据插值存储于尺度化积分图缓存组中；以及
将特征点描述符向量计算所需的邻域点作为Haar小波向量数据插值，并将所述Haar小波向量数据插值分别存储于第一尺度化缓存组和第二尺度化缓存组中。
3.根据权利要求1所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，所述尺度化缓存插值模块输出的插值结果包括亚像素积分图数据和亚像素Haar小波向量数据。
4.根据权利要求3所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，
所述特征点方向计算模块用于根据每个特征点的亚像素位置得到对应的多个邻域点所复用的多个积分图数据的亚像素坐标，并从所述尺度化缓存插值模块中读取所述亚像素积分图数据，通过Haar计算后得到Haar小波向量，并根据所述Haar小波向量确定每个特征点的特征方向。
5.根据权利要求3所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，
所述特征点描述向量计算模块用于根据所述特征点的亚像素位置和特征点方向，计算对应的多个邻域点的亚像素坐标，并从所述尺度化缓存插值模块中读取所述亚像素Haar小波向量数据，并通过高斯累加后得到所述特征点描述符向量。
6.根据权利要求2所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，所述尺度化积分图缓存组、第一尺度化缓存组和第二尺度化缓存组均包括第一至第四尺度化缓存，所述第一至第四尺度化缓存分别包括第五至第八尺度化子缓存，所述第五至第八尺度化子缓存分别根据数据的坐标信息的奇偶性对数据进行存储。
7.根据权利要求6所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，所述第一至第四尺度化缓存的尺度各不相同。
8.根据权利要求6所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，其中，所述尺度化缓存插值模块还用于：
在所述特征点方向计算模块和特征点描述符向量计算模块将亚像素坐标信息传入时，根据坐标信息分别从所述第五至第八尺度化子缓存中读取相应的数据，以构成亚像素数据插值所需的所述整数坐标数据组。
9.根据权利要求8所述的基于尺度化缓存插值结构的快速鲁棒性特征提取系统，其特征在于，所述整数坐标数据组包括：左上、右上、右下和左下四个整数坐标。
CN201510868049.3A 2015-12-01 2015-12-01 基于尺度化缓存插值结构的鲁棒特征点提取系统 Active CN105447493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510868049.3A CN105447493B (zh) 2015-12-01 2015-12-01 基于尺度化缓存插值结构的鲁棒特征点提取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510868049.3A CN105447493B (zh) 2015-12-01 2015-12-01 基于尺度化缓存插值结构的鲁棒特征点提取系统

Publications (2)

Publication Number Publication Date
CN105447493A CN105447493A (zh) 2016-03-30
CN105447493B true CN105447493B (zh) 2018-08-03

Family

ID=55557653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510868049.3A Active CN105447493B (zh) 2015-12-01 2015-12-01 基于尺度化缓存插值结构的鲁棒特征点提取系统

Country Status (1)

Country Link
CN (1) CN105447493B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574372B (en) * 2018-05-21 2021-08-11 Imagination Tech Ltd Implementing Traditional Computer Vision Algorithms As Neural Networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661708A (zh) * 2012-04-20 2012-09-12 华南理工大学 一种基于surf的高密度封装元器件定位方法
CN104021549A (zh) * 2014-05-19 2014-09-03 清华大学深圳研究生院 全仿射不变surf特征点检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661708A (zh) * 2012-04-20 2012-09-12 华南理工大学 一种基于surf的高密度封装元器件定位方法
CN104021549A (zh) * 2014-05-19 2014-09-03 清华大学深圳研究生院 全仿射不变surf特征点检测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Flex-SURF: A Flexible Architecture for FPGA-based Robust Feature Extraction for Optical Tracking Systems;Michael Schaeferling et al;《2010 International Conference on Reconfigurable Computing》;20101231;第458-463页 *
implementation of high performance hardware architecture of OpenSURF algorithm on FPGA;xitian fan et al;《field-programmable technology(FPT),2013 international conference on》;20131231;第152-159页 *
基于HLS的SURF特征提取硬件加速单元设计与实现;丁帅帅 等;《微电子学与计算机》;20150930;第32卷(第9期);第133-137、143页 *

Also Published As

Publication number Publication date
CN105447493A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
US20230027366A1 (en) Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
CN110637461B (zh) 计算机视觉系统中的致密光学流处理
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
EP3058510A1 (en) A method for producing a histogram of oriented gradients
CN112183517B (zh) 证卡边缘检测方法、设备及存储介质
US20160232420A1 (en) Method and apparatus for processing signal data
CN105447493B (zh) 基于尺度化缓存插值结构的鲁棒特征点提取系统
CN110651475B (zh) 用于致密光学流的阶层式数据组织
CN106780415A (zh) 一种直方图统计电路及多媒体处理系统
CN113506305A (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN113032350A (zh) 一种遥感数据处理的方法、系统、电子设备和存储介质
CN113628259A (zh) 图像的配准处理方法及装置
CN113298702B (zh) 基于大尺寸图像像素点的重新排序和分割方法
CN108734665A (zh) 一种图像的校正方法、装置、设备及存储介质
CN113160321B (zh) 一种实时图像序列的几何映射方法和装置
CN112419146A (zh) 一种图像处理方法、装置及终端设备
EP3459010B1 (en) A method and system for calculating a histogram of oriented gradients
CN112733826B (zh) 图像处理方法及装置
CN109451318A (zh) 便于vr视频编码的方法、装置、电子设备及存储介质
CN114202465A (zh) 图像旋转方法、图像旋转系统和存储介质
CN111009004B (zh) 一种加速图像匹配的硬件优化方法
CN113808020A (zh) 图像处理方法及设备
CN111815547A (zh) 图像处理方法及装置、电子设备及存储介质
CN116740720B (zh) 基于关键点引导的拍照文档弯曲矫正方法及设备
CN113393401B (zh) 物体检测硬件加速器、系统、方法、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant