CN112700364B - 一种基于Harris角点检测的电路及方法 - Google Patents

Abstract

本发明提供一种基于Harris角点检测的电路及方法。所述电路包括：第一行缓存模块、第一行缓存模块、第一窗口生成器模块、偏导计算模块、第二行缓存模块、第二窗口生成器模块、高斯滤波模块、角点响应模块、第三行缓存模块、第三窗口生成器模块以及极值抑制模块；该电路中各窗口生成器模块、偏导计算模块、高斯滤波模块、角点响应模块和极值抑制模块都采用流水线设计，提高了计算效率，每个时钟都可以计算出一个角点值，最终使得整个系统达到实时计算harris角点检测的效果。简化了Harris角点检测中的浮点运算，在保持计算精度的同时，用定点乘法器取代浮点乘法器，实现定点运算，减少电路的复杂度、面积及功耗；极大地提高角点检测的速度。

Description

一种基于Harris角点检测的电路及方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于Harris角点检测的电路及方法。

背景技术

角点是图像重要的局部特征，它在保留了图像重要特征信息的同时，有效减少了信息的数据量。角点检测已广泛的应用到机器视觉中的目标跟踪，目标匹配，三维重建等领域；

现有技术中，Harris角点检测方法是一种基于信号的点特征提取方法，因其准确性和稳定性而被广泛使用，尤其在处理含噪声图像方面，优于诸多角点检测方法；但Harris角点检测因为其巨大的计算量，通过CPU来进行计算，很难做到视频的实时角点检测，极大地限制了Harris角点检测在嵌入式领域的应用，尤其是在CPU计算能力有限的MCU芯片上，以cortex M4 CPU为例，主频为200MHz，跑完一帧图像(分辨率640x320)的Harris角点检测需要耗时1秒左右，远达不到实时识别的40毫秒需求，这就需要提供一种Harris角点检测的硬件电路来解决这一技术问题。

发明内容

本发明提供一种基于Harris角点检测的电路及方法，通过高速流水线处理，可以实现Harris角点实时检测。

本发明的技术方案如下：

本发明提供一种基于Harris角点检测的电路，包括：

第一行缓存模块，用于缓存输入图像，将输入图像按行进行存储；

第一窗口生成器模块，用于将所述第一行缓存模块存储的图像按矩形窗口输出；

偏导计算模块，用于对所述第一窗口生成器输出的第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

第二行缓存模块，用于缓存所述偏导计算模块输出的水平偏导和垂直偏导，并将水平偏导和垂直偏导作为输入图像按行进行存储；

第二窗口生成器模块，用于将所述第二行缓存模块存储的水平偏导和垂直偏导，以及水平偏导与垂直偏导的乘积按矩形窗口输出；

高斯滤波模块，用于对所述第二窗口生成器模块输出的第二矩形窗口数据进行高斯滤波；

角点响应模块，用于利用所述高斯滤波模块输出的数据，计算角点响应值；

第三行缓存模块，用于缓存所述角点响应模块计算得到的角点响应值，并将角点响应值作为输入图像按行进行存储；

第三窗口生成器模块，用于将所述第三行缓存模块存储的角点响应值按矩形窗口输出；以及

极值抑制模块，用于对所述第三窗口生成器模块输出的第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

更进一步地，所述第一行缓存模块、第二行缓存模块和第三行缓存模块，均包括：

存储单元，用于缓存输入图像，根据读写控制模块的控制指令将输入图像按行顺序存储；

读写控制模块，用于对所述存储单元进行读写控制。

更进一步地，所述存储单元包括若干块SRAM，每块SRAM用于存储一行输入图像。

更进一步地，所述读写控制模块，具体用于：

当输入图像写入所述存储单元时，控制各行输入图像按顺序写入各块SRAM；

当从所述存储单元读出输入图像时，控制各块SRAM同时读取，并按列输出各行输入图像。

更进一步地，所述第一窗口生成器模块、第二窗口生成器模块和第三窗口生成器模块，均包括：

寄存器阵列，用于每个时钟周期输出预设矩形窗口数据。

更进一步地，所述寄存器阵列中的各行寄存器均采用级联的流水线结构。

更进一步地，高斯滤波模块在对所述第二窗口生成器模块输出的第二矩形窗口数据进行高斯滤波时，具体用于：

对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，将高斯滤波后的第二矩形窗口数据右移N位后输出，且高斯滤波过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数。

本发明还提供一种基于Harris角点检测的方法，应用于所述的电路，所述方法，包括：

缓存输入图像，将输入图像按行进行存储；

按矩形窗口输出存储的图像，作为第一矩形窗口数据；

对第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

缓存水平偏导和垂直偏导，并将水平偏导和垂直偏导作为输入图像按行进行存储；

将水平偏导和垂直偏导，以及水平偏导与垂直偏导的乘积按矩形窗口输出，作为第二矩形窗口数据；

对第二矩形窗口数据进行高斯滤波；

利用高斯滤波后的数据，计算角点响应值；

缓存角点响应值，并将角点响应值作为输入图像按行进行存储；

将角点响应值按矩形窗口输出，作为第三矩形窗口数据；

对第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

更进一步地，所述对第二矩形窗口数据进行高斯滤波，包括：

对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，高斯滤波的过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数；

将高斯滤波后的第二矩形窗口数据右移N位后输出。

本发明提供的基于Harris角点检测的电路中，各模块依据Harris角点检测方法特性进行运算及数据缓存，各窗口生成器模块、偏导计算模块、高斯滤波模块、角点响应模块和极值抑制模块都采用流水线设计，可以提高计算效率，每个时钟都可以计算出一个角点值，最终使得整个系统达到实时计算harris角点检测的效果。简化了Harris角点检测中的浮点运算，在保持计算精度的同时，用定点乘法器取代浮点乘法器，实现定点运算，减少电路的复杂度、面积及功耗；极大地提高角点检测的速度，达到视频的实时角点检测效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的一种基于Harris角点检测的电路框图；

图2是本发明实施例二提供的第一行缓存模块框图；

图3是本发明实施例三提供的第一窗口生成器模块框图；

图4是本发明实施例五提供的一种基于Harris角点检测的方法流程图；

图5是本发明实施例六提供的步骤S6的流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于Harris角点检测的电路，如图1所示，包括：

第一行缓存模块1，用于缓存输入图像，将输入图像按行进行存储；

第一窗口生成器模块2，用于将第一行缓存模块1存储的图像按矩形窗口输出；

偏导计算模块3，用于对第一窗口生成器2输出的第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

第二行缓存模块4，用于缓存偏导计算模块3输出的水平偏导Ix和垂直偏导Iy，并将水平偏导Ix和垂直偏导Iy作为输入图像按行进行存储；

第二窗口生成器模块5，用于将第二行缓存模块4存储的水平偏导Ix和垂直偏导Iy，以及水平偏导Ix与垂直偏导Iy的乘积Ixy(Ixy＝Ix*Iy)按矩形窗口输出；

高斯滤波模块6，用于对第二窗口生成器模块5输出的第二矩形窗口数据进行高斯滤波；

角点响应模块7，用于利用高斯滤波模块6输出的数据，计算角点响应值；

第三行缓存模块8，用于缓存角点响应模块7计算得到的角点响应值，并将角点响应值作为输入图像按行进行存储；

第三窗口生成器模块9，用于将第三行缓存模块8存储的角点响应值按矩形窗口输出；以及

极值抑制模块10，用于对第三窗口生成器模块9输出的第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

本实施例中，基于Harris角点检测的电路中，各模块依据Harris角点检测方法特性进行运算及数据缓存，是一种能够通过高速流水线处理实现Harris角点检测的电路结构。通过各个行缓存模块缓存输入图像L，将输入图像按行进行存储，再通过各个窗口生成器模块将图像按矩形窗口输出，按矩形窗口输出的数据先后经过偏导计算、高斯滤波、计算角点响应值以及极大值抑制，最终根据角点阈值输出角点，各窗口生成器模块、偏导计算模块、高斯滤波模块、角点响应模块和极值抑制模块都采用流水线设计，这样可以提高计算效率，每个时钟都可以计算出一个角点值，最终使得整个系统达到实时计算harris角点检测的效果。

实施例二

本实施例提供了一种基于Harris角点检测的电路，在实施例一的基础上，其中的第一行缓存模块1、第二行缓存模块4和第三行缓存模块8，均包括：

存储单元，用于缓存输入图像，根据读写控制模块的控制指令将输入图像按行顺序存储；

读写控制模块，用于对存储单元进行读写控制。

具体地，存储单元包括若干块SRAM，每块SRAM用于存储一行输入图像。

读写控制模块，具体用于：

当输入图像写入存储单元时，控制各行输入图像按顺序写入各块SRAM；

当从存储单元读出输入图像时，控制各块SRAM同时读取，并按列输出各行输入图像。

本实施例中，以第一行缓存模块1为例，如图2所示，设第一窗口生成器模块2中的矩形窗口为3×3矩形窗口，存储单元1-1使用SRAM(静态随机存取存储器，Static Random-Access Memory)，存储单元1-1包括三块SRAM，分别存储输入图像L中的三行LineN、LineN+1、LineN+2，读写控制模块1-2对三块SRAM进行读写控制，当输入图像写入存储单元1-1时，控制三行输入图像按顺序写入三块SRAM；当从存储单元1-1读出输入图像时，控制三块SRAM同时读取，并按列输出三行输入图像；当读取完LineN、LineN+1、LineN+2时，接下来的LineN+3会写入LineN所在的SRAM中，当读完LineN+3后，LineN+2数据写入LineN+1所在的SRAM中，整帧图像的读写依次类推。如此读写，能够提高数据缓存效率，将输入图像按行进行存储，为后续的矩形窗口数据生成做准备。

第二行缓存模块4和第三行缓存模块8的原理与第一行缓存模块1相同。

上述行行缓存模块架构，输入图像只需写入一帧，即可计算出一帧的角点，极大的减少了系统带宽，减化了内部行缓存模块的结构，可以保证内部流水线计算逻辑有充足的缓存数据，显著的提高了计算效率。

实施例三

本实施例提供了一种基于Harris角点检测的电路，在实施例一的基础上，其中的第一窗口生成器模块2、第二窗口生成器模块5和第三窗口生成器模块9，均包括：

寄存器阵列，用于每个时钟周期输出预设矩形窗口数据。

寄存器阵列中的各行寄存器均采用级联的流水线结构。

本实施例中，以第一窗口生成器模块2为例，如图3所示，设第一窗口生成器模块2中的矩形窗口为3×3矩形窗口，将第一行缓存模块1存储的三行图像W0、W1、W2输入到第一窗口生成器模块2，存储到寄存器阵列中，由寄存器00、寄存器01、寄存器02、寄存器10、寄存器11、寄存器12、寄存器20、寄存器21、寄存器22组成3×3的阵列，每行的三个寄存器都采用级联的流水线结构，这样，同时输入三行图像每个时钟周期能输出3×3矩阵窗口数据。

实施例四

本实施例提供了一种基于Harris角点检测的电路，在实施例一的基础上，高斯滤波模块6在对第二窗口生成器模块5输出的第二矩形窗口数据进行高斯滤波时，具体用于：

对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，将高斯滤波后的第二矩形窗口数据右移N位后输出，且高斯滤波过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数。

具体地，将高斯滤波的系数定点化，将高斯滤波过程中所用系数全部都乘2的N次方，以N＝10(1024)为例，然后按四舍五入进行取整得出定点化系数，采用定点乘法器和加法器进行高斯滤波后，再将数据右移N位(除1024)，以此高斯滤波方式得出的结果与浮点运算的结果非常接近，误差很小，且可以通过增加N的值再进一步提高精度。

现有技术中的Harris角点检测方法使用浮点运算进行高斯滤波，但是浮点运算器面积大，设计复杂。而本实施例中，简化了传统Harris角点检测方法中的浮点运算，将高斯滤波及角点响应运算的传统浮点运算转成定点运算，可以有效减少电路面积、复杂度及功耗，实现定点运算。

实施例五

本实施例提供一种基于Harris角点检测的方法，应用于上述的电路，如图4所示，该方法包括：

步骤S1、缓存输入图像，将输入图像按行进行存储；

步骤S2、按矩形窗口输出存储的图像，作为第一矩形窗口数据；

步骤S3、对第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

步骤S4、缓存水平偏导和垂直偏导，并将水平偏导和垂直偏导作为输入图像按行进行存储；

步骤S5、将水平偏导和垂直偏导，以及水平偏导与垂直偏导的乘积按矩形窗口输出，作为第二矩形窗口数据；

步骤S6、对第二矩形窗口数据进行高斯滤波；

步骤S7、利用高斯滤波后的数据，计算角点响应值；

步骤S8、缓存角点响应值，并将角点响应值作为输入图像按行进行存储；

步骤S9、将角点响应值按矩形窗口输出，作为第三矩形窗口数据；

步骤S10、对第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

实施例六

本实施例提供一种基于Harris角点检测的方法，在实施例五的基础上，如图5所示，其中的步骤S6，包括：

步骤S61、对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，高斯滤波的过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数；

步骤S62、将高斯滤波后的第二矩形窗口数据右移N位后输出。

本实施例中，通过简化Harris角点检测方法中的浮点运算，用定点乘法器取代浮点乘法器，实现定点运算，在保持计算精度的同时减少了电路的复杂度、面积及功耗，极大提高了角点检测的速度，达到视频的实时角点检测效果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于Harris角点检测的电路，其特征在于，包括：

第一行缓存模块，用于缓存输入图像，将输入图像按行进行存储；

第一窗口生成器模块，用于将所述第一行缓存模块存储的图像按矩形窗口输出；

偏导计算模块，用于对所述第一窗口生成器输出的第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

第二行缓存模块，用于缓存所述偏导计算模块输出的水平偏导和垂直偏导，并将水平偏导和垂直偏导作为输入图像按行进行存储；

第二窗口生成器模块，用于将所述第二行缓存模块存储的水平偏导和垂直偏导，以及水平偏导与垂直偏导的乘积按矩形窗口输出；

高斯滤波模块，用于对所述第二窗口生成器模块输出的第二矩形窗口数据进行高斯滤波；

角点响应模块，用于利用所述高斯滤波模块输出的数据，计算角点响应值；

第三行缓存模块，用于缓存所述角点响应模块计算得到的角点响应值，并将角点响应值作为输入图像按行进行存储；

第三窗口生成器模块，用于将所述第三行缓存模块存储的角点响应值按矩形窗口输出；以及

极值抑制模块，用于对所述第三窗口生成器模块输出的第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

2.根据权利要求1所述的基于Harris角点检测的电路，其特征在于，所述第一行缓存模块、第二行缓存模块和第三行缓存模块，均包括：

存储单元，用于缓存输入图像，根据读写控制模块的控制指令将输入图像按行顺序存储；

读写控制模块，用于对所述存储单元进行读写控制。

3.根据权利要求2所述的基于Harris角点检测的电路，其特征在于，所述存储单元包括若干块SRAM，每块SRAM用于存储一行输入图像。

4.根据权利要求3所述的基于Harris角点检测的电路，其特征在于，所述读写控制模块，具体用于：

当输入图像写入所述存储单元时，控制各行输入图像按顺序写入各块SRAM；

当从所述存储单元读出输入图像时，控制各块SRAM同时读取，并按列输出各行输入图像。

5.根据权利要求1所述的基于Harris角点检测的电路，其特征在于，所述第一窗口生成器模块、第二窗口生成器模块和第三窗口生成器模块，均包括：

寄存器阵列，用于每个时钟周期输出预设矩形窗口数据。

6.根据权利要求5所述的基于Harris角点检测的电路，其特征在于，所述寄存器阵列中的各行寄存器均采用级联的流水线结构。

7.根据权利要求1所述的基于Harris角点检测的电路，其特征在于，高斯滤波模块在对所述第二窗口生成器模块输出的第二矩形窗口数据进行高斯滤波时，具体用于：

对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，将高斯滤波后的第二矩形窗口数据右移N位后输出，且高斯滤波过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数。

8.一种基于Harris角点检测的方法，其特征在于，应用于权利要求1至7中任一项所述的电路，所述方法，包括：

缓存输入图像，将输入图像按行进行存储；

按矩形窗口输出存储的图像，作为第一矩形窗口数据；

对第一矩形窗口数据进行偏导计算，得到水平偏导和垂直偏导；

缓存水平偏导和垂直偏导，并将水平偏导和垂直偏导作为输入图像按行进行存储；

将水平偏导和垂直偏导，以及水平偏导与垂直偏导的乘积按矩形窗口输出，作为第二矩形窗口数据；

对第二矩形窗口数据进行高斯滤波；

利用高斯滤波后的数据，计算角点响应值；

缓存角点响应值，并将角点响应值作为输入图像按行进行存储；

将角点响应值按矩形窗口输出，作为第三矩形窗口数据；

对第三矩形窗口数据中的各角点响应值进行极大值抑制，再根据角点阈值输出角点。

9.根据权利要求8所述的基于Harris角点检测的方法，其特征在于，所述对第二矩形窗口数据进行高斯滤波，包括：

对第二矩形窗口数据采用定点乘法器和加法器进行高斯滤波，高斯滤波的过程中所用系数均是经原始系数乘以2的N次方后取整得出的定点化系数；

将高斯滤波后的第二矩形窗口数据右移N位后输出。