CN103548053B - 用于图像的并行处理的方法和装置 - Google Patents

Abstract

本发明涉及卷积数据的并行计算。尤其是，本发明涉及高斯金字塔构造和图像数据的并行处理，例如用在SIFT算法中的重复卷积的数据的并行计算。这可以通过提供由多个像素定义的一原始图像获得多个差分图像的一种方法来实现，所述方法包括：提供多个模糊卷积函数，所述模糊卷积函数的每一个通过与所述原始图像的卷积提供所述原始图像增加的模糊度；通过计算两个所述模糊卷积函数之间的差来建立多个差分卷积函数Dif，所述模糊卷积函数的每一个提供所述原始图像增加的模糊度；以及通过将所述差分卷积函数Dif的每一个与所述原始图像进行卷积，由所述原始图像计算多个差分图像，以获得差分图像。

Description

用于图像的并行处理的方法和装置

技术领域

本发明涉及卷积数据的并行计算。尤其是，本发明涉及适合于图像数据的并行处理的高效率的高斯金字塔结构(Gaussian pyramid construction)的计算。

背景技术

除其它之外，在美国专利6711293 B1公开的传统SIFT算法，公开了一种用于识别图像中的尺度不变特征的方法和装置，以及对图像中的目标的这些特征进行定位的应用。

美国专利申请2010/0169576公开了一种用于实现尺度不变特征变换算法的方法，其中，可以通过将一输入图像与高斯滤波器的差分进行卷积来获得高斯图像的差分。尽管该申请声称该处理过程可以被并行执行，然而该申请并未提及实际的并行实现。

发明内容

传统SIFT算法被设计为适用于利用顺序处理器实现的串行算法。为了提高传统SIFT算法的速度，可以设想将该算法作为并行处理来执行。然而，传统SIFT算法包括许多步骤，其中，每个步骤的结果为计算后续结果的先决条件。因此，传统SIFT算法不适用于并行处理。

本发明的发明者意外地发现传统SIFT算法中的某些步骤可以再次执行以允许并行处理。本发明者进一步发现这样的某些步骤的再次执行允许该方法在硬件中实现，因此，与执行该算法的已知软件相比，大大提高了计算速度。

根据一个方面，本发明涉及一种获得一差分图像的方法，所述差分图像应用于识别由多个像素定义的图像的尺度不变特征的方法中，所述方法包括：通过计算两个不同的模糊卷积函数之差计算差分卷积函数Dif，所述两个不同的模糊卷积函数中的每一个通过与原始图像的卷积提供所述原始图像的不同的模糊度；以及将所述差分卷积函数Dif与原始图像进行卷积以得到差分图像。所述差分卷积函数优选地只计算一次且后续可以重复用于不同的图像。

根据一个方面，本发明涉及一种获得多个差分图像的方法，所述差分图像应用于识别由多个像素定义的图像的尺度不变特征的方法，所述方法包括：提供多个模糊卷积函数，，所述模糊函数中的每一个通过与原始图像的卷积提供原始图像的增长的模糊度；以及从一原始图像中计算多个差分图像。所述模糊卷积函数优选地只计算一次，且后续可重复用于不同的图像。使用高斯模糊函数，就足以通过计算所述函数的宽度的总和以得到对所述函数进行卷积获得的函数的宽度。

根据一个方面，本发明涉及一种从由多个像素定义的原始图像获得多个差分图像的方法，所述方法包括：

a.提供多个模糊卷积函数，所述模糊函数中的每一个通过与原始图像的卷积提供所述原始图像的增长的模糊度；

b.通过计算两个所述模糊卷积函数之差来建立多个差分卷积函数Dif，所述两个模糊卷积函数中的每一个通过与原始图像的卷积提供所述原始图像的不同的模糊度；以及

c.通过将所述差分卷积函数Dif中的每一个与所述原始图像进行卷积以获得差分图像，从原始图像计算多个差分图像。

根据一个方面，本发明涉及一种获得第一多个差分图像以及至少一个后续多个差分图像的方法，所述方法包括：

a.根据本发明，通过使用多个模糊卷积函数，从原始图像中获得第一多个差分图像；

b.将所述多个模糊函数与一下抽样函数和一抗锯齿函数进行卷积以获得下抽样抗锯齿卷积函数DAcon；

c.将所述下抽样抗锯齿卷积函数DAcon与所述原始图像进行卷积以获得后续图像；

d.根据本发明从所述后续图像中获得后续多个差分图像；以及

e.可选地使用所述后续图像作为所述原始图像，且重复步骤c和d以获得另外的后续多个差分图像。

根据一个方面，本发明涉及一种获得第一多个差分图像和至少一个后续多个差分图像的方法，所述方法包括：

a.根据本发明，使用多个模糊卷积函数从一原始图像中获得第一多个差分图像；

b.对所述模糊原始图像进行下抽样以获得第一图像；

c.将所述多个模糊函数与一抗锯齿函数进行卷积以获得下抽样抗锯齿卷积函数Acon；

d.将所述获得的抗锯齿卷积函数Acon与第一图像进行卷积以获得后续图像；

e.根据本发明，从所述后续图像中获得后续多个差分图像；以及

f.可选地将所述后续图像作为所述原始图像，且重复步骤b、c和d以获得另外的后续多个差分图像。

根据一个方面，本发明涉及一种获得第一多个差分图像以及后续多个差分图像的数量n的方法，所述方法包括：

a.根据本发明，使用多个模糊卷积函数，从一原始图像中获得所述第一多个差分图像；

b.通过将所述多个模糊函数与一下抽样函数和一抗锯齿函数进行卷积，获得第一下抽样抗锯齿卷积函数DAcon(1)；

c.当n大于1时，通过将之前下抽样抗锯齿卷积函数DAcon(t-1)与所述多个模糊函数，一下抽样函数和一抗锯齿函数进行卷积，获得另外的下抽样抗锯齿卷积函数DAcon(t)，当t＝2时开始此步骤c，且重复此步骤同时t等步长增加，直到t到达n；

d.将所有下抽样抗锯齿卷积函数DAcon与所述原始图像进行卷积，以获得每个下抽样抗锯齿卷积函数DAcon(x)的图像(x)；

e.根据本发明，获得n个后续多个差分图像，从每个图像(x)中获得每个多数(x)。

根据一个方面，本发明涉及一种识别图像特征的方法，所述图像特征在由多个像素定义的图像中在不同的尺度上稳定，其中，多个滤波步骤和重复抽样步骤可并行执行，所述方法包括：

a.根据本发明获得多个差分图像；

b.在所述多个差分图像中找到像素幅度极值；

c.针对每个差分图像中的每个像素产生一个像素梯度向量；

d.将向量方向和与每个差分图像相关联的最大和最小的幅度的像素相关联。

根据一个方面，本发明涉及从由多个像素定义的原始图像获得多个差分图像的图像处理装置，所述装置包括关于所述第一图像的数据的接收设备，传输或存储所述差分图像的设备，以及处理设备，所述处理设备被配置为：通过将多个差分卷积函数Dif中的每一个与所述原始图像进行卷积来从原始图像中计算多个差分图像；其中，通过计算两个模糊卷积函数之差建立所述多个差分卷积函数Dif，所述两个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的不同的模糊度。

根据一个方面，本发明涉及一种识别由多个像素定义的图像中的尺度不变特征的图像处理装置，所述图像处理装置包括处理器电路，所述处理器电路被配置为实施本发明的一种方法。

根据一个方面，本发明涉及一种从由多个像素定义的原始图像获得多个差分图像的软件程序，所述软件程序使得多个处理器执行：通过将多个差分卷积函数Dif中的每一个与原始图像进行卷积，从所述原始图像中计算多个差分图像，使所述多个处理器并行计算不同的差分图像；其中，通过计算两个模糊卷积函数之差建立所述多个差分卷积函数Dif，所述模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的不同的模糊度。

根据一个方面，本发明涉及一种识别由多个像素定义的图像中的尺度不变特征的软件程序，所述软件程序被设置为：执行本发明的一种方法。

附图说明

下面引入附图且将对有些附图作进一步解释。

图1为使用级联方法建立高斯金字塔的传统方法的概图；

图2为绘出根据适用于并行硬件实施的两个实施例的两个不同DoG金字塔方法的示意图；

图3为绘出根据一个实施例的双线性下抽样插值器的方框图的示意图；

图4为绘出根据一个实施例的双线性下抽样插值器的硬件有效实施的方框图的示意图；

图5为绘出根据一个实施例的双线性下抽样插值器的示意性流程图；

图6为根据本发明的实施例说明如何将用于高斯金字塔的基本构件相连接以达到高效的硬件性能的示意图；

图7为根据本发明的一个实施例的用于高斯金字塔构造的有效的双线性插值器的示意图，该金字塔示意图基于双线性纹理插值法；

图8A显示了通过计算两个具有不同宽度的高斯函数之差得到高斯核(DiF)的差，其中的一个高斯函数见图8B；

图9为根据一个实施例计算DoG函数的示意性方框图；

图10为一个实施例的硬件实施的部分示意图；

图11为一个实施例的硬件实施的部分示意图；

图12为一个实施例的硬件实施的部分示意图；

具体实施方式

其他方面和实施例如下所述。

根据一实施例，本发明涉及一种从由多个像素定义的一原始图像获得多个差分图像的方法，所述方法包括：

a.提供多个模糊卷积函数，所述模糊函数中的每一个通过与所述原始图像的卷积提供所述原始图像的增加的模糊度；

b.通过计算两个所述模糊卷积函数之差建立多个差分卷积函数Dif，所述两个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的不同的模糊度；以及

c.通过将所述差分卷积函数Dif中的每一个与所述原始图像进行卷积以获得差分图像，从所述原始图像中计算多个差分图像。

该方法的一个特别的优势在于适用于并行处理。

根据一个实施例，本发明涉及一种方法，其中，所述多个差分图像被并行计算。

根据一个实施例，本发明涉及根据本发明的一种方法，所述方法用于识别所述原始图像中的尺度不变特征。

根据一个实施例，本发明涉及根据本发明的一种方法，其中，所述多个差分模糊卷积函数被建立一次且重复用于所述差分图像的后续计算。所述模糊卷积函数和/或差分卷积函数优选地只计算一次且可在随后重复用于差分图像。所述卷积函数可在硬件中实施，如单个芯片中。

根据一个实施例，本发明涉及根据本发明的一种方法，其中，所述模糊卷积函数为高斯函数。通过使用高斯模糊卷积函数，计算所述高斯模糊卷积函数的宽度之和足以获得通过对所述函数进行卷积可获得的所述函数的宽度。

根据一个实施例，本发明涉及根据本发明的一种方法，其中，所述差分卷积函数Dif由多项式近似表示。

根据一个实施例，本发明涉及一种获得第一多个差分图像及至少一个后续多个差分图像的方法，所述方法包括：

a.根据本发明，通过使用多个模糊卷积函数从一原始图像获得第一多个差分图像；

b.将所述多个模糊函数与一下抽样函数和一抗锯齿函数进行卷积以获得下抽样抗锯齿卷积函数DAcon；

c.将所述下抽样抗锯齿卷积函数DAcon与所述原始图像进行卷积以获得后续图像；

d.根据本发明。从所述后续图像中获得后续多个差分图像；以及

e.可选地将所述后续图像用作所述原始图像，且重复步骤c和d以获得额外的后续多个差分图像。

步骤b可被执行一次，且可以是硬件实施的一部分。若没有步骤e，可通过与额外的模糊函数、下抽样函数以及抗锯齿卷积函数相结合从所述原始图像中直接计算更多后续多个差分图像。

根据一个实施例，本发明涉及一种根据本发明的方法，其中，通过将额外的模糊、下抽样和抗锯齿卷积函数进行卷积，从所述原始图像中可直接计算出所述后续多个差分图像。

根据一个实施例，本发明涉及一种获得第一多个差分图像和至少一个后续多个差分图像的方法，所述方法包括：

a.根据本发明，使用多个模糊卷积函数，从一原始图像中获得第一多个差分函数；

b.对所述模糊原始图像进行下抽样以获得第一图像；

c.将所述多个模糊函数与抗锯齿函数进行卷积以获得下抽样抗锯齿卷积函数Acon；

d.将已获得的抗锯齿卷积函数Acon与所述第一图像进行卷积以获得后续图像；

e.根据本发明，从所述后续图像获得后续多个的差分图像；以及

f.可选地将所述后续图像作为原始图像，且重复步骤b、c和d以获得额外的后续多个差分图像，。

根据一个实施例，本发明涉及一种获得第一多个差分图像和后续多个差分图像的数量n的方法，所述方法包括：

a.根据本发明，使用多个模糊卷积函数，从一原始图像中获得所述第一多个差分图像；

b.通过将所述多个模糊函数与一下抽样函数和一抗锯齿函数进行卷积以获得第一下抽样抗锯齿卷积函数DAcon(1)；

c.当n大于1时，通过将之前下抽样抗锯齿卷积函数DAcon(t-1)与所述多个模糊函数、一下抽样函数及一抗锯齿函数进行卷积来获得额外的下抽样抗锯齿卷积函数DAcon(t)，步骤c从t＝2开始，且重复此步骤同时t等步长增加，直到t到达n；

d.将所有下抽样抗锯齿卷积函数DAcon与所述原始图像进行卷积以获得每个下抽样抗锯齿卷积函数DAcon(x)的图像(x)；

e.根据本发明，获得n个后续多个差分函数，并获得每个图像(x)的每个复数(x)。

本文引入的虚拟参数t和x用于区分函数、复数及图像。根据更近一步的实施例，步骤b和c只需执行一次且可由硬件实施。

根据一个实施例，本发明涉及一种识别图像特征的方法，所述图像特征在由多个像素定义的图像中在不同的尺度上稳定，其中，多重滤波步骤和重新抽样步骤可并行执行，所述方法包括“

a.根据本发明获得多个差分图像；

b.在所述多个差分图像中查找像素幅度极值；

c.针对每个所述差分图像的每个所述像素产生一个像素梯度向量；

d.将向量方向和与每个所述差分图像相关联的最大和最小的幅度的像素相关联。

根据一个实施例，本发明涉及一种方法，其中，多重滤波步骤为高斯滤波步骤。

根据一个实施例，本发明涉及一种从由多个像素定义的原始图像获得多个差分图像的图像处理装置，所述装置包括接收关于所述第一图像的数据的设备，对所述差分图像进行传输或存储的设备，以及处理设备，所述处理设备被配置为：通过将多个差分卷积函数Dif中的每一个与所述原始图像进行卷积计算所述原始图像的所述多个差分图像，以获得所述差分图像；其中，通过计算两个模糊卷积函数之差建立所述多个差分卷积函数Dif，所述两个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的不同的模糊度。

根据一个实施例，本发明涉及一种识别由多个像素定义的图像的尺度不变特征的图像处理装置，所述图像处理装置包括处理器电路，所述处理器电路被设置为：实施本发明中的一种方法。

根据一个实施例，本发明涉及一种图像处理装置，其中，所述处理器电路包括芯片(例如，CPU)。

根据一个实施例，本发明涉及一种图像处理装置，所述图像处理装置包括多个芯片，每个芯片被配置为计算至少一个差分图像。这就允许了差分图像的并行计算。

根据一个实施例，本发明涉及一种图像处理装置，其中，所述图像处理设备包括双线性插值器，所述双线性插值器包括乘法累加单元(MAC)、延迟线加法器以及控制逻辑块。

根据一个实施例，本发明涉及一种从由多个像素定义的原始图像获得多个差分图像的软件程序，所述软件程序使得多个处理器执行：通过将多个差分卷积函数Dif中的每一个与所述原始图像进行卷积以获得差分图像，由原始图像计算多个差分图像，使得所述多个处理器并行计算不同的差分图像；其中，通过计算两个模糊卷积函数之差建立所述多个差分卷积函数Dif，所述两个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的不同的模糊度。

根据一个实施例，本发明涉及一种识别由多个像素定义的图像的尺度不变特征的软件程序，所述软件程序被配置为：实施根据本发明的一种方法。

作为传统SIFT算法的一部分，对在多个尺度上出现的高斯差分(DoG)进行计算。尽管原则上可以使用其他函数，本申请中使用高斯函数进行解释。

在SIFT算法中，以一固定次数重复模糊输入图像且计算连续的模糊迭代间的差分。随后对产生的图像中的一个进行下抽样且重复模糊/差分操作。在每个尺度上采集几个“高斯差分”图像作为结果。该采集被称为高斯金字塔差分，本申请称为DoG金字塔。

根据本发明的一个方面，产生对于高斯金字塔中所有层的缩放图像且通过将所述缩放/下抽样图像与一个DoG内核进行卷积来并行计算所述金字塔的所有尺度的所有DoG图像，其中每个DoG内核的方差和幅度唯一。产生的卷积过程等同于通过许多2D FIR滤波器对所有尺度的缩放图像进行并行滤波，所述2D FIR滤波器的数量与所需的DoG图像数量一致。所述FIR滤波器的系数可被预先计算。

以在像素数量上的线性时间复杂度为特征的金字塔方法很好地适用于实时图像处理及分析，所述实时图像处理及分析包括应用如视频压缩，图像增强和重建以及图像分割和特征测量。

用于这些应用的某些实施例为：

●具有双边二次B样条滤波的缩放

●任意模糊宽度的有效图像模糊

●分散像素数据的平滑插值法

●贴图细化纹理

●用于检测梯度极值的尺度空间构造

本申请中，提出了一种方法和系统，如使用由组合的高斯滤波和重新抽样内核组成的解析滤波器的并行实例化达到的高斯金字塔的建立。为了对本发明进行说明，提出了通过所述SIFT算法建立检测梯度极值的尺度空间的方法和系统的实施例。

SIFT的计算过程中的主要阶段为尺度空间的构造。在此阶段，使用识别图像候补点的级联滤波方法检测敏感图像特征或者关键点。在之后的步骤中使用不同的手段估算和验证图像位置。

第一步是识别在敏感目标的不同位置变换下可以被重复分配的图像位置坐标和尺度。

通过搜索在不同尺度上的稳定特征的尺度函数执行对尺度不变的位置的查找。选择的的尺度空间卷积内核为用于定义输入图像的尺度空间函数的高斯函数。

为检测尺度空间中稳定的关键点位置，与图像相卷积的高斯函数(DoG)的差分D(x,y,σ)由计算两个被恒定的倍数因子k分离的相邻的尺度之间的差而得到。

DoG图像D(x,y,σ)通过下式得到：

D(x,y,σ)＝L(x,y,k_iσ)-L(x,y,k_jσ)，

其中，L(x,y,kσ)表示原始图像l(x,y)与尺度为kσ的高斯模糊或高斯内核G(x,y,kσ)的卷积，如,

L(x,y,kσ)＝G(x,y,kσ)*l(x,y)

符号“*”表示x与y的卷积运算。传统SIFT算法计算两个卷积，且随后计算所述两个卷积之差。

根据本发明的一个方面，通过用一个函数DiF卷积图像计算图像的两个卷积间的差分，所述函数DiF被计算为两个卷积函数之差：

D(x,y,σ)＝G(x,y,k_iσ)*l(x,y)-G(x,y,k_jσ)*l(x,y)

D(x,y,σ)＝(G(x,y,k_iσ)-G(x,y,k_jσ))*l(x,y)

D(x,y,σ)＝DiF(x,y,σ)*l(x,y)，

其中，

DiF(x,y,σ)＝G(x,y,k_iσ)-G(x,y,k_jσ)

由于两个卷积运算和所述差分的后续卷积被一个卷积运算所代替，因此通过此替换大大提高了运算速度。

通过使用高斯核，

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

两个高斯内核的卷积产生第三个高斯内核，且变量为组成高斯内核的变量之和：

$G(x,y,\mathrm{\σ})*G(x,y,\frac{\mathrm{\σ}}{s})=G(x,y,\mathrm{\σ}+\frac{\mathrm{\σ}}{s})$

用一个卷积代替重复卷积，所述一个卷积通过所述卷积函数的卷积获得。

类似地，所述DiF用两个高斯内核表示，其中，一个宽度是另一个的两倍,可被计算为：

$DiF(x,y,\mathrm{\σ})=G(x,y,2\mathrm{\σ})-G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}\left(\frac{1}{2}{e}^{\frac{3(x^2+y^2)}{{\mathrm{B\σ}}^2}}-1\right)}$

一般地，所述DiF用两个高斯内核表示，其中一个宽度是另一个的k倍，可被表示为：

$DiF(x,y,\mathrm{\σ})=G(x,y,k\mathrm{\σ})-G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}\mathrm{\σ}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}\left(\frac{1}{2}{e}^{\frac{(x^2+y^2)(k^2-1)}{2{\mathrm{\σ}}^2{k}^2}}-1\right)}$

附图和解释说明用于解释本发明而非限制。本领域技术人员可结合使用本发明中的方面，实施例和权利要求。

注释

图1通过示例示出了一个构建DoG函数的传统方法的传统方法。

按照高斯内核的级联性质，两个高斯内核的卷积产生第三个高斯内核。如上所述，当两个高斯内核进行卷积时，可以得到新的更宽的方差为σ²的高斯内核，方差σ²为构成高斯内核的方差之和。符号表示卷积。

因此，图1中位于每一级上的减法器输出处的高斯图像之差可被表达为：

$D_{n,m}=\[G(x,y,\mathrm{\σ}+n\frac{\mathrm{\σ}}{s})-G(x,y,\mathrm{\σ}+n(n-1\left)\frac{\mathrm{\σ}}{s}\right)\]\⊗I_{m-1}(x,y)\⊗K(x,y)\⊗G(x,y,{\mathrm{\σ}}_A)---\left(1\right)$

其中，n＝1,…s；且m从1至金字塔的级数。

并且因此，每一级的输入图像可被表示如下：

$I_m(x,y)=I_{m-1}(x,y)\⊗G(x,y,2\mathrm{\σ}+{\mathrm{\σ}}_A)\⊗K(x,y)---\left(2\right)$

其中，m≥1；因此图1可被重新表示为图2，允许使用DoG金字塔完全并行处理。

参考图2，重抽样内核和表示为hp_m的高斯内核路径的结合可被当做解析滤波器，其中，图像首先与插值内核k(x,y)进行卷积且随后与包含抗锯齿滤波的卷积内核G(x,y,2σ+σ_A)进行卷积。

插值内核与G(x,y,2σ+σ_A)相结合的解析滤波器可通过如下单个卷积内核来表示：

$q(x,y)=G(x,y,2\mathrm{\σ}+{\mathrm{\σ}}_A)\⊗K(x,y)=\underset{x_2,y_2}{\Σ}G(x_2,y_2)K(x-x_2,y-y_2)$

因此等式(2)可被重写为(见附录A中下面的证明)：

$I_n(x,y)=I_{n-1}(x,y)\⊗q(x,y)=\underset{x_1,y_1}{\Σ}{I}_{n-1}(x_1,y_1)q(x-x_1,y-)y_1$

或

$I_n(x,y)=\underset{x_1,y_1}{\Σ}{I}_{n-1}(x_1,y_1)\underset{x_2,y_2}{\Σ}G(x_2,y_2,2\mathrm{\σ}+{\mathrm{\σ}}_A)K(x-x_2-x_1,y-y_2-y_1)$

或

$I_n(x,y)=\underset{x_1,y_1,x_2,y_2}{\Σ}{I}_{n-1}(x_1,y_1)G(x_2,y_2,2\mathrm{\σ}+{\mathrm{\σ}}_A)K(x-x_2-x_1,y-y_2-y_1)$

一般地，通过K(x,y)表示的重新抽样函数可被视为狄拉克函数δ(x)。狄拉克函数是广义数学函数之一，并且当作为内尺度的限制减小到0时，所述狄拉克函数可由高斯函数表示。因此：

因此，任一抽样函数可被视为高斯内核，因此级联性质可被应用。

在特殊示例中，其中，重新抽样函数通过卷积为一插值(卷积插值法为用于重新抽样任意梯度间的数据的一般方法)，所述分解滤波器可通过一个高斯内核表示为

$h(x,y,{\mathrm{\σ}}_k+2\mathrm{\σ})=G(x,y,2\mathrm{\σ})\⊗K(x,y,{\mathrm{\σ}}_k)$

在另一个特殊实施例中，重新抽样包括下抽样函数，引入特殊符号用以方便表示解析滤波器与在每个维度中的减少值2^m之间的结合：

$f=h{\⊗}_{\↓}^{m}g$

其中，g表示输入图像，并且f是包含各个因子的结果图像：

$f_{r,c}=\underset{i=1}{\overset{ni}{\Σ}}\underset{j=1}{\overset{nj}{\Σ}}{h}_{i,j}{g}_{2^{m}r-\[i-n_i/2\],2^{m}r-\[j-n_j/2\]}$

其中，滤波罩h表示n_i×n_j的矩阵且图像g表示n_r×n_c的矩阵，矩阵因子f_r,c表示行指数为r，列指数为c。

在特殊示例中，所述下抽样内核为双线性插值器，所述解析双线性插值器根据以下公式通过在一个规模中的2×2内核的4个邻近像素的加权平均产生一个粗尺度中的单个像素：

$P_{new}=\frac{p(i,j)+p(i,j+1)+p(i+1,j)+p(i+1,j+1)}{4}$

其中，所述邻近像素被p(x,y)表示为

$s_{2\×2}=\left|\begin{array}{cc}i,j& i+1,j\\ i,j+1& i+1,j+1\end{array}\right|$

图3示出了这样一个插值器的方框图。图中所示的所述线性时不变离散时间系统可被表示为：

$y\left(n\right)=x_s\[n\]p\[n\]=\underset{t=-\mathrm{\∞}}{\overset{t=\mathrm{\∞}}{\Σ}}{x}_s\[tN\]\mathrm{\δ}\[n-tN\]$

$=\[\frac{1}{4}x\left(n\right)+\frac{1}{4}x(n-1)+\frac{1}{4}x(n-k+1)+\frac{1}{4}x(n-k)\]\·\underset{t=-\mathrm{\∞}}{\overset{t=\mathrm{\∞}}{\Σ}}\mathrm{\δ}\[n-tN\]$

其中，k为所述输入图像的线宽，t为整数且N为抽样周期。因此，

图4示出了有效双线性插值器的硬件实施的方框图。所述插值器由乘法累加单元(MAC)、延迟线计数器和控制逻辑块组成。所述插值器被配置为与当前的金字塔级处的图像中的一条线或多个线的多个像素的图像尺寸有关。图5大概示出了下抽样插值函数的流程图，示出了所述下抽样插值器中的控制逻辑。

附录A：单个运算中的插值法和卷积

若我们想要通过插值内核k(x,y)重新对图像f(x,y)抽样且将卷积内核p(x,y)与所述插值内核进行卷积，可通过卷积内核q(x,y)节省一个步骤，所述q(x,y)通过k(x,y)对p(x,y)卷积：

$q(x,y)=\underset{x_2,y_2}{\Σ}p(x_2,y_2)k(x-x_2,y-y_2)$

如果我们利用内核q(x,y)进行插值，将获得f_q(x,y)：

$f_q(x,y)=\underset{x_2,y_2}{\Σ}f(x_1,y_1)q(x-x_1,y-y_1)$

利用q(x,y)的定义代入：

$f_q(x,y)=\underset{x_2,y_2}{\Σ}f(x_1,y_1)\underset{x_2,y_2}{\Σ}p(x_2,y_2)k(x-x_1-x_2,y-y_1-y_2)$

对加和进行整理，则最终和为：

$f_q(x,y)=\underset{x_1,y_1,x_2,y_2}{\Σ}f(x_1,y_1)p(x_2,y_2)k(x-x_1-x_2,y-y_1-y_2)$

为证明上述公式，定义f_i(x,y)为插值后且卷积前的图像：

$f_i(x,y)=\underset{x_2,y_2}{\Σ}f(x_1,y_1)k(x-x_1,y-y_1)$

之后，将f_i(x,y)与p(x,y)卷积以得到最终结果，f_q(x,y)：

$f_q(x,y)=\underset{x_2,y_2}{\Σ}p(x_2,y_2)f_i(x-x_2,y-y_2)$

将f_i(x,y)的值代入上式，得到：

$f_q(x,y)=\underset{x_2,y_2}{\Σ}p(x_2,y_2)\underset{x_2,y_2}{\Σ}f(x_1,y_1)k(x-x_1-x_2,y-y_1-y_2)$

对加和进行整理，可得到与使用q(x,y)进行插入相同的结果：

$f_q(x,y)=\underset{x_1,y_1,x_2,y_2}{\Σ}f(x_1,y_1)p(x_2,y_2)k(x-x_1-x_2,y-y_1-y_2)$

值得注意的是所述插值内核为对比卷积内核更宽的的频率范围进行抽样的辛格(sinc)函数，我们需要使用所述卷积函数进行插入。

$q(x,y)=p(x,y)*k(x,y)\⇒F\left(q\right(x,y\left)\right)=P(u,v)K(u,v)$

由于sinc函数的傅里叶变换为一个方形：

F(sinc(x))＝∏(δ)

其中，若|s|不大于1/2则∏(s)＝1，否则为0，

P(u,v)K(u,v)＝P(u,v)

若K(u,v)存在一个范围使得无论当K(u,v)为何值时P(u,v)都为0.换句话说，无论P(u,v)是否被限制在一个比插值sinc函数K(u,v)的限制带宽更小的带宽中，Q(u,v)＝P(u,v)都成立。

Claims (10)

1.一种配置为进行并行计算以获得第一组差分图像和后续n组差分图像的方法，所述方法包括：

a.从由多个像素定义的一原始图像获得第一组差分图像，所述第一组差分图像由以下步骤获得：

i.提供多个模糊卷积函数，所述多个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的增加的模糊度；

ii.通过计算所述多个模糊卷积函数中的任意两个模糊卷积函数之差建立多个差分卷积函数Dif，通过所述两个模糊卷积函数中的每一个与所述原始图像的卷积提供所述原始图像的不同的模糊度；

iii.通过将所述多个差分卷积函数Dif中的每一个与所述原始图像进行卷积来计算所述原始图像的多个差分图像，以获得差分图像，

b.通过将所述多个模糊卷积函数与一下抽样函数和一抗锯齿函数进行卷积获得第一下抽样抗锯齿卷积函数DAcon(1)；

c.当n大于1时，通过将之前下抽样抗锯齿卷积函数DAcon(t-1)与所述多个模糊卷积函数、一下抽样函数和一抗锯齿函数进行卷积来获得额外的下抽样抗锯齿卷积函数DAcon(t)；此步骤从t＝2开始且重复此步骤同时t等步长增加，直到t到达n；

d.将所有下抽样抗锯齿卷积函数与所述原始图像进行卷积以获得针对每个下抽样抗锯齿卷积函数的图像；

e.获得后续n组差分图像，其中，后续每组差分图像是从步骤d中所获得的、针对每个下抽样抗锯齿卷积函数的所述图像来获得的，

其中，所述模糊卷积函数为高斯函数。

2.根据权利要求1所述的方法，用于识别所述原始图像的尺度不变特征的方法中。

3.根据权利要求1所述的方法，其中，所述多个差分卷积函数被建立一次 且重复用于所述差分图像的后续计算。

4.根据权利要求1所述的方法，其中，所述多个差分卷积函数Dif中的每一个由多项式近似表示。

5.根据权利要求2所述的方法，其中，识别所述原始图像的尺度不变特征的方法中，其中，经识别的图像特征在由多个像素定义的图像的不同尺度下稳定，其中，多重滤波步骤和重新抽样步骤可被并行执行，所述方法包括：

a.获得所述多个差分图像；

b.在所述多个差分图像中查找像素幅度极值；

c.针对每个所述差分图像的每个所述像素产生一个像素梯度向量；

d.将向量方向和与每个所述差分图像相关联的各自的实际的最大和最小的幅度的像素相关联。

6.一种配置为进行并行计算以从由多个像素定义的原始图像获得多个差分图像的图像处理装置，所述装置包括接收关于所述原始图像的数据的模块，对所述差分图像进行传输或存储的模块以及处理模块，所述图像处理装置被配置为：

a.从所述原始图像获得第一组差分图像，所述第一组差分图像由以下步骤获得：

i.提供多个模糊卷积函数，所述多个模糊卷积函数中的每一个通过与所述原始图像的卷积提供所述原始图像的增加的模糊度；

ii.通过计算所述多个模糊卷积函数中的任意两个模糊卷积函数之差建立多个差分卷积函数Dif，通过所述两个模糊卷积函数中的每一个与所述原始图像的卷积提供所述原始图像的不同的模糊度；

iii.通过将所述多个差分卷积函数Dif中的每一个与所述原始图像进行卷积计算所述原始图像的多个差分图像，以获得差分图像，

b.通过将所述多个模糊卷积函数与一下抽样函数和一抗锯齿函数进行卷积获得第一下抽样抗锯齿卷积函数DAcon(1)；

c.当n大于1时，通过将之前下抽样抗锯齿卷积函数DAcon(t-1)与所述多个模糊卷积函数、一下抽样函数和一抗锯齿函数进行卷积来获得额外的下抽样抗锯齿卷积函数DAcon(t)；此步骤从t＝2开始且重复此步骤同时t等步长增加，直到t到达n；

d.将所有下抽样抗锯齿卷积函数与所述原始图像进行卷积以获得针对每个下抽样抗锯齿卷积函数的图像；

e.获得后续n组差分图像，后续每组差分图像是从步骤d中所获得的、针对每个下抽样抗锯齿卷积函数的所述图像来获得的，

其中所述模糊卷积函数为高斯函数。

7.根据权利要求6所述的图像处理装置，其中，所述处理模块包括芯片。

8.根据权利要求6所述的图像处理装置，所述图像处理装置包括多个芯片，每个所述芯片被配置为计算至少一个所述差分图像。

9.根据权利要求6所述的图像处理装置，其中，所述图像处理装置包括双线性插值器，所述双线性插值器包括乘法累加单元MAC、延迟线加法器以及控制逻辑块。

10.根据权利要求7所述的图像处理装置，其中，所述芯片为CPU。