CN103514451B

CN103514451B - 提取高容量源图像的特征信息的设备和方法

Info

Publication number: CN103514451B
Application number: CN201310246567.2A
Authority: CN
Inventors: 太龙旻; 文永秀; 赵程昱; 车俊赫; 朴贤相; 李时和
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-06-20
Filing date: 2013-06-20
Publication date: 2019-01-04
Anticipated expiration: 2033-06-20
Also published as: EP2677463A2; JP6121810B2; JP2014002747A; US9171227B2; CN103514451A; KR20130142661A; KR101904203B1; EP2677463A3; US20130343655A1

Abstract

提供了一种使用尺度不变特征变换（SIFT）算法提取高容量源图像的特征信息的设备和方法。所述设备可包括：第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，并且第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。

Description

提取高容量源图像的特征信息的设备和方法

本申请要求2012年6月20日提交到韩国知识产权局的第10-2012-0066061号韩国专利申请的优先权利益，该申请的公开通过引用合并于此。

技术领域

示例实施例涉及一种通过将高容量源图像划分为至少一个块（tile）图像并读取所述至少一个块图像，使用尺度不变特征变换（SIFT）算法而不管SIFT核心的处理容量来提取特征信息的设备和方法。

背景技术

提取图像中的特征的位置并存储所述特征的描述符的尺度不变特征变换（SIFT）算法在图像处理应用中被广泛使用。

使用SIFT算法产生的包括特征位置和描述符的特征信息针对亮度的改变、旋转、缩放比例的改变和视点具有鲁棒属性。

因此，SIFT算法被用于对图像处理应用中的至少两个图像进行匹配。

也就是说，由于SIFT算法提取针对图像尺寸的改变、旋转和亮度的改变的鲁棒特征，故SIFT算法可被用于图像中的校正匹配。

使用SIFT算法提取特征信息，需要相对大量的计算。

将SIFT算法实现为硬件并将更高等级算法实现为软件的方法在处理高清晰度高容量图像中会是有利的。

SIFT算法可被实现为用于分布式图像处理的硬件和软件。然而，尽管存在与高清晰度高容量图像的快速处理相关联的硬件成本，可优选的是将所有功能的处理作为硬件。

发明内容

通过提供一种用于提取特征信息的设备来实现前述和/或其它方面，所述设备包括：第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。

第一主接口单元可被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。

特征信息提取单元可被配置用于提取所述至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。

特征信息提取单元可被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度（octave），通过将所述至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像，从产生的所述至少一个高斯图像产生至少一个高斯差分（DoG）图像，从产生的所述至少一个DoG图像产生候选特征，并从候选特征提取特征信息。

特征信息提取单元可被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，从确定的所述至少一个第一子八度确定第一候选特征，通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，基于产生的所述至少一个第二子八度确定第二候选特征，并通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。

所述设备还可包括：第二主接口单元，被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。

第一主接口单元可被配置用于从存储在高容量短期存储器中的第二源图像产生至少一个块图像，特征信息提取单元可被配置用于接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。

通过提供一种用于提取特征信息的设备来实现前述和/或其它方面，所述设备包括：读取单元，被配置用于在高容量短期存储器中读取从第一源图像划分的至少一个第一块图像；尺度不变特征变换（SIFT）算法操作单元，被配置用于通过将SIFT算法应用到读取的所述至少一个第一块图像来产生第一候选特征，并通过将所述至少一个第一块图像缩小尺寸来输出至少一个第二块图像；写入单元，被配置用于通过合成输出的所述至少一个第二块图像来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理，读取单元可被配置用于读取从第二源图像划分的所述至少一个第二块图像，SIFT算法操作单元可被配置用于从读取的所述至少一个第二块图像产生第二候选特征，并基于产生的第一候选特征和产生的第二候选特征产生特征信息。

读取单元可被配置用于读取基于第一源图像的水平分辨率从第一源图像划分的所述至少一个第一块图像，并读取基于第二源图像的水平分辨率从第二源图像划分的所述至少一个第二块图像。

读取单元可被配置用于读取所述至少一个第一块图像中的每一个或者所述至少一个第二块图像中的每一个，从而具有预定区域的所述至少一个第一块图像和所述至少一个第二块图像的重叠区域存在。

写入单元可被配置用于通过基于重叠区域合成所述至少一个第二块图像来产生第二源图像。

通过提供一种提取源图像的特征信息的方法来实现前述和/或其它方面，所述方法包括：由第一主接口单元从存储在高容量短期存储器中的第一源图像产生至少一个块图像；由特征信息提取单元接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，从第一源图像产生所述至少一个块图像的步骤可包括通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。

提取特征信息的步骤可包括：将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定至少一个第一候选特征；通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征；通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。

所述方法还可包括：由第二主接口单元通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。

所述方法还可包括：由第一主接口单元从存储在高容量短期存储器中的第二源图像产生至少一个块图像，确定第二候选特征的步骤可包括接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。

将在接下来的描述中部分阐述实施例另外的方面，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。

附图说明

通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚和更易于理解，其中：

图1示出用于提取特征信息的设备的示例；

图2示出将源图像划分为至少一个块图像的示例；

图3示出对使用尺度不变特征变换（SIFT）算法提取了候选特征的至少一个块图像进行缩小尺寸、合成和写入处理的示例；

图4示出特征信息提取单元的示例；

图5示出由特征信息提取单元针对每个子八度产生的高斯图像和高斯差分（DoG）图像的示例；

图6示出用于提取特征信息的设备的示例；

图7示出源图像的示例；

图8示出从图7的源图像产生的至少一个块图像的示例；

图9示出使用至少一个块图像在源图像中检测的至少一个特征信息；

图10示出提取特征信息的方法。

具体实施方式

现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。以下通过参照附图对实施例进行描述以解释本公开。

图1示出用于提取特征信息的设备100的示例。

根据示例的用于提取特征信息的设备100可包括：第一主接口单元120，被配置用于从存储在高容量短期存储器110中的第一源图像产生至少一个块图像；特征信息提取单元130，被配置用于接收产生的至少一个块图像的输入并用于从所述至少一个块图像输入提取特征信息。

例如，高容量短期存储器110可与随机存取存储器（RAM）的类型相应，并可以是通常被用作计算机的存储器的动态RAM（DRAM）等。

第一主接口单元120可通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像。

所述至少一个块图像可以是从第一源图像划分的图像。

所述至少一个块图像可以是基于第一源图像的水平分辨率从第一源图像划分的部分图像。

也就是说，第一主接口单元120可通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像。

在该示例中，第一主接口单元120可产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。

重叠区域可以是这样的范围（margin）：由于第一块图像和第二块图像是不邻近的，从而使通过尺度不变特征变换（SIFT）算法难以被提取的特征信息能够被提取。

提取的特征信息可以是描述符。

在该示例中，第三主接口单元150可以是用于存储提取的特征信息（即，DRAM或外部高容量静态随机存取存储器（SRAM）缓冲器（例如，便笺式存储器（SPM））中的描述符）的主接口。

参照图2提供块图像、第一块图像、第二块图像和源图像中的至少一个的详细描述。

图2示出将源图像200划分为至少一个块图像的示例。

如图2中所示，源图像200可以是具有分辨率“H₁×V₁”的图像。

也就是说，源图像200可具有水平分辨率H₁和垂直分辨率V₁。

可使用包括由第一主接口单元从源图像200划分的第一块图像210和第二块图像220的至少一个块图像来读取根据示例的源图像200。

在该示例中，第一块图像210和第二块图像220可包括具有宽度H₀的重叠区域230中的公共图像。

也就是说，根据示例的第一主接口单元可将源图像200划分为第一块图像210和第二块图像220，从而形成具有宽度H₀的重叠区域230。

相似地，第一主接口单元可将源图像200划分为其它块图像，从而形成具有宽度H₀的重叠区域230。

第一块图像210和第二块图像220可均相应于具有水平分辨率H₁和垂直分辨率V₁的源图像200的部分图像。

第一块图像210和第二块图像220的公共图像可被包括在具有宽度H₀的重叠区域230中。

第一块图像210可包括在与水平分辨率H_S-H₀相应的区域中的非重叠图像。

第二块图像220可包括在与水平分辨率H_S-2H₀相应的区域中的非重叠图像。

参照图1，根据示例的特征信息提取单元130可提取至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。

特征信息提取单元130可使用SIFT算法从至少一个块图像产生特征位置以及与特征位置相应的描述符。

也就是说，特征信息提取单元130可将输入的至少一个块图像确定为至少一个第一子八度。

另外，特征信息提取单元130可通过将至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像。

特征信息提取单元130可使用等式1从第一子八度和高斯滤波器产生高斯图像。

[等式1]

这里，L(x,y,σ)可表示高斯图像，G(x,y,σ)作为高斯滤波器，I(x,y)作输入的为至少一个块图像，即，第一子八度。

在该示例中，特征信息提取单元130可通过改变高斯滤波器中的用于改变模糊的程度的sigma值σ来产生至少一个高斯图像。

高斯滤波器中的sigma值σ可表示输入图像（即，源图像）的多个预定的标准差系数值。

也就是说，特征信息提取单元130可通过使用高斯滤波器中的sigma值σ的改变将G(x,y,σ)与I(x,y)进行卷积来产生L(x,y,σ)。

例如，高斯滤波器中的初始sigma值σ可被确定为1.6，并可通过根据因子2改变高斯滤波器中的初始sigma值σ来产生至少一个高斯图像。

另外，特征信息提取单元130可如等式2中所示使用等式1来产生G(x,y,σ)。

[等式2]

这里，G(x,y,σ)可表示高斯滤波器，x和y作为输入子八度的位置信息，σ作为用于改变高斯图像的模糊的程度的信息。

特征信息提取单元130可从产生的至少一个高斯图像产生至少一个高斯差分（DoG）图像。

例如，特征信息提取单元130可使用等式3产生DoG图像。

也就是说，特征信息提取单元130可对每个子八度使用产生的至少一个高斯图像之间的差来产生至少一个DoG图像。

[等式3]

这里，D(x,y,σ)可表示块图像的由输入的x和y指示的位置处的DoG图像。

G(x,y,kσ)和G(x,y,σ)可表示在产生高斯图像中使用的高斯滤波器。在该示例中，G(x,y,kσ)可表示具有sigma值kσ的高斯滤波器，G(x,y,σ)可表示具有sigma值σ的高斯滤波器。

G(x,y,kσ)可表示用于产生与使用G(x,y,σ)产生的高斯图像邻近的高斯图像的高斯滤波器。

k可表示用于改变通过将高斯滤波器的sigma值增加预定的数量产生的高斯图像的模糊的程度的常量。

I(x,y)可表示输入的至少一个块图像，即，第一子八度。

特征信息提取单元130可使用等式1到等式3产生与第一子八度相应的DoG图像。

另外，特征信息提取单元130可从产生的DoG图像提取第一候选特征。

特征信息提取单元130可使用等式1到等式3产生与第二子八度相应的DoG图像。

另外，特征信息提取单元130可从产生的DoG图像提取第二候选特征。

特征信息提取单元130可对预定数量的子八度中的每一个提取候选特征，并可从提取的候选特征提取特征信息。

也就是说，特征信息提取单元130可将输入的至少一个块图像确定为至少一个第一子八度，并可从确定的至少一个第一子八度提取第一候选特征。

另外，特征信息提取单元130可将至少一个第一子八度缩小尺寸以产生减小的图像。

特征信息提取单元130可读取使用从第二源图像划分的至少一个块图像从减小的图像产生的第二源图像，并可产生被读取为第二子八度的至少一个块图像。

特征信息提取单元130可基于产生的至少一个第二子八度确定第二候选特征，并可通过将确定的第一特征与确定的第二特征进行比较来提取特征信息。

在该示例中，第二子八度可以是通过合成减小的图像中的每对预定的减小的图像而产生的至少一个块图像，所述减小的图像通过将至少一个第一子八度缩小尺寸而产生。

第二源图像可以是通过合成包括在第二子八度中的至少一个块图像并去除至少一个块图像的重叠区域而产生的整个图像。

也就是说，第二源图像可以是通过以预定比率减小第一源图像的水平分辨率和垂直分辨率而产生的图像。

例如，第二源图像可以是通过将第一源图像的水平分辨率和垂直分辨率均按照一半的因子减小而产生的图像。

根据示例的用于提取特征信息的设备还可包括第二主接口单元140，用于通过将第一源图像缩小尺寸来产生第二源图像。

第二主接口单元140可通过将至少一个第一子八度缩小尺寸来产生至少一个减小的图像。

另外，第二主接口单元140可通过去除产生的至少一个减小的图像的重叠区域来产生第二源图像，并可执行产生的第二源图像到高容量短期存储器的写入处理。

参照图3来进一步地详细描述由第二主接口单元140产生的第二源图像。

图3示出对使用SIFT算法提取了候选特征的至少一个块图像进行缩小尺寸、合成和写入处理的示例。

第二主接口单元140可接收至少一个第二子八度的输入。

也就是说，第二主接口单元140可通过将至少一个第一子八度缩小尺寸来产生至少一个减小的图像310。

减小的图像310可以是具有减小到第一源图像的至少一个块图像的一半的水平分辨率和垂直分辨率的至少一个块图像的集。

也就是说，减小的图像310可具有水平分辨率H_S’和垂直分辨率V₂。

第二主接口单元140可通过合成通过将第一源图像的至少一个块图像中的每一个缩小尺寸而产生的至少一个减小的图像310来产生第二源图像320。

由于通过将第一源图像的水平分辨率和垂直分辨率减小到一半来产生第二源图像320，故第二源图像320可具有H₁/2的水平分辨率H₂和V₁/2的垂直分辨率V₂。

第二主接口单元140可基于减小的图像310和另一邻近的减小的图像的重叠区域来产生第二源图像320。

第二主接口单元140可通过合成至少一个减小的图像310并去除至少一个减小的图像310的每一个中的与水平分辨率H₀’相应的重叠区域（以避免形成双重重叠区域）来产生第二源图像320。

也就是说，当第二主接口单元140合成至少一个减小的图像310时，在合成中使用的至少一个减小的图像310的每一个的水平分辨率可实际上是H_S’-H₀’。

例如，在用于提取特征信息的设备100中的线缓冲器的可处理容量与第一源图像的水平分辨率H_S相应的情况下，当用于提取特征信息的设备100中的线缓冲器的可处理容量与H_S相应时，两个减小的图像310的合成的图像可通过关系式H_S=2H_S’而与第二源图像320的块图像相应。

也就是说，不同源图像的块图像可具有相同的水平分辨率。这可能是由于块图像的水平分辨率是基于线缓冲器的容量而被确定。

第一主接口单元120可从存储在高容量短期存储器110中的第二源图像产生至少一个块图像。

特征信息提取单元130可接收从第二源图像320产生的至少一个块图像的输入，并可确定第二候选特征。

在该示例中，从第二源图像320产生的至少一个块图像可以是第二子八度。

第二子八度可以是从第二源图像320划分的与线缓冲器的可处理容量相应的块图像的集。包括在第一子八度中的至少一个块图像的水平分辨率可等于包括在第二子八度中的至少一个块图像的水平分辨率。

特征信息提取单元130可预定次数迭代地产生包括第一候选特征和第二候选特征的候选特征，并可从产生的候选特征提取特征信息。

特征信息提取单元130可提取至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。

因此，用于提取特征信息的设备100可提供用于处理SIFT算法的硬件而不论源图像的分辨率如何。

另外，用于提取特征信息的设备100在不存在SRAM容量扩展的情况下通过使用SRAM和DRAM两者来处理高分辨率图像。

另外，用于提取特征信息的设备100可通过从存储整个图像的DRAM迭代地读取与允许的SRAM容量相应的图像而使图像处理能够进行。

图4示出特征信息提取单元400的示例。

特征信息提取单元400可按照水平方向将源图像划分为具有可由核心处理的尺寸的至少一个块图像，可读取至少一个块图像，并可从读取的至少一个块图像产生特征信息。

特征信息提取单元400包括高斯图像产生单元410、DoG图像产生单元420、候选特征位置计算单元430、数据收集单元440、特征确定单元450、描述符产生单元460和缩小尺寸器470。

高斯图像产生单元410可通过读取作为第一子八度的从源图像划分的至少一个块图像来产生高斯图像。

高斯图像产生单元410可通过将输入的至少一个块图像与高斯滤波器进行卷积来产生至少一个高斯图像。

可通过改变高斯滤波器中的用于改变模糊的程度的sigma值来产生至少一个高斯图像。

DoG图像产生单元420可从产生的至少一个高斯图像产生至少一个DoG图像。

也就是说，针对每个子八度，DoG图像产生单元420可使用产生的至少一个高斯图像之间的差来产生至少一个DoG图像。

候选特征位置计算单元430可从产生的至少一个DoG图像产生候选特征。

数据收集单元440可从产生的高斯图像获得产生描述符所必需的数据。

特征确定单元450可通过提取由候选特征位置计算单元430产生的候选特征中的仅鲁棒特征来提取特征。

描述符产生单元460可使用由数据收集单元440获得的产生描述符所必需的数据和由特征确定单元450提取的特征来产生描述符。

在该示例中，将被产生的描述符可以是在此使用的特征信息。

缩小尺寸器470可按照预定比率将从源图像读取的子八度缩小尺寸以产生减小的图像，并可输出减小的图像。

在减小的图像被输出之后，减小的图像可基于重叠区域经历合成，并可作为第二源图像被记录在高容量短期存储器（例如，DRAM）中。

图5示出由特征信息提取单元130针对每个子八度产生的高斯图像和DoG图像的示例。

源图像可基于线缓冲器的容量而被划分为至少一个块图像。

划分的至少一个块图像的集可以是第一子八度。

第一子八度可以与高斯滤波器进行卷积以产生至少一个高斯图像510。

可通过将包括在第一子八度中的至少一个块图像与高斯滤波器进行卷积来产生至少一个高斯图像510。

可通过在按照顺序改变sigma值（σ）的同时，将第一子八度与高斯滤波器的sigma值σ进行卷积来产生至少一个高斯图像510。

也就是说，sigma值可具有初始值σ，并可通过增加因子k而按照顺序被改变。

这里，k可相应于用于通过将高斯滤波器的sigma值增加预定因子来改变高斯图像的模糊的程度的常量，并可以是例如

特征信息提取单元130可从高斯图像510产生至少一个DoG图像520，其中，高斯图像510从第一子八度产生。

特征信息提取单元130可从DoG图像520提取第一候选特征。

特征信息提取单元130可产生从第二源图像读取的第二子八度的高斯图像530，其中，高斯图像530通过按照一半的因子缩小尺寸而被产生。

特征信息提取单元130可从第二子八度的产生的高斯图像530产生至少一个DoG图像540。

特征信息提取单元130可从产生的至少一个DoG图像540提取第二候选特征。

特征信息提取单元130可从提取的第一候选特征和提取的第二候选特征产生特征信息。

图6示出用于提取特征信息的设备600的示例。

根据示例的用于提取特征信息的设备600包括读取单元620、SIFT算法操作单元630和写入单元640。

读取单元620可读取高容量短期存储器中的从第一源图像划分的至少一个第一块图像。

SIFT算法操作单元630可通过将SIFT算法应用到读取的至少一个第一块图像来产生第一候选特征，并可通过将至少一个第一块图像缩小尺寸来输出至少一个第二块图像。

写入单元640可通过合成输出的至少一个第二块图像来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。

另外，读取单元620可读取从第二源图像划分的至少一个第二块图像。

另外，SIFT算法操作单元630可从读取的至少一个第二块图像产生第二候选特征，并可基于产生的第一候选特征和产生的第二候选特征产生特征信息。

将被处理的图像的尺寸可呈现作为硬件的SIFT算法的实施中的障碍。

也就是说，SIFT算法可被应用于DoG图像、多子八度和多缩放，因此，将被处理的图像的尺寸的增加可呈现为显著障碍。在该示例中，子八度可与图像的尺寸相应，缩放可以是高斯滤波器被应用于图像的尺寸。

为了提取特征位置，根据示例的用于提取特征信息的设备600的读取单元620可使用具有预定尺寸的块图像读取存储在高容量短期存储器中的源图像。

也就是说，读取单元620可使用基于第一源图像的水平分辨率从第一源图像划分的至少一个第一块图像读取第一源图像，并可使用基于第二源图像的水平分辨率从第二源图像划分的至少一个第二块图像读取第二源图像。

在该示例中，读取单元620可读取至少一个第一块图像中的每一个或者至少一个第二块图像中的每一个，从而呈现具有预定区域的重叠区域。

SIFT算法操作单元630可通过将具有多个预定的标准差系数值的高斯滤波器应用于读取的块图像来产生至少一个高斯图像。

另外，SIFT算法操作单元630可使用产生的至少一个高斯图像之间的差来产生至少一个DoG图像。

另外，SIFT算法操作单元630可在产生的DoG图像中寻找初始特征位置，并可提取仅鲁棒特征。

产生的高斯图像中的一个可被缩小尺寸并可被用作下一子八度的输入图像。

图7示出源图像700的示例。

根据示例的源图像700可与具有1600（水平）×1200（垂直）的分辨率的高容量图像相应。

根据示例的用于提取特征信息的设备可以以具有低硬件费用的半实时来多帧后处理诸如源图像700的高清晰度高容量图像。

用于提取特征信息的设备可通过从DRAM迭代地读取与允许的SRAM容量相应的图像而使按照水平方向的分区图像处理能够进行。由于分区图像处理，使得可通过将SIFT算法应用于具有任意尺寸的图像来提取特征信息。

因此，用于提取特征信息的设备可将源图像700划分为块图像并可读取块图像。

图8示出从图7的源图像700产生的至少一个块图像800的示例。

至少一个块图像800可包括第一块图像810、第二块图像820和第三块图像830。

当源图像700具有1600×1200的分辨率时，源图像700可被划分为与666的水平分辨率相应的第一块图像810、与666的水平分辨率相应的第二块图像820以及与333的水平分辨率相应的第三块图像830。在该示例中，每个块图像之间的重叠区域840的水平分辨率可被确定为13。

SIFT核心可使用每个块图像读取源图像700，并可输出描述符和减小的图像。

输出的描述符可通过第三主接口单元被存储在外部高容量SRAM缓冲器（例如，SPM）中。

输出的具有减小到源图像700的一半的水平分辨率和垂直分辨率的减小的图像可被存储在DRAM中。

可通过使用块图像读取源图像700，通过使用SIFT算法来处理源图像700而不论图像的分辨率如何。

为了使用块图像读取整个图像，可以以等式4中示出的次数R迭代地操作SIFT核心。

[等式4]

在该示例中，H可表示源图像的水平分辨率，V可表示源图像的垂直分辨率，H_F可表示特征可由SIFT核心找到的水平分辨率，H_O可表示将被滤波的块图像重叠的区域（即，重叠区域）的宽度。

在源图像中，按照水平方向在DRAM中读取的第一块图像可以在1到（H_F-H_O）的范围中。

与按照水平方向在DRAM中读取的第一块图像邻近的第二块图像可以在（H_F-3H_O）到（2H_F-H_O）的范围中。

按照水平方向在DRAM中读取的第N块图像可以在（（N-1）×（H_F-2H_O）-H_O）到（N×（H_F-2H_O）+H_O）的范围中。

按照水平方向在DRAM中读取的第R块图像可以在（（R-1）×（H_F-2H_O）-H_O）到（H）的范围中。

在该示例中，在垂直方向上读取的每个块图像可以在1到V的范围中。

图9示出使用至少一个块图像在源图像900中检测的至少一个特征信息910。

源图像900中的提取的特征信息910可包括特征位置和关于特征位置的信息。

提取的特征信息910可具有针对亮度的改变、旋转、缩放比例的改变以及视点的鲁棒属性。因此，使用特征信息910的图像处理可被广泛用于在至少两个图像之间的匹配。

图10示出提取特征信息的方法的示例。

在操作1001，可从存储在高容量短期存储器中的第一源图像产生至少一个块图像。

在操作1002，可接收产生的至少一个块图像的输入，并可从输入的至少一个块图像确定候选特征。

也就是说，可将输入的至少一个块图像确定为至少一个第一子八度，并且可从确定的至少一个第一子八度确定第一候选特征。

在操作1003，可验证是否预定次数迭代地将源图像缩小尺寸，并可确定是否再次进行缩小尺寸。

在操作1004，当确定执行缩小尺寸时，可将至少一个第一子八度缩小尺寸以产生至少一个减小的图像，并且可合成产生的至少一个减小的图像以产生新的源图像。

在该示例中，可基于产生的至少一个减小的图像的重叠的区域来产生新的源图像。

在操作1001，可将从新的源图像产生的至少一个块图像产生为第二子八度。另外，在操作1002，可从第二子八度确定第二候选特征。

在操作1003，当缩小尺寸的重复次数达到预定次数时，可确定停止缩小尺寸。

在操作1005，可从确定的候选特征提取特征信息。

根据上述实施例的方法可被记录在非暂时计算机可读介质中，所述非暂时计算机可读介质包括用于实现由计算机实施的各种操作的程序指令。所述介质还可单独包括程序指令、数据文件、数据结构等或包括它们的组合。非暂时计算机可读介质的示例包括磁介质（诸如，硬盘、软盘和磁带）、光介质（诸如，CD ROM盘和DVD）、磁光介质（诸如光盘）和特别配置用于存储和执行程序指令的硬件装置（诸如，只读存储器（ROM）、RAM、闪存）等。程序指令的示例包括诸如由编译器产生的机器码以及包含可由计算机使用解释器执行的更高级代码的文件。所述硬件装置可被配置作为一个或多个软件模块以执行上述实施例的操作，反之亦然。

使用SIFT算法的传统硬件系统仅从具有有限分辨率的图像提取特征。由于随着相机性能的提高使用具有更高分辨率的图像，因此高清晰度图像处理是不可缺少的。因此，用于实施SIFT算法而无论图像的分辨率如何的硬件结构可成为高清晰度图像处理中的必要元件。

根据示例的用于提取特征信息的设备和方法可在不存在SRAM容量扩展的情况下通过使用SRAM和DRAM两者来使用SIFT算法处理具有任意分辨率的图像。

也就是说，根据示例的用于提取特征信息的设备和方法可通过从存储整个图像的DRAM迭代地读取与允许的SRAM容量相应的图像而使图像处理能够进行。

因此，用于处理高清晰度图像的SIFT核心可被有效地实施为物理元件，并且高附加值图像可被实时处理。

另外，根据示例的用于提取特征信息的设备和方法可使用需要高容量存储器的图像处理算法以及SIFT算法来处理图像而无论图像的分辨率如何。

虽然已经显示和描述了实施例，但本领域技术人员应理解，在不脱离范围由权利要求及其等同物限定的本公开的原理和精神的情况下，可对这些实施例做出改变。

Claims

1.一种用于提取特征信息的设备，所述设备包括：

第一主接口单元，被配置用于从存储在高容量短期存储器中的第一源图像产生至少一个块图像；以及

特征信息提取单元，被配置用于接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，

其中，第一主接口单元被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生所述至少一个块图像，

其中，块图像的水平分辨率是基于线缓冲器的容量而被确定，

其中，第一主接口单元被配置用于通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在。

2.如权利要求1所述的设备，其中，特征信息提取单元被配置用于提取所述至少一个块图像的特征位置以及与特征位置相应的描述符中的至少一个作为特征信息。

3.如权利要求1所述的设备，其中，特征信息提取单元被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，通过将所述至少一个第一子八度与高斯滤波器进行卷积来产生至少一个高斯图像，从产生的所述至少一个高斯图像产生至少一个高斯差分DoG图像，从产生的所述至少一个DoG图像产生候选特征，并从候选特征提取特征信息。

4.如权利要求1所述的设备，其中，特征信息提取单元被配置用于将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定第一候选特征，

特征信息提取单元被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征，以及

特征信息提取单元被配置用于通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。

5.如权利要求4所述的设备，还包括：

第二主接口单元，被配置用于通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。

6.如权利要求5所述的设备，其中，第一主接口单元被配置用于从存储在高容量短期存储器中的第二源图像产生至少一个块图像，以及

特征信息提取单元被配置用于接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。

7.一种用于提取特征信息的设备，所述设备包括：

读取单元，被配置用于在高容量短期存储器中读取从第一源图像划分的至少一个第一块图像；

尺度不变特征变换SIFT算法操作单元，被配置用于通过将SIFT算法应用到读取的所述至少一个第一块图像来产生第一候选特征，并通过将所述至少一个第一块图像缩小尺寸来输出至少一个第二块图像；以及

写入单元，被配置用于通过合成输出的所述至少一个第二块图像来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理，

其中，读取单元被配置用于读取从第二源图像划分的所述至少一个第二块图像，以及

SIFT算法操作单元被配置用于从读取的所述至少一个第二块图像产生第二候选特征，并基于产生的第一候选特征和产生的第二候选特征产生特征信息，

其中，读取单元被配置用于读取基于第一源图像的水平分辨率从第一源图像划分的所述至少一个第一块图像，并读取基于第二源图像的水平分辨率从第二源图像划分的所述至少一个第二块图像。

8.如权利要求7所述的设备，其中，读取单元被配置用于读取所述至少一个第一块图像中的每一个或者所述至少一个第二块图像中的每一个，从而具有预定区域的所述至少一个第一块图像和所述至少一个第二块图像的重叠区域存在。

9.如权利要求8所述的设备，其中，写入单元被配置用于通过基于重叠区域合成所述至少一个第二块图像来产生第二源图像。

10.一种提取源图像的特征信息的方法，所述方法包括：

由第一主接口单元从存储在高容量短期存储器中的第一源图像产生至少一个块图像；以及

由特征信息提取单元接收产生的所述至少一个块图像的输入并从输入的所述至少一个块图像提取特征信息，

其中，从第一源图像产生所述至少一个块图像的步骤包括通过基于第一源图像的水平分辨率划分第一源图像来产生第一块图像和第二块图像，从而具有预定区域的第一块图像和第二块图像的重叠区域存在，

其中，块图像的水平分辨率是基于线缓冲器的容量而被确定。

11.如权利要求10所述的方法，其中，提取特征信息的步骤包括：

将输入的所述至少一个块图像确定为至少一个第一子八度，并从确定的所述至少一个第一子八度确定至少一个第一候选特征；

通过将所述至少一个第一子八度缩小尺寸来产生至少一个第二子八度，并基于产生的所述至少一个第二子八度确定第二候选特征；以及

通过将确定的第一候选特征与确定的第二候选特征进行比较来提取特征信息。

12.如权利要求11所述的方法，还包括：

由第二主接口单元通过将所述至少一个第一子八度缩小尺寸来产生至少一个减小的图像，通过去除产生的所述至少一个减小的图像的重叠区域来产生第二源图像，并执行产生的第二源图像到高容量短期存储器的写入处理。

13.如权利要求12所述的方法，还包括：

由第一主接口单元从存储在高容量短期存储器中的第二源图像产生至少一个块图像，

其中，确定第二候选特征的步骤包括接收作为第二子八度的从第二源图像产生的所述至少一个块图像的输入并确定第二候选特征。