CN101685541B - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN101685541B
CN101685541B CN2009101783046A CN200910178304A CN101685541B CN 101685541 B CN101685541 B CN 101685541B CN 2009101783046 A CN2009101783046 A CN 2009101783046A CN 200910178304 A CN200910178304 A CN 200910178304A CN 101685541 B CN101685541 B CN 101685541B
Authority
CN
China
Prior art keywords
image
unit
feature amount
local feature
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101783046A
Other languages
English (en)
Other versions
CN101685541A (zh
Inventor
马养浩一
椎山弘隆
相马英智
松下昌弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101685541A publication Critical patent/CN101685541A/zh
Application granted granted Critical
Publication of CN101685541B publication Critical patent/CN101685541B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种图像处理装置及图像处理方法。所述图像处理方法对输入图像执行缩小处理以获得缩小图像,从包括所述输入图像和一个或更多个所述缩小图像的图像组中提取特征点,将从所述图像组中的两个或更多个图像的各个中的匹配位置中提取的所述特征点确定为匹配特征点,计算由所述确定单元确定的所述匹配特征点的局部特征量,并且将所计算的局部特征量作为所述输入图像的局部特征量进行登记。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种用于提取局部特征的图像处理装置、图像处理方法及程序。 
背景技术
如“C.Schmid and R.Mohr,‘Local gray value invariants for imageretrieval’IEEE Trans.PAMI.Vol.19,No.5,pp 530-535,1997”中所述,存在一种使用通过对已知图像的局部特征进行量化而获得的局部特征量、来搜索与已知图像相似的图像的方法。根据该方法,首先,将诸如Sobel和Prewitte的微分滤波器应用于图像的二维亮度分布,以提取包含在图像的边缘部分或角部分中的特征点。然后,根据特征点和位于其邻近区域(vicinity)中的像素的像素值,来计算特征点的特征量(也称为局部特征量)。通过将已知图像的局部特征量与被搜索图像的局部特征量进行匹配,来搜索相似图像,直到在局部特征量匹配之处找到相似图像为止。 
然而,一些提取的特征点不够稳定,从而无法在图像轻微地旋转、放大或缩小之后,从相同的边缘区域或相同的角区域再次提取这些特征点(即,它们具有低的再现性)。这种提取的具有低再现性的特征点通常是噪声,并且可能使搜索精度或定位精度降低。因此,日本特开平9-44665号公报和Schmid论述了一种针对在提取特征点时所使用的函数(例如,稳定性)值和特征点候选对象的像素值设置阈值、并舍弃表示小于阈值的特征点候选对象的方法。 
仅仅使用预定像素值和在提取特征点时所使用的函数值来去除不稳定的特征点还不够充分。因此,需要设置足够高的阈值,以减少到具有高再现性的特征点(即使对图像进行各种转换也能够提取该具有高再现性的特征点)。然而,如果将阈值设置得太高,则仅获得少量特征点,这可能使搜索精度和(相似图像的)识别精度大大降低。 
发明内容
本发明旨在提供一种将图像数据减少到具有高的提取再现性的特征点的方法。然后,期望能够从一些不同的图像的数据中提取特征点以找到相似图像。 
本发明在其第一方面提供了一种图像处理装置,其被配置为接收多个输入图像,所述图像处理装置包括:转换单元,其被配置为对输入图像执行缩小处理以生成至少一个缩小图像;提取单元,其被配置为从包括所述第一输入图像和所述缩小图像的图像组中提取特征点;确定单元,其被配置为从所述提取单元在所述图像组中的两个或更多个图像的各个中提取的所述特征点中确定至少一个稳定特征点,所述稳定特征点位于从所述图像组中的所述两个或更多个图像的各个中提取的匹配特征点的位置;以及计算登记单元,其被配置为计算由所述确定单元确定的所述稳定特征点的局部特征量,并且将所计算的局部特征量与所述输入图像相关联地进行登记。 
所述确定单元还被配置为:从所述图像组的各图像中提取所述特征点的坐标;将所述特征点的坐标转换为所述输入图像的坐标;以及通过提取具有距彼此预定距离以内的坐标的两个或更多个特征点的组合,来确定所述稳定特征点的坐标。 
所述计算登记单元被配置为仅登记所述稳定特征点的所述局部特征量。 
所述图像处理装置还包括:存储单元,其被配置为存储多个目标图像及所述多个目标图像的局部特征量;以及比较单元,其被配置为将针对所述输入图像计算的所述局部特征量与存储在所述存储单元中的局部特征量相比较。 
所述图像处理装置还包括:搜索单元,其被配置为使用所述比较单元的结果,在所述存储单元中搜索所述多个目标图像中的、与所述输入图像的所述局部特征量相似的局部特征量。 
所述计算登记单元被配置为仅登记从使用所述转换单元缩小了多次的输入图像中提取的所述稳定特征点的局部特征量。 
通过下面参照附图对示例性实施例的详细描述,本发明的其他特征和方面将变得清楚。 
附图说明
附图被并入说明书中并构成说明书的一部分,其例示了本发明的示例性实施例,并与说明书一起用来说明本发明的原理。 
图1A和图1B例示了根据本发明示例性实施例的装置的配置的示例。 
图2是例示登记图像的处理的流程图。 
图3是例示搜索图像的处理的流程图。 
图4例示了提取的特征点的示例。 
图5例示了确定匹配特征点的方法。 
图6是例示根据本发明示例性实施例的硬件配置的示意图。 
具体实施方式
下面将参照附图详细描述本发明的各种示例性实施例、特征和方面。 
将对特征量、特征点以及局部特征量进行说明。当将图像指定为用来搜索相似图像的搜索条件(查询图像)时,进行将两个图像(查询图像和数据库(DB)中的图像)互相比较的处理。当搜索图像时,预先计算详细表示图像的数值或数字序列,作为各图像的特征量。 
作为搜索结果,输出具有相似特征量的图像作为相似图像。当搜索图像时,可以使用表示图像内容的关键词。然而,本说明书使用根据图像的像素值计算的、用于进行(相似图像的)搜索和识别的特征量。 
在特征量是关于颜色配置的信息的示例中,该特征量通过将图像转换为8×8像素的缩小图像、并将关于像素(0,0)至像素(8,8)中的各像素的位置的信息与呈现出的颜色的量化值相关联来获取。 
然而,很难通过使用关于颜色位置的信息的搜索方法来搜索一些图像。例如,一些图像可能包含不同的背景、隐藏在障碍物后面的部分、或者放大或缩小的部分。 
在这种情况下,可以采用比较包含在查询图像中的局部特征的方法。 根据该方法,从图像中选择可以容易地相互匹配的点。此外,在图像之间对这些点进行匹配。将可以容易地相互匹配的点定义为特征点。根据本说明书,从图像的角部分或边缘部分提取特征点。 
图1A和图1B是例示根据本发明示例性实施例的图像登记装置的功能配置的示意性框图。图1A例示了图像登记装置100的功能配置,图1B例示了图像搜索装置200的功能配置。 
如图1A所示,图像登记装置100包括图像输入单元102、图像转换单元103、特征点提取单元104、特征点确定单元105、局部特征量计算单元106以及特征量登记单元107。 
在图像登记装置100中,图像转换单元103生成输入到图像输入单元102的输入图像101的缩小图像(即转换图像)。此外,特征点提取单元104从输入图像101和缩小图像中提取特征点的候选对象。特征点确定单元105确定由特征点提取单元104提取的特征点的候选对象中哪些特征点具有高的提取再现性,并将这些特征点候选对象减少到稳定的特征点。 
局部特征量计算单元106计算由特征点确定单元105减少的特征点的局部特征量。特征量登记单元107将输入图像101与计算出的局部特征量相关联,并将输入图像101与局部特征量登记到图像特征数据库108中。 
接下来,将描述图1B所示的图像搜索装置200。功能与图1A中的图像登记装置100的功能相同的单元具有相同的标号。将省略对具有相同的配置和功能的单元的描述。 
图像搜索装置200包括图像输入单元102、图像转换单元103、特征点提取单元104、特征点确定单元105、局部特征量计算单元106以及比较单元201。 
比较单元201基于由局部特征量计算单元106计算的局部特征量,从图像特征数据库108中搜索与输入图像101(查询图像)相似的图像,并将该图像作为搜索结果202输出。 
接下来,提取关于各特征点的局部特征量。将通过对特征点邻近区域中的图案进行量化而获得的Local和Jet与Local和Jet的导数组合,用作局部特征量的特征量。 
更具体地说,例如,通过以下表达式(1)计算特征量。 
v ( x , y ) = L L x L x + L y L y L xx L x L x + 2 L xy L x L y + L yy L y L y L xx + L yy L xx L xx + 2 L xy L xy + L yy L yy - - - ( 1 )
V(x,y)表示位于坐标(x,y)处的特征点的局部特征量。此处描述的坐标指的是像素在数字图像中的位置。由于像素在数字图像中的位置是离散的(由于通过整数表示像素的位置),因此当需要根据作为计算结果的实数坐标来指定像素的位置时,需要将坐标转换为整数。 
根据本示例性实施例,当坐标可以由实数值表示时,通过将实数值舍入(round)到整数值来指定像素的位置。对实数值进行舍入的方法包括:四舍五入、小数点后上舍入(round up)以及小数点后下舍入(round down)。在本示例性实施例中,可以选择任意方法。然而,在处理期间不应当改变方法。 
在表达式(1)的右边使用的参考符号由表达式(2)、(3)、(4)、(5)、(6)和(7)来定义。表达式(2)右边的“G”(x,y)表示高斯函数,“I”(x,y)表示图像的坐标(x,y)处的像素值,星号“*”表示卷积计算。 
表达式(3)是由表达式(2)定义的变量“L”对“x”的偏导数。表达式(4)是变量“L”对“y”的偏导数。表达式(5)是由表达式(3)定义的变量Lx对“y”的偏导数。表达式(6)是由表达式(3)定义的变量Lx对“x”的偏导数。表达式(7)是由表达式(4)定义的变量Ly对“y”的偏导数。 
L=G(x,y)*I(x,y)(2) 
L x = ∂ L ∂ x - - - ( 3 )
L y = ∂ L ∂ y - - - ( 4 )
L xy = ∂ 2 L ∂ x ∂ y - - - ( 5 )
L xx = ∂ 2 L ∂ x 2 - - - ( 6 )
L yy = ∂ 2 L ∂ y 2 - - - ( 7 )
由于“G”(x,y)是高斯函数,因此“G”通常包括标准偏差“σ”作为变量,然而,在表达式(2)中省略了标准偏差。根据本示例性实施例,“σ”被预先确定为σ=ar。“a”是常数。“r”表示在计算关注特征点的局部特征量时参照的围绕关注特征点的圆形区域的半径。 
可以使用除了上述方法以外的不同的方法,只要该方法能够计算包含特征点的像素以及该特征点邻近区域中的像素的局部特征量即可。上述局部特征量由5个分量构成,然而,分量的数量不必为5。例如,本发明可以应用于尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)(分量的数量为128)或主成分分析SIFT(Principal Component Analysis SIFT,PCA-SIFT)(分量的数量大约为20至30)。 
接下来,将详细描述登记从图像中提取的局部特征量的处理。 
图2是例示登记局部特征量的处理的流程图。在步骤S301中,图像输入单元102读取输入图像101。在步骤S302中,图像输入单元102从输入图像101中提取亮度分量(下文中称为亮度分量图像)。 
在步骤S303中,图像转换单元103对由图像输入单元102提取的亮度分量执行缩小转换,以获得具有“n”种不同分辨率的亮度分量图像。更具体地说,图像转换单元103根据预定的缩小率“p”(转换率),对从图像输入单元102获取的亮度分量图像执行“n”次缩小处理。 
图像转换单元103执行“n”次缩小转换以获得“n”个缩小图像(参照图4)。预先设置缩小率“p”和缩小次数“n”。“n”应该是等于或大于1的整数。期望执行多次缩小转换。例如,可以预先计算并确定用于生成2×2个像素的缩小次数。 
图4例示了由图像转换单元103执行的缩小转换处理。图4例示了缩小率“p”为2的-(1/4)次幂(2-1/4)、缩小图像的个数“n”为8的情况。在图4中,图像401是由图像输入单元102从输入图像101中提取的亮度分量图像。图像402是通过根据缩小率“p”将亮度分量图像缩小4次而获得的缩小图像。图像403是通过根据缩小率“p”将亮度分量图像缩小8次而获得的缩小图像。 
根据本示例,图像402是通过将由图像输入单元102提取的亮度分量图像401缩小到1/2而获得的图像。图像403是通过将亮度分量图像401缩小到1/4而获得的图像。 
在本示例中,使用线性插值对图像执行缩小转换,然而,还可以采用其它方法,例如对像素进行简单的稀疏(thin)或在应用低通滤波器之后对像素进行采样。 
接下来,在图2的步骤S304中,特征点提取单元104从输入图像401的亮度分量以及由图像转换单元103执行了缩小变换的、具有“n”种分辨率的图像的亮度分量中提取特征点的候选对象。 
首先,特征点提取单元104对输入图像101(401)和由图像转换单元103转换的图像应用哈里斯(Harris)算子。对于通过应用Harris算子而获得的输出图像,相互比较关注像素的像素值和围绕关注像素的8个像素的像素值(总共9个像素),提取9个像素中的具有最大像素值并且等于或大于阈值的点作为特征点。 
在步骤S305中,特征点确定单元105通过确定由特征点提取单元104提取的特征点的候选对象是否稳定,来执行减少到稳定特征点的处理。 
首先,特征点确定单元105将由特征点提取单元104提取的特征点的所有坐标转换为转换图像之前的输入图像的坐标。接下来,特征点确定单元105确定由特征点提取单元104提取的特征点,是否存在于在步骤S303中图像转换单元103进行了缩小转换的其他缩小图像的坐标的邻近区域上或邻近区域中的匹配坐标处。此时,采用存在的特征点作为匹配特征点,并计算匹配特征点处的局部特征量。 
可以自由确定邻近区域的范围。根据本示例性实施例,该范围被确定 为在与关注特征点2个像素的距离以内。如果提取的特征点具有稳定的特征,则还在缩小图像的邻近区域内提取特征点。 
此外,当将特征点的坐标转换为输入图像的坐标时,理论上特征点和输入图像应该具有相同的坐标。然而,由于在数字图像中出现舍入误差,因此考虑到该误差,将邻近区域定义为与关注特征点2个像素的距离以内的范围。 
下面将使用图4和图5详细描述步骤S305。 
图4例示了提取的特征点的示例,其中,在步骤S304中特征点提取单元104提取的特征点的候选对象被叠加在步骤S303中图像转换单元103生成的缩小图像上。 
在图4中,尺度(scale)编号Sc表示图像转换单元103转换图像的次数(此处为缩小的次数)。根据第一示例性实施例,Sc表示缩小图像的尺度编号。当尺度编号为Sc、缩小率为“p”时,通过将输入图像(Sc=0时的图像)的大小与p的(Sc)次幂相乘来获得缩小图像的大小。例如,当缩小率“p”是2的-(1/4)次幂并且Sc=4时,缩小图像的大小为1/2。 
特征点701是特征点提取单元104从尺度编号Sc=1的缩小图像中提取的特征点中的一个。在Sc=1的缩小图像上,将特征点701的坐标定义为N1(x1,y1)。特征点702是特征点提取单元104从尺度编号Sc=2的缩小图像中提取的特征点中的一个。在Sc=2的缩小图像上,将特征点702的坐标定义为N2(x2,y2)。特征点703是特征点提取单元104从尺度编号Sc=3的缩小图像中提取的特征点中的一个。在Sc=3的缩小图像上,将特征点703的坐标定义为N3(x3,y3)。 
图5是通过将图4所示的缩小图像(Sc=1,2,3,4,5,6,7和8)的坐标系转换为尺度编号Sc=0的坐标系而获得的一系列图,其中将图像对齐。 
假设在步骤S305中关注特征点702,其中首先获取了N1(x1,y1)。通过转换坐标,根据特征点702的N1(x1,y1)来计算特征点702在Sc=0的坐标系中的坐标N1(x1,y1)。 
随后,对于除了由特征点提取单元104提取的Sc=1的图像以外的缩 小图像的特征点,计算转换为Sc=0的坐标系的特征点的坐标,并确定这些坐标是位于与特征点701的坐标N1(x1,y1)相同的坐标处还是位于特征点701的坐标N1(x1,y1)的邻近区域中。根据本示例性实施例,作为将特征点702的坐标N2(x2,y2)转换为Sc=0的坐标系的结果,获得坐标N2(x1,y1)。 
在这种情况下,转换后的特征点701的坐标N1(x1,y1)和转换后的特征点702的坐标N2(x1,y1)相互匹配,且分别是执行缩小转换前后的坐标。由此,可知N1和N2是匹配特征点。即使N1和N2互相不匹配,在N1和N2是从不同的图像中提取的特征点、并且在图像401中N1位于与N2的距离小于预定距离的位置处时,也可以将N1和N2定义为位于匹配位置的匹配特征点。 
从图像中提取的特征点缩小越多次时,将距离设置得越大。可选地,可以预先设置距离。进一步可选地,根据在步骤S304中提取的特征点的候选对象的数量,获取的候选对象的数量越大,将预定区域设置得越小。如果获取的候选对象的数量越小,将预定区域设置得越大。 
另一方面,当关注Sc=3的缩小图像中的特征点703时,在除了Sc=3的图像以外的图像中不存在与特征点703匹配的特征点。因此,特征点703不是匹配特征点。 
在步骤S305中,对由特征点提取单元104提取的特征点中的各个执行上述处理。 
在步骤S306中,局部特征量计算单元106使用表达式(1)针对由特征点提取单元104提取的特征点中的各个计算局部特征量。 
在步骤S307中,特征量登记单元107将由局部特征量计算单元106计算出的局部特征量与输入图像101相关联,并将局部特征量与输入图像101登记到图像特征数据库108中。 
此外,类似于图5所示的特征点701和702,可以仅登记从连续缩小多次(特征点701缩小一次,特征点702缩小两次)的图像中提取的位于匹配位置处的匹配特征点的局部特征量。从相同的边缘部分或相同的角部分提取类似于特征点701和702的、基于连续缩小多次的缩小图像而被确 定为匹配特征点的特征点的可能性高。 
此外,当根据确定为匹配特征点的特征点701和702来计算局部特征量时,期望根据特征点701和特征点702中的各个来计算局部特征量,并使局部特征量与各特征点相关联。可以只选择特征点701和702中的一个来计算局部特征量。 
将此处提取的局部特征量与特征点的位置信息相关联,并将其发送给特征量登记单元107。 
存在各种用于提取局部特征量的方法。一种方法是基于二维排列(alignment)中的图像值的分布的倾斜(inclination)或倾斜方向(orientation)来为各特征点分配方向。不仅可以采用上述计算特征量的方法,还可以采用其他方法,只要该方法能够计算特征点的局部特征量即可。 
此外,在步骤S305中,可以设置要采用的匹配特征点的数量的上限。通过设置上限,能够提高处理速度。当设置了上限时,通过按照从较大缩小率开始的顺序选择特征点,优先挑选出从低通区域中提取的特征点,从而可以挑选出更稳定的特征点。 
接下来,将描述用于搜索图像的各单元的操作。 
图3是例示图像搜索装置200搜索图像的处理的流程图。具有与图2所示的功能相同的功能的图3所示的处理具有与图2中的标号相同的标号,省略其描述。 
在步骤S501中,比较单元201将由局部特征量计算单元106从输入图像101中提取的局部特征量与登记在图像特征数据库108中的局部特征量相比较。对登记在图像特征数据库108中的各输入图像执行该比较处理,并针对各输入图像计算相似度来作为比较处理的结果。 
接下来,在步骤S502中,比较单元201将相似度作为搜索结果202输出。作为搜索结果202,例如,可以将计算出的相似度与计算出相似度的图像彼此相关联,并将它们按照从较高相似度开始的顺序列出。此外,期望以缩略图输出搜索结果。 
为了描述计算相似度的方法,首先,将描述比较局部特征量的方法。包含在用于计算局部特征量的表达式(1)中的局部特征量由包含5个元素 的数字序列表示。然而,还可以使用除了5之外的数量。由于包含多个元素的数字序列表示多维空间中的向量,因此可以通过比较两个向量来确定相似度。 
例如,根据本示例性实施例,根据要比较的两个向量计算差向量。如果差向量的绝对值较小,则确定相似度较高。此外,如果两个向量之间的角度较小,则可以确定相似度较高。可选地,可以通过组合来处理这些相似度。 
如上所述,根据本示例性实施例,获取从多个缩小图像中的匹配坐标中提取的特征点作为匹配特征点,并且计算各匹配特征点的局部特征量来执行搜索处理。 
当执行缩小变换时提取匹配特征点,该匹配特征点具有带有高再现性的稳定性。因此,减少了具有噪声的特征点(不稳定的特征点),由此提高了搜索精度并减少了处理中的麻烦工作。 
上述示例性实施例采用缩小转换来对图像进行转换,然而,本发明可以应用于其他各种图像转换。 
例如,可以使用放大率作为预定转换率来执行放大转换以对图像进行转换,从而可以针对放大图像提高搜索精度。可以使用旋转率作为预定转换率来执行旋转转换以对图像进行转换,从而可以针对旋转图像提高搜索精度。 
此外,可以使用高斯滤波器的标准偏差“σ”的转换率作为预定转换率,来执行模糊处理(使用高斯滤波器的卷积)对图像进行转换以获得模糊图像,从而可以针对具有附加噪声的图像提高搜索精度。 
使用噪声的附加程度作为预定转换率来执行用于对图像进行转换的附加噪声的处理,从而可以针对具有附加噪声的图像提高搜索精度。此外,可以组合使用上述各种图像转换。 
本示例性实施例将图像搜索作为示例进行了描述,然而,本发明并不局限于图像搜索,本发明还可以应用于从输入图像中提取特征点并计算局部特征量的诸如识别的图像处理。 
通过向系统或装置提供计算机可读存储介质来实现本发明,所述计算 机可读存储介质存储使图6所示的计算机执行根据上述示例性实施例的处理的程序。 
图6所示的计算机1400将使中央处理单元(CPU)1410实现根据上述示例性实施例的流程图的处理的程序存储在只读存储器(ROM)1430中。当执行程序时,计算机1400将存储在ROM 1430中的程序读出到随机存取存储器(RAM)1420中,以使CPU 1410执行处理。 
总线1450发送/接收ROM 1430、RAM 1420、CPU 1410以及硬盘(HDD)1440中的数据。此外,计算机1400从连接到用户接口1460的诸如键盘或鼠标的输入/输出设备接收输入。此外,计算机1400执行向网络接口1470的输入以及从网络接口1470的输出。计算机1400的网络接口1470能够经由网络1500与数据库(DB)1510、客户机(CLIENT)1520以及打印机(PRINTER)1530进行通信。 
此外,多个硬件和软件可以协作以实现上述示例性实施例。例如,可以用软件或特定处理专用的集成电路(IC)来实现图1A和图1B所示的配置中的一部分。 
此外,可以组合使用经由网络连接的多个设备来实现本示例性实施例。参照作为示例的图6,计算机1400从打印机1530或客户机1520接收图像,执行图2所示的流程图的处理,并将处理后的图像登记在数据库1510中。 
此外,计算机1400从客户机1520或打印机1530接收搜索请求和查询图像,执行图3的流程图的处理,并从数据库1510中搜索与查询图像相似的图像。 
此外,将从计算机可读存储介质中读取的程序写入插入计算机的功能扩展单元中,包含在功能扩展单元中的CPU可以基于程序代码的指令执行处理。 
此外,可以使用软盘、硬盘、光盘、磁光盘、光盘ROM(CD-ROM)、可记录CD(CD-R)、磁带、非易失性存储卡以及ROM,作为用于提供程序代码的计算机可读存储介质。 
此外,CPU读取程序代码并使用在计算机上运行的操作系统(OS) 的功能来执行上述处理。 
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不局限于所公开的示例性实施例。应当对以下权利要求的范围给予最宽的解释,以使其涵盖所有变型、等同结构和功能。 

Claims (7)

1.一种图像处理装置,其被配置为接收多个输入图像,所述图像处理装置包括:
转换单元,其被配置为对输入图像执行缩小处理以生成至少一个缩小图像;
提取单元,其被配置为从包括所述输入图像和所述缩小图像的图像组中提取特征点;
确定单元,其被配置为从所述提取单元在所述图像组中的两个或更多个图像的各个中提取的所述特征点中确定至少一个稳定特征点,所述稳定特征点位于从所述图像组中的所述两个或更多个图像的各个中提取的匹配特征点的位置;以及
计算登记单元,其被配置为计算由所述确定单元确定的所述稳定特征点的局部特征量,并且将所计算的局部特征量与所述输入图像相关联地进行登记。
2.根据权利要求1所述的图像处理装置,其中,所述确定单元还被配置为:
从所述图像组的各图像中提取所述特征点的坐标;
将所述特征点的坐标转换为所述输入图像的坐标;以及
通过提取具有距彼此预定距离以内的坐标的两个或更多个特征点的组合,来确定所述稳定特征点的坐标。
3.根据权利要求1或2所述的图像处理装置,其中,所述计算登记单元被配置为仅登记所述稳定特征点的所述局部特征量。
4.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
存储单元,其被配置为存储多个目标图像及所述多个目标图像的局部特征量;以及
比较单元,其被配置为将针对所述输入图像计算的所述局部特征量与存储在所述存储单元中的局部特征量相比较。
5.根据权利要求4所述的图像处理装置,所述图像处理装置还包括:
搜索单元,其被配置为使用所述比较单元的结果,在所述存储单元中搜索所述多个目标图像中的、与所述输入图像的所述局部特征量相似的局部特征量。
6.根据权利要求1所述的图像处理装置,其中,所述计算登记单元被配置为仅登记从使用所述转换单元缩小了多次的输入图像中提取的所述稳定特征点的局部特征量。
7.一种图像处理方法,其用于处理多个输入图像,所述图像处理方法包括:
对输入图像执行缩小处理以生成至少一个缩小图像的步骤;
从包括所述输入图像和所述缩小图像的图像组中提取特征点的步骤;
从在所述图像组中的两个或更多个图像的各个中所提取的特征点中确定至少一个稳定特征点的步骤,所述稳定特征点位于从所述图像组中的所述两个或更多个图像的各个中提取的匹配特征点的位置;以及
计算所确定的稳定特征点的局部特征量并将所计算的局部特征量与所述输入图像相关联地进行登记的步骤。
CN2009101783046A 2008-09-25 2009-09-22 图像处理装置及图像处理方法 Expired - Fee Related CN101685541B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-246339 2008-09-25
JP2008246339 2008-09-25
JP2008246339A JP5183392B2 (ja) 2008-09-25 2008-09-25 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2012102493945A Division CN102982528A (zh) 2008-09-25 2009-09-22 图像处理装置及图像处理方法

Publications (2)

Publication Number Publication Date
CN101685541A CN101685541A (zh) 2010-03-31
CN101685541B true CN101685541B (zh) 2012-08-29

Family

ID=41279330

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2012102493945A Pending CN102982528A (zh) 2008-09-25 2009-09-22 图像处理装置及图像处理方法
CN2009101783046A Expired - Fee Related CN101685541B (zh) 2008-09-25 2009-09-22 图像处理装置及图像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2012102493945A Pending CN102982528A (zh) 2008-09-25 2009-09-22 图像处理装置及图像处理方法

Country Status (6)

Country Link
US (1) US8416982B2 (zh)
EP (1) EP2172856A3 (zh)
JP (1) JP5183392B2 (zh)
KR (1) KR101185712B1 (zh)
CN (2) CN102982528A (zh)
RU (1) RU2429540C2 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5290867B2 (ja) * 2009-05-25 2013-09-18 キヤノン株式会社 画像検索装置およびその方法
KR101350335B1 (ko) * 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법
US9322046B2 (en) 2010-11-01 2016-04-26 3M Innovative Properties Company Biological sterilization indicator
KR101913336B1 (ko) 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
WO2013073273A1 (ja) 2011-11-18 2013-05-23 日本電気株式会社 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
CN103946891B (zh) 2011-11-18 2017-02-22 日本电气株式会社 局部特征量提取装置和局部特征量提取方法
US9031326B2 (en) * 2012-02-16 2015-05-12 Sony Corporation System and method for effectively performing an image categorization procedure
RU2515706C2 (ru) * 2012-08-21 2014-05-20 Общество с ограниченной ответственностью "Кузнеч" ООО "Кузнеч" Способ и система поиска нарушений авторских прав на изображения
JP6278276B2 (ja) 2012-08-23 2018-02-14 日本電気株式会社 物体識別装置、物体識別方法、及びプログラム
US20150213328A1 (en) 2012-08-23 2015-07-30 Nec Corporation Object identification apparatus, object identification method, and program
US9165220B2 (en) * 2012-12-18 2015-10-20 Hewlett-Packard Development Company, L.P. Image object recognition based on a feature vector with context information
TW201437925A (zh) 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品
JP6167733B2 (ja) * 2013-07-30 2017-07-26 富士通株式会社 生体特徴ベクトル抽出装置、生体特徴ベクトル抽出方法、および生体特徴ベクトル抽出プログラム
CN104346797A (zh) * 2013-07-31 2015-02-11 北大方正集团有限公司 关键像素点匹配方法和装置、图像匹配方法和装置
CN104424297B (zh) * 2013-09-02 2018-01-23 联想(北京)有限公司 信息处理的方法及智能设备
JP5882976B2 (ja) * 2013-11-19 2016-03-09 ヤフー株式会社 学習用局所特徴量生成装置及び学習用局所特徴量生成方法
CN103793466B (zh) * 2013-12-20 2018-06-05 深圳先进技术研究院 一种图像检索方法及装置
CN103927513A (zh) * 2014-03-26 2014-07-16 广州品唯软件有限公司 Logo识别方法和装置
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
CN104182930B (zh) * 2014-08-16 2017-10-13 大连理工大学 Sift图像快速匹配的尺寸预处理方法
JP6399651B2 (ja) * 2014-10-15 2018-10-03 Kddi株式会社 登録装置及び検索装置並びに方法及びプログラム
JP2017054323A (ja) * 2015-09-10 2017-03-16 富士通株式会社 生体認証装置、生体認証方法、及び生体認証プログラム
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN106844381B (zh) * 2015-12-04 2020-06-30 富士通株式会社 图像处理装置及方法
CN107169397B (zh) * 2016-03-07 2022-03-01 佳能株式会社 特征点检测方法及装置、图像处理系统和监视系统
CN109074369B (zh) 2016-03-08 2022-03-04 河谷控股Ip有限责任公司 用于基于图像的对象识别的图像特征组合
CN105844290B (zh) * 2016-03-16 2019-10-25 网易(杭州)网络有限公司 匹配图像中多个相同对象的方法及装置
CN106127679B (zh) * 2016-06-24 2020-04-28 厦门中控智慧信息技术有限公司 一种指纹图像的转换方法及装置
CN106372111B (zh) * 2016-08-22 2021-10-15 中国科学院计算技术研究所 局部特征点筛选方法及系统
CN106778510B (zh) * 2016-11-25 2020-03-20 江西师范大学 一种超高分辨率遥感图像中高层建筑特征点匹配方法
CN106780698A (zh) * 2016-12-23 2017-05-31 深圳市刑天科技开发有限公司 基于图形处理器加速的地形渲染方法
CN109145892A (zh) * 2018-09-28 2019-01-04 中国科学院长春光学精密机械与物理研究所 图像信息抽取方法、装置、设备及计算机可读存储介质
CN111986246B (zh) * 2019-05-24 2024-04-30 北京四维图新科技股份有限公司 基于图像处理的三维模型重建方法、装置和存储介质
CN112964201A (zh) * 2021-02-19 2021-06-15 常州市宏发纵横新材料科技股份有限公司 一种碳板直线度检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094507A (en) * 1997-03-17 2000-07-25 Nec Corporation Figure location detecting system
CN1881211A (zh) * 2006-02-10 2006-12-20 华为技术有限公司 图形检索的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631683B1 (en) * 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
DE69322306T2 (de) * 1992-04-24 1999-04-29 Hitachi, Ltd., Tokio/Tokyo Gegenstandserkennungssystem mittels Bildverarbeitung
JP2735043B2 (ja) 1995-08-01 1998-04-02 日本電気株式会社 印影位置合わせ方法と印影位置合わせ装置
JPH1097619A (ja) * 1996-09-20 1998-04-14 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko 画像抽出装置及び画像抽出方法
IT1284976B1 (it) * 1996-10-17 1998-05-28 Sgs Thomson Microelectronics Metodo per l'identificazione di strisce segnaletiche di corsie stradali
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
EP1122939A3 (en) * 2000-01-31 2003-08-27 Canon Kabushiki Kaisha Image processing system
FR2841422B1 (fr) * 2002-06-19 2004-11-12 Canon Kk Insertion et extraction d'un message dans une image
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP2004348563A (ja) * 2003-05-23 2004-12-09 Dds:Kk 顔画像照合装置、携帯端末装置、顔画像照合方法及び顔画像照合プログラム
JP3931891B2 (ja) * 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP4807277B2 (ja) * 2007-02-13 2011-11-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094507A (en) * 1997-03-17 2000-07-25 Nec Corporation Figure location detecting system
CN1881211A (zh) * 2006-02-10 2006-12-20 华为技术有限公司 图形检索的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cordelia Schmid等.Local Grayvalue Invariants for Image Retrieval.《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》.1997,第19卷(第5期),全文. *
JP特开平9-44665A 1997.02.14

Also Published As

Publication number Publication date
JP2010079545A (ja) 2010-04-08
KR101185712B1 (ko) 2012-09-24
CN102982528A (zh) 2013-03-20
KR20100035108A (ko) 2010-04-02
RU2009135635A (ru) 2011-03-27
RU2429540C2 (ru) 2011-09-20
JP5183392B2 (ja) 2013-04-17
EP2172856A2 (en) 2010-04-07
EP2172856A3 (en) 2011-07-27
US20100074530A1 (en) 2010-03-25
US8416982B2 (en) 2013-04-09
CN101685541A (zh) 2010-03-31

Similar Documents

Publication Publication Date Title
CN101685541B (zh) 图像处理装置及图像处理方法
AU2012261715B2 (en) Method, apparatus and system for generating a feature vector
US20190244054A1 (en) Systems, methods, and devices for image matching and object recognition in images
Ko et al. FRIP: A region-based image retrieval tool using automatic image segmentation and stepwise Boolean AND matching
EP2015166B1 (en) Recognition and tracking using invisible junctions
JP5487970B2 (ja) 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
CN101261638B (zh) 图像搜索的方法及装置
Wang et al. An automatic panoramic image mosaic method based on graph model
JP2010518507A (ja) 特徴マッチング方法
Mousavi Kahaki et al. Invariant feature matching for image registration application based on new dissimilarity of spatial features
JP2013109773A (ja) 特徴マッチング方法及び商品認識システム
Huang et al. A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds
US20170076754A1 (en) Systems and methods for matching two or more digital multimedia files
Hong et al. Art painting detection and identification based on deep learning and image local features
Bharati et al. U-phylogeny: Undirected provenance graph construction in the wild
Tan et al. Distinctive accuracy measurement of binary descriptors in mobile augmented reality
Wang et al. Unmanned aerial vehicle oblique image registration using an ASIFT-based matching method
JP2011100293A (ja) 情報処理装置及びその制御方法、プログラム
Arandjelovic et al. Efficient image retrieval for 3D structures.
Geng et al. SANet: A novel segmented attention mechanism and multi-level information fusion network for 6D object pose estimation
Amoda et al. Efficient image retrieval using region based image retrieval
Dantanarayana et al. Object recognition and localization from 3D point clouds by maximum-likelihood estimation
Zhou et al. SIFT in GMS-selected areas: a method for feature point matching between photographs and rendered images
Vijayashanthi et al. Survey on recent advances in content based image retrieval techniques
US12125088B2 (en) Processing apparatus, processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20200922

CF01 Termination of patent right due to non-payment of annual fee