CN102760291A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN102760291A
CN102760291A CN2012101198557A CN201210119855A CN102760291A CN 102760291 A CN102760291 A CN 102760291A CN 2012101198557 A CN2012101198557 A CN 2012101198557A CN 201210119855 A CN201210119855 A CN 201210119855A CN 102760291 A CN102760291 A CN 102760291A
Authority
CN
China
Prior art keywords
image
point
reliability
unique point
unique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101198557A
Other languages
English (en)
Inventor
稻叶靖二郎
木村笃史
小坂井良太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102760291A publication Critical patent/CN102760291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了图像处理装置、图像处理方法和程序。该图像处理装置包括:特征点检测单元,配置为从图像中检测特征点;可靠性计算单元,配置为计算检测到的每个特征点的可靠性;以及去除处理单元,配置为根据可靠性去除所检测的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及图像处理装置、图像处理方法和程序。更具体地说,本技术涉及以空间上均匀的方式去除从图像检测到的一些特征点。
背景技术
传统上,在诸如当从图像搜索对象时,当从图像序列中检测运动对象时,或者当执行多幅图像的对准时之类的各种情况下,需要在多幅图像之间匹配相同对象。
作为匹配相同对象的方法,采用称为块匹配的方法或者基于特征点的方法。
在块匹配中,给定图像被分割为块区域,并且计算SAD(绝对差和)或者NCC(归一化互相关)。然后,根据计算出的SAD或者NCC,从另一图像搜索具有与每个块的高相似性的区域。该方法涉及相当高的计算成本,因为它需要在搜索范围内逐步移动块中心坐标的同时计算块区域之间的类似性(similarity)。此外,由于即使在难以匹配的区域内也需要搜索相应位置,所以处理效率低。
在基于特征点的方法中,首先检测容易匹配的位置,诸如对象的角或者图像中的画面作为特征点。检测特征点的方法有许多种。代表性方法包括Harris角检测器(参见C.Harris,M.J.Stephens,“A combined corner and edgedetector”,In Alvey Vision Conference,pp.147-152,1988)、FAST(参见EdwardRosten,Tom Drummond,“Machine learningfor high-speed corner detection”,European Conference on Computer Vision(ICCV),Vol.1,pp.430-443,2006)以及DoG(高斯差)最大值(参见David G,Lowe,“Distinctive Image Featuresfrom Scale-Invariant Keypoints”,International Journal of Computer Vision(IJCV),Vol.60,No.2,pp.91-110,2004)。
当如上所述检测的特征点在两幅图像之间匹配时,可以执行图像的对准。例如,利用鲁棒估计方法,根据特征点坐标和对应关系确定描述两幅图像的坐标系之间关系的诸如仿射转换矩阵或者投影变换矩阵(单应性(homography))之类的最优图像变换矩阵。利用这种图像变换矩阵允许图像的对准。
同时,当从含有细小画面的图像(例如,含有许多树或者草的图像)检测特征点时,可能存在检测到大量特征点的情况。在此,如果检测到大量特征点,则搜索每个特征点的匹配点或者计算图像变换矩阵所需的时间变长。因此,如果采用调节被看作特征点的阈值的第一方法,则可以控制特征点的数量。然而,当通过调节阈值控制特征点的数量时,可能存在特征点以空间上不均匀的方式分布的情况。同时,在称为“非最大值抑制”的第二方法中,对每个特征点确定作为特征点的可靠性(分数)。并且仅保留具有比相邻特征点更高的分数的特征点,从而减少特征点的数量。在第二方法中,保留分数高的所有特征点。因此,特征点的数量取决于画面的设计,因此,不可能控制特征点的数量,以使得保留要求数量的特征点。此外,不可能以空间上均匀的方式去除特征点。因此,提出了改善第一方法和第二方法的称为“ANMS(自适应非最大值抑制)”的方法(参见M.Brown,R.Szeliski,S.Winder,“Multi-Image Matching Using Multi-Scale Oriented Patches”,Computer Visionand Pattern Recognition(CVPR),Vol.1,pp.510-517,2005)。
发明内容
顺便提到,当采用ANMS时,可以以空间上均匀的方式去除特征点,同时利用参数控制剩余特征点的数量的上限。在该方法中,对于每个特征点,需要首先计算每个特征点与在具有比每个特征点的更高的分数的特征点当中其坐标接近的特征点之间的距离(下面称为半径)。此外,还需要将所有特征点的坐标和半径存储在存储器中。首先,将半径的大小设定为“0”,然后,计算此时特征点的数量,并且如果特征点的计数高于设定的上限,则半径的大小稍许增加。重复这种处理,并且当剩余特征点的数量在设定的上限范围内时该去除处理终止。因此,需要高速CPU和大容量存储器。
鉴于上述问题,希望提供能够以简单配置以空间上均匀的方式高速去除一些特征点的图像处理装置、图像处理方法和程序。
根据本技术的第一方面,提供了一种图像处理装置,包括:特征点检测单元,配置为从图像检测特征点;可靠性计算单元,配置为计算所检测的每个特征点的可靠性;以及去除处理单元,配置为根据可靠性去除所检测到的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
在该技术中,特征点检测单元从图像检测特征点。此外,可靠性计算单元计算所检测的每个特征点的可靠性。此外,在去除处理单元中,将图像分割为多个区域,并且以可靠性升高的顺序去除所检测的特征点,使得剩余特征点的数量在对每个分割区域设定的特征点的限制数量内。在此,当从图像中检测到角为特征点时,则角的强度用作可靠性。此外,当根据通过以步进方式以预定平滑度平滑图像产生的比例图像之间的差提取特征点时,该差值用作可靠性。此外,通过将对二维图像附加新的一维而获得的三维区域分割为多个区域,使得从每个分割区域去除特征点。
根据本技术的第二方面,提供了一种图像处理方法,包括:从图像检测特征点;计算所检测的每个特征点的可靠性;以及根据可靠性去除所检测的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
根据本技术的第三方面,提供了一种用于使得计算机执行如下过程的程序:从图像检测特征点;计算所检测的每个特征点的可靠性;以及根据可靠性去除所检测的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
注意到,本技术的程序是利用以计算机可读格式提供的存储介质、通信介质,例如,诸如光盘、磁盘或者半导体存储器之类的存储介质,或者诸如网络之类的通信介质,能够提供到可以执行各种程序代码的计算机的程序。当以计算机可读格式提供这种程序时,在计算机上实现根据该程序的处理。
根据上面描述的本技术,从图像检测特征点。此外,计算所检测的每个特征点的可靠性。另外,将图像分割为多个区域,并根据可靠性去除所检测的一些特征点,使得每个分割区域内的剩余特征点的数量在特征点的限制数量内。因此,可以以简单配置以空间上均匀的方式高速去除特征点。
附图说明
图1是示出成像装置的示意性配置的示意图;
图2是举例示出其中在图像处理单元中执行对象匹配处理的部分的配置的示意图;
图3是示出以块为单位分割的图像的示意图;
图4是示出去除一些特征点的处理的示意图;以及
图5是示出DoG图像的示意图。
具体实施方式
下面将参考附图详细描述本技术的优选实施例。请注意,在该说明书和附图中,利用相同的附图标记表示功能和结构基本相同的结构元件,并且省略这些结构元件的重复解释。
请注意,以下面的顺序进行描述。
1.成像装置的示意性配置
2.图像处理单元中执行对象匹配处理的部分的配置
3.去除处理
<1.成像装置的配置>
图1是示出采用根据本技术实施例的图像处理装置的成像装置的示意性配置的示意图。
成像装置10包括:镜头单元11、成像单元12、图像处理单元20、显示单元31、存储单元32、记录装置单元33、操作单元34、传感器单元35和控制单元40。此外,每个单元经由总线45连接。
镜头单元11包括:聚焦透镜、变焦透镜、光圈机构等。镜头单元11根据来自控制单元40的指令驱动镜头,并且在成像单元12的图像面上形成被摄体的光学图像。此外,镜头单元11调节光圈机构,使得图像传感器12的图像面上形成的光学图像具有要求的亮度。
成像单元12包括:诸如CCD(电荷耦合器件)图像传感器或者CMOS(互补金属氧化物半导体)图像传感器之类的图像传感器、驱动图像传感器的驱动电路等。图像传感器12执行光电转换,以将图像传感器的图像面上形成的光学图像转换为电信号。此外,成像单元12从电信号去除噪声并执行模数转换,并且还产生图像信号并将其输出到图像处理单元20或者经由图像处理单元20输出到存储单元32。
图像处理单元20根据来自控制单元40的控制信号对图像信号执行各种相机信号处理或者对图像信号执行编码处理、解码处理等。此外,图像处理单元20根据来自控制单元40的控制信号执行对象匹配处理,或者利用匹配处理的结果执行图像处理。注意到,下面描述对象匹配处理和利用匹配处理的结果的图像处理。
显示单元31包括液晶显示元件等,并且根据图像处理单元20处理的图像信号或者存储在存储单元32内的图像信号来显示图像。
存储单元32包括诸如DRAM(动态随机存取存储器)之类的半导体存储器,并且临时存储要由图像处理单元20处理的图像数据、由图像处理单元20处理的图像数据、控制单元40中的控制程序和各种数据、等等。
对于记录装置单元33,采用诸如半导体存储器类闪速存储器、磁盘、光盘或者磁光盘之类的记录介质。例如,记录装置单元33将成像单元12在成像处理期间产生的、图像处理单元20以预定编码方法编码的、并存储在存储单元32内的图像信号记录在记录介质上。此外,记录装置单元33将记录在记录介质上的图像信号读入存储单元32中。
操作单元34包括诸如硬键之类的输入装置,比如快门按钮、操作盘或者触摸板。操作单元34根据用户输入操作产生操作信号,并且将该信号输出到控制单元40。
传感器单元35包括:陀螺仪传感器、加速度传感器、地磁传感器、定位传感器等,并且检测各种信息。这种信息作为元数据附加到捕获的图像数据,并且还用于各种图像处理或者控制处理。
控制单元40根据从操作单元34提供的操作信号控制每个单元的操作,并且控制每个单元,使得成像装置10的操作成为基于用户操作的操作。
<2.图像处理单元中执行对象匹配处理的部分的配置>
图2举例示出其中在图像处理单元20中执行对象匹配处理的部分的配置。图像处理单元20包括:特征点检测处理单元21和去除一些特征点的去除处理单元22。此外,图像处理单元20还包括:特征量生成处理单元23,产生要用于在两幅图像之间匹配相同对象的处理的特征量;匹配点搜索处理单元24,用于根据特征量匹配相同对象;以及变换矩阵计算处理单元25。
特征点处理单元21包括:特征点检测单元211,从捕获图像检测特征点;以及可靠性计算单元212,计算检测到的每个特征点的可靠性。特征点检测单元211利用例如Harris角检测器、FAST、DoGmaxima等检测特征点。作为选择地,特征点检测单元211可以利用Hessian滤波器等检测特征点。可靠性计算单元212计算特征点检测单元211检测到的每个特征点的可靠性(分数),作为特征点。特征点处理单元21将检测到的每个特征点的坐标和可靠性输出到去除处理单元22。
去除处理单元22执行去除由特征点处理单元211检测到的一些特征点的处理。当检测到的特征点的数量大时,此后执行的匹配点搜索处理所需的处理时间变长。此外,相邻特征点或者太多的特征点常常导致图像之间的失配。因此,去除处理单元22利用每个特征点的可靠性(分数)去除一些特征点,使得剩余特征点以空间上均匀的方式散布。具体地说,图像分割为多个区域,并且利用每个特征点的可靠性去除一些特征点,使得每个分割区域内的剩余特征点的数量在特征点的限制数量内。请注意,下面描述去除处理。
特征量生成处理单元23产生描述以特征点为中心的局部区域的特征量。特征量生成处理单元23对去除处理之后剩余的每个特征点执行特征量生成处理,并且对于每个特征点产生与包括特征点为中心的局部区域对应的特征量。对于产生特征量,可以采用诸如SIFT或者SURF的各种方法。此外,在特征量生成处理中,选择位于给定坐标的两个像素,并且计算在两个像素的像素值之间的差值。然后,将计算结果与阈值进行比较,并且根据比较结果产生二值化信息,使得其用作特征量的分量。
匹配点搜索处理单元24搜索作为图像之间的类似性的特征量,并且确定其特征量最类似的特征点为相同对象的匹配点。特征量的分量是二值化数据。因此,对特征量的每个分量进行“异或”运算。如果分量相等,则“异或”运算的结果是“0”,而如果分量不等,则是“1”。因此,匹配点搜索处理单元24确定每个分量的“异或”运算的结果的总值最小的特征点是具有最高类似性的特征点。
变换矩阵计算处理单元25利用鲁棒估计方法根据特征点的坐标和由匹配点搜索处理单元24获得的匹配点的坐标来确定描述两幅图像的坐标系之间的关系的最优仿射转换矩阵或者投影变换矩阵(单应性)。注意到,这种矩阵将被称为图像变换矩阵。即,如果采用图像变换矩阵,则可以将一幅图像的坐标系变换为另一幅图像的坐标系。因此,例如,利用多幅捕获图像,通过精确地拼接图像来产生全景图像,以使得对象图像没有丢失部分或者重叠部分。此外,当产生多幅捕获图像时,例如,甚至当成像装置倾斜时,仍可以精确地拼接图像。
<3.去除处理>
接着,将描述去除处理。去除处理单元22将图像分割为块。图3举例示出由垂直方向“H”和水平方向“W”表示块大小的情况。注意到,当图像被分割为预定尺寸的多个块时,如果在图像的端部产生具有小于预定尺寸的尺寸的块,则是可以接受的。
图4是示出去除处理的示意图。如图4中的(A)和(B)所示,例如,假定由特征点检测处理在单个分割块中检测到7个特征点。去除处理单元22根据每个特征点的可靠性(分数)对检测到的特征点分级。请注意,在图4的(B)中,以诸如“a1、a2、a3、...、a7”的降低的可靠性的顺序来定义特征点。
作为每个特征点的可靠性,如果例如在特征点检测处理中通过执行Harris角检测而检测到特征点,则通过角检测所计算的指示角的似然性的函数值(角强度)用作可靠性,并且具有高函数值的特征点确定为具有高可靠性的特征点。即,假定图像中给定位置(x,y)的像素值是I(x,y),则确定由公式(1)表示的矩阵M的特性值。
[公式1]
M = ( &PartialD; I &PartialD; x ) 2 ( &PartialD; I &PartialD; x ) ( &PartialD; I &PartialD; y ) ( &PartialD; I &PartialD; x ) ( &PartialD; I &PartialD; y ) ( &PartialD; I &PartialD; y ) 2 . . . ( 1 )
当矩阵M中的两个特性值α和β都很大时,就意味着在该位置存在角。因此,表示角的似然性的函数值,即,公式(2)表示的特征点检测函数R的函数值用作可靠性。注意在公式(2)中,Det(M)是由公式(3)表示的值,而Tr(M)是由公式(4)表示的值。此外,公式(4)中的符号k是常数。
[公式2]
R=Det(M)-kTr(M)2…(2)
Det(M)=αβ…(3)
kTr(M)=α+β…(4)
同时,当通过DoG(高斯差)最大值检测到特征点时,DoG可以用作可靠性,并且具有高DoG值的特征点可以确定为具有高可靠性的特征点。在此,假定在位置(x,y)的像素值是I(x,y),则可以根据公式(5)产生平滑图像L(x,y,σ)。注意在公式(5)中,“G(x,y,σ)”是由公式(6)表示的高斯函数。
[公式3]
L(x,y,σ)=G(x,y,σ)*I(x,y)…(5)
G ( x , y , &sigma; ) = 1 2 &pi; &sigma; 2 exp ( - x 2 + y 2 2 &sigma; 2 ) . . . ( 6 )
此外,正如公式(7)和图5所表示的,DoG图像D(x,y,σ)可以通过计算具有不同比例的平滑图像之间的差而产生。即,可以计算DoG值。注意到公式(7)和图5中的符号k表示升高速率。
[公式4]
D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)…(7)
去除处理单元22根据每个特征点的可靠性来以可靠性降低的顺序选择要求数量的特征点,并且去除未选择的特征点。例如,当每个块中限制数量的特征点是4个时,去除处理单元22选择具有高可靠性的四个特征点a1至a4,并且去除特征点a5至a7,如图4中的(C)所示。注意到,当每个块中的特征点的数量小于或者等于4时,不去除特征点。
如上所述,去除处理单元22根据每个特征点的可靠性执行以可靠性降低的顺序选择要求数量的特征点并且基于每个块去除其余特征点的处理。因此,去除处理单元22执行去除处理后剩余的特征点均匀散布在整个图像上。
去除处理单元22可以通过如上所述执行去除处理,以简单配置高速地去除特征点,以使得剩余特征点以空间上均匀的方式散布。
图像处理单元20还可以对具有不同比例的每幅图像执行检测特征点和去除检测到的一些特征点的处理。在这种情况下,对具有不同比例的每幅图像执行从特征点处理单元21到匹配点搜索处理单元24的处理,以使得由变换矩阵计算处理单元25利用从具有不同比例的每幅图像中检测到的特征点和匹配点计算图像变换矩阵。作为选择地,可以对具有不同比例的每幅图像执行从特征点处理单元21到去除处理单元22的处理,以利用从具有不同比例的每幅图像检测到的特征点,执行从特征量生成处理单元23到变换矩阵计算处理单元25的处理。注意到,从具有不同比例的每幅图像中检测到的特征点或者匹配点的位置变换为与具有预定比例的图像对应的位置,例如,对应于输入图像的位置,然后,利用变换之后的特征点或者匹配点的位置来执行变换矩阵计算处理和特征量生成处理。
特征点的限制数量可以是预设值,也可以根据块尺寸或者块位置设置。例如,对于其块尺寸为1/2的块,可以将特征点的限制数量设置为×1/2。同时,当要求对象明显位于特定范围内的位置时,该特定范围外的块内的特征点的限制数量可以设置得很小。
通过将对二维图像附加新的一维而获得的三维区域分割为多个区域,并且从每个分割区域上去除一些特征点,可以执行特征点的去除,以使得剩余特征点均匀散布在该三维空间内。例如,在检测特征点时,不仅使用图像中的位置(x,y),而且使用具有一个或多个不同比例的图像。在这种情况下,可以认为特征点分布在三维空间(x,y,s)中。这种空间被分割为长方体,设定包括在每个长方体内的特征点的数量的上限,然后,以可靠性升高的顺序去除特征点,以使得每个长方体内的剩余特征点数量在上限内。通过对每个长方体执行这种去除处理,可以以简单配置高速地去除特征点,以使得即使在三维空间内,剩余特征点也可以以空间上均匀的方式散布。此外,在X-Y平面上的二维空间内也可以从包括与XY面以直角交叉的Z方向的三维空间中去除特征点,以使得剩余特征点的数量以空间上均匀的方式散布。
如上所述,根据本技术,可以以空间上均匀的方式去除特征点,从而提高特征点匹配的精度。此外,即使当在图像之间存在小的重叠区域时,也可以稳定地执行对准。
此外,由于可靠性低的特征点被去除,以使得该块中的剩余特征点的数量在特征点的限制数量内,所以可以以简单配置高速地执行去除处理。因此,即使在具有有限的内置资源的装置中,也可以高速地执行对准。
利用硬件、软件或者它们二者的任意一个可以执行该说明中描述的一系列处理。当利用软件执行处理时,其上记录了处理序列的程序安装在内置在专用硬件中的计算机内的存储器上,然后执行。作为选择地,程序可以安装在可以执行各种处理的通用计算机上,然后执行。
例如,程序可以事先记录在作为记录介质的硬盘或者ROM(只读存储器)上。作为选择地,程序可以临时或者永久地存储(记录)在诸如软盘、CD-ROM(致密盘只读存储器)、MO盘(磁光盘)、DVD(数字多用途盘)、磁盘或者半导体存储卡之类的可拆卸记录介质内(上)。这种可拆卸记录介质可作为所谓封装软件提供。
此外,程序不仅可以从可拆卸记录介质安装到计算机上,而且可以经过诸如LAN(局域网)或者因特网之类的网络从下载站点无线或者有线地传送到计算机。在这种计算机中,以上述方式传送的程序可以接收并且安装在诸如内置硬件的记录介质上。
本技术领域内的技术人员应当明白,根据设计要求和其他因素,可以设想各种修改、组合、部分组合和变型,然而,它们均落入所附权利要求书或者其等效物的范围内。
此外,还可以如下配置本技术。
(1)图像处理装置,包括:
特征点检测单元,配置为从图像中检测特征点;
可靠性计算单元,配置为计算所检测到的每个特征点的可靠性;以及
去除处理单元,配置为根据可靠性去除所检测到的一些特征点,使得通过将图像分割为多个区域而获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
(2)根据(1)所述的图像处理装置,其中,去除处理单元以升高的可靠性的次序来顺序地去除特征点。
(3)根据(1)或者(2)所述的图像处理装置,其中,去除处理单元设置每个区域内的特征点的限制数量。
(4)根据(1)至(3)中的任何一项所述的图像处理装置,其中
特征点检测单元从图像中检测角作为特征点,以及
可靠性计算单元将角的强度设置为可靠性。
(5)根据(1)至(3)中的任何一项所述的图像处理装置,其中
特征点检测单元根据比例图像提取特征点,该比例图像已经通过以步进方式以预定平滑度平滑图像来产生,以及
可靠性计算单元将比例图像之间的差值用作可靠性。
(6)根据(1)至(5)中的任何一项所述的图像处理装置,其中,去除处理单元将三维区域分割为多个区域,并且从每个分割区域中去除特征点,该三维区域通过对二维图像附加新的一维获得。
(7)根据(6)所述的图像处理装置,其中,去除处理单元通过将比例包括到二维图像中来设置三维区域。
在本技术的图像处理装置、图像处理方法和程序中,从图像中检测特征点。此外,计算所检测的每个特征点的可靠性。另外,图像分割为多个区域,并且根据可靠性去除所检测的一些特征点,以使得每个分割区域内的剩余特征点的数量在特征点的预设限制数量内。因此,可以以简单配置以空间上均匀的方式高速去除特征点。因此,当根据多幅图像的特征点之间的对应关系搜索相同对象时,可以有效地搜索相同对象。另外,例如,可以通过精确地拼接图像来容易地产生全景图像,以使得对象图像不存在丢失部分或者重叠部分。
本申请含有与于2011年4月28日向日本专利局提交的第JP2011-100836号日本优先权专利申请披露的主题有关的主题,在此通过引用包括该专利申请的全部内容。

Claims (9)

1.一种图像处理装置,包括:
特征点检测单元,配置为从图像中检测特征点;
可靠性计算单元,配置为计算所检测到的每个特征点的可靠性;以及
去除处理单元,配置为根据可靠性去除所检测到的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
2.根据权利要求1所述的图像处理装置,其中,所述去除处理单元以升高的可靠性的次序来顺序地去除特征点。
3.根据权利要求1所述的图像处理装置,其中,所述去除处理单元设置每个区域内的特征点的限制数量。
4.根据权利要求1所述的图像处理装置,其中
所述特征点检测单元从图像中检测角作为特征点,以及
所述可靠性计算单元将角的强度设置为可靠性。
5.根据权利要求1所述的图像处理装置,其中
所述特征点检测单元根据比例图像提取特征点,所述比例图像已经通过以步进方式以预定平滑度平滑所述图像来产生,以及
所述可靠性计算单元将所述比例图像之间的差值用作可靠性。
6.根据权利要求1所述的图像处理装置,其中,所述去除处理单元将三维区域分割为多个区域,并且从每个分割区域中去除特征点,所述三维区域通过对二维图像附加新的一维获得。
7.根据权利要求6所述的图像处理装置,其中,所述去除处理单元通过将比例包括到所述二维图像中来设置三维区域。
8.一种图像处理方法,包括:
从图像中检测特征点;
计算所检测到的每个特征点的可靠性;以及
根据可靠性去除所检测到的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
9.一种用于使得计算机执行如下过程的程序:
从图像中检测特征点;
计算所检测到的每个特征点的可靠性;以及
根据可靠性去除所检测到的一些特征点,使得通过将图像分割为多个区域获得的每个分割区域内的剩余特征点的数量在特征点的限制数量内。
CN2012101198557A 2011-04-28 2012-04-23 图像处理装置、图像处理方法和程序 Pending CN102760291A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-100836 2011-04-28
JP2011100836A JP2012234258A (ja) 2011-04-28 2011-04-28 画像処理装置と画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
CN102760291A true CN102760291A (zh) 2012-10-31

Family

ID=47054744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101198557A Pending CN102760291A (zh) 2011-04-28 2012-04-23 图像处理装置、图像处理方法和程序

Country Status (3)

Country Link
US (1) US8792727B2 (zh)
JP (1) JP2012234258A (zh)
CN (1) CN102760291A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813094A (zh) * 2012-11-06 2014-05-21 联发科技股份有限公司 捕捉图像的方法、电子装置与机器可读存储介质
CN103973993A (zh) * 2013-02-01 2014-08-06 宏达国际电子股份有限公司 影像合成装置及方法
CN109064393A (zh) * 2018-08-17 2018-12-21 广州酷狗计算机科技有限公司 人脸特效处理方法及装置
CN110663249A (zh) * 2017-05-26 2020-01-07 索尼公司 用于图像处理的装置和方法
CN113298187A (zh) * 2021-06-23 2021-08-24 展讯通信(上海)有限公司 图像处理方法及装置、计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8953893B2 (en) * 2012-05-31 2015-02-10 Qualcomm Incorporated System and method to determine feature candidate pixels of an image
US9147123B2 (en) 2012-05-31 2015-09-29 Qualcomm Incorporated System and method to perform feature detection and to determine a feature score
TW201421423A (zh) * 2012-11-26 2014-06-01 Pixart Imaging Inc 影像感測器及其運作方法
JP6230345B2 (ja) 2013-09-06 2017-11-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム
JP6248647B2 (ja) * 2014-01-22 2017-12-20 富士通株式会社 画像照合方法、画像処理システム、及びプログラム
JP6519505B2 (ja) 2016-03-15 2019-05-29 オムロン株式会社 物体検出装置、物体検出方法、及びプログラム
WO2018066027A1 (ja) * 2016-10-03 2018-04-12 オリンパス株式会社 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
JP6997369B2 (ja) * 2017-02-28 2022-02-04 富士通株式会社 プログラム、測距方法、及び測距装置
JP6717769B2 (ja) * 2017-03-21 2020-07-01 Kddi株式会社 情報処理装置及びプログラム
JP2019021100A (ja) * 2017-07-19 2019-02-07 東芝テック株式会社 画像探索装置、商品認識装置および画像探索プログラム
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN111680549B (zh) * 2020-04-28 2023-12-05 肯维捷斯(武汉)科技有限公司 一种纸纹识别方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818959A (en) * 1995-10-04 1998-10-06 Visual Interface, Inc. Method of producing a three-dimensional image from two-dimensional images
US6041133A (en) * 1996-12-13 2000-03-21 International Business Machines Corporation Method and apparatus for fingerprint matching using transformation parameter clustering based on local feature correspondences
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
JP4612760B2 (ja) * 2000-04-25 2011-01-12 キヤノン株式会社 画像処理装置およびその方法
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US20050088515A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Camera ring for three-dimensional (3D) surface imaging
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
US8306361B2 (en) * 2004-06-03 2012-11-06 Japan Science And Technology Agency High-speed high-accuracy matrix singular value decomposition method, program, and device
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
EP1901228B1 (en) * 2005-06-08 2011-05-18 Fujitsu Ltd. Apparatus, method and program for image matching
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US8433157B2 (en) * 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4961850B2 (ja) * 2006-06-15 2012-06-27 ソニー株式会社 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置
JP5017666B2 (ja) * 2006-08-08 2012-09-05 国立大学法人京都大学 固有値分解装置、及び固有値分解方法
KR100884066B1 (ko) * 2007-03-30 2009-02-19 한국전자통신연구원 Svd 기반의 영상 비교시스템 및 방법
JP4361946B2 (ja) * 2007-08-07 2009-11-11 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体
JP5238220B2 (ja) * 2007-10-29 2013-07-17 株式会社東芝 解像度変換装置、方法およびプログラム
GB0807411D0 (en) * 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
JP4964852B2 (ja) * 2008-09-24 2012-07-04 富士フイルム株式会社 画像処理装置、方法及びプログラム
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4852591B2 (ja) * 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
WO2011010703A1 (ja) * 2009-07-23 2011-01-27 日本電気株式会社 マーカ生成装置、マーカ生成検出システム、マーカ生成検出装置、マーカ、マーカ生成方法及びプログラム
JP5644097B2 (ja) * 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8971632B2 (en) * 2010-08-19 2015-03-03 Sharp Laboratories Of America, Inc. System for feature detection for low contrast images
US8554016B2 (en) * 2010-11-10 2013-10-08 Raytheon Company Image registration system and method for registering images for deformable surfaces
JP5648452B2 (ja) * 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
US8988536B2 (en) * 2010-12-23 2015-03-24 Samsung Electronics Co., Ltd. Image processing circuit, method of operation thereof, and digital camera including same
JP5158223B2 (ja) * 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813094A (zh) * 2012-11-06 2014-05-21 联发科技股份有限公司 捕捉图像的方法、电子装置与机器可读存储介质
CN103973993A (zh) * 2013-02-01 2014-08-06 宏达国际电子股份有限公司 影像合成装置及方法
CN103973993B (zh) * 2013-02-01 2017-07-28 宏达国际电子股份有限公司 影像合成装置及方法
CN110663249A (zh) * 2017-05-26 2020-01-07 索尼公司 用于图像处理的装置和方法
US11202044B2 (en) 2017-05-26 2021-12-14 Sony Corporation Image processing apparatus and method
CN110663249B (zh) * 2017-05-26 2022-04-15 索尼公司 用于图像处理的装置和方法
CN109064393A (zh) * 2018-08-17 2018-12-21 广州酷狗计算机科技有限公司 人脸特效处理方法及装置
CN113298187A (zh) * 2021-06-23 2021-08-24 展讯通信(上海)有限公司 图像处理方法及装置、计算机可读存储介质

Also Published As

Publication number Publication date
US8792727B2 (en) 2014-07-29
JP2012234258A (ja) 2012-11-29
US20120275711A1 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
CN102760291A (zh) 图像处理装置、图像处理方法和程序
CN100426321C (zh) 使用多尺度取向片段的多图像匹配
Solem Programming Computer Vision with Python: Tools and algorithms for analyzing images
David et al. Object recognition in high clutter images using line features
CN104583902A (zh) 改进的手势的识别
US20150138322A1 (en) Image processing device and its control method, imaging apparatus, and storage medium
CN103279952A (zh) 一种目标跟踪方法和装置
US9245194B2 (en) Efficient line detection method
CN102947863A (zh) 移动物体检测装置
EP3093822A1 (en) Displaying a target object imaged in a moving picture
CN104508680A (zh) 改善之视讯追踪
Uchiyama et al. Toward augmenting everything: Detecting and tracking geometrical features on planar objects
KR20160130769A (ko) 화상을 프로세싱하기 위한 방법 및 디바이스
CN109743566B (zh) 一种用于识别vr视频格式的方法与设备
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN102473306A (zh) 图像处理装置、图像处理方法、程序以及集成电路
Davidson et al. 360 camera alignment via segmentation
US10834281B2 (en) Document size detecting by matching between image of entire document and read size image
US9773188B2 (en) Information processing apparatus, imaging apparatus, information processing system, information processing method, and program for removing unwanting objects from images
US9171227B2 (en) Apparatus and method extracting feature information of a source image
JP7183020B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20230100238A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
Hasinoff et al. Search-and-replace editing for personal photo collections
CN105100616A (zh) 一种图像处理方法及电子设备
Pang et al. The Gixel array descriptor (GAD) for multimodal image matching

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121031