CN101814135B - 学习设备、学习方法、识别设备、识别方法和程序 - Google Patents

学习设备、学习方法、识别设备、识别方法和程序 Download PDF

Info

Publication number
CN101814135B
CN101814135B CN2010101159784A CN201010115978A CN101814135B CN 101814135 B CN101814135 B CN 101814135B CN 2010101159784 A CN2010101159784 A CN 2010101159784A CN 201010115978 A CN201010115978 A CN 201010115978A CN 101814135 B CN101814135 B CN 101814135B
Authority
CN
China
Prior art keywords
image
unique point
characteristic
generation
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101159784A
Other languages
English (en)
Other versions
CN101814135A (zh
Inventor
岩井嘉昭
中村章
芦原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101814135A publication Critical patent/CN101814135A/zh
Application granted granted Critical
Publication of CN101814135B publication Critical patent/CN101814135B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种学习设备、学习方法、识别设备、识别方法和程序。学习设备包括特征点提取部件,用于从生成用图像提取特征点;特征点特征量提取部件,用于提取表示所述特征点的特征的特征点特征量;全体特征量生成部件,用于生成用多维向量表示的全体特征量;以及识别器生成部件,用于利用所述全体特征量以及指示生成用图像是正图像还是负图像的正确标签来生成识别器。

Description

学习设备、学习方法、识别设备、识别方法和程序
技术领域
本发明涉及学习设备、学习方法、识别设备、识别方法和程序,并且更具体地涉及能够在识别在图像中看到的被摄物(subject)是否是预定识别对象时改善识别性和不变性二者的学习设备、学习方法、识别设备、识别方法和程序。
背景技术
作为从由相机捕捉到的图像识别出作为位于图像内的识别对象的对象的方法,存在使用其中大体描述识别对象的模板来执行匹配的方法。
也就是,相关技术中的识别方法准备了其中大体描述识别对象的模板,即所有识别对象的纹理模板,并将要识别的对象(要处理的对象)的图像与模板进行匹配。
然而,难以处理作为要在利用其中大体描述识别对象的模板的匹配处理中处理的对象的、在图像中看到的识别对象的隐藏或变形部分。
存在这样的方法:观测要处理的图像的局部区域,从每个局部区域提取特征量,并且通过使用局部区域的特征量的组合(局部区域的特征量的集合)来执行识别处理,所述局部区域的特征量的组合也就是将每个局部区域的特征量用作分量的向量。
当使用局部区域的特征量的集合时,可以通过部分地解决在利用其中大体描述识别对象的模板的方法中难以处理识别对象的隐藏或变形部分的问题来执行高精度的识别。
局部区域的特征量被用于对象类别识别以及个别对象识别。例如,已经提议了利用局部区域的特征量来识别诸如人脸等之类的特定类别的方法(例如,参见P.Viola和M.Jones的“Robust Real-time Face Detection”,cvpr2001)。
已经提议了用于类别识别的各种架构。例如,作为针对类别识别而提议的架构,存在使用BoF(Bag of Features,特征袋)的直方图的架构(例如,参见G.Csurka、C.Bray、C.Dance和L.Fan的“Visual Categorizationwith Bags of Keypoints”,ECCV2004)、使用特征量的相关性的架构(例如,参见日本未审专利申请公开No.2007-128195)等等。
例如,作为用于识别的局部区域的特征量,已经提议了SIFT特征量(例如,参见D.Lowe的“Object Recognition from Local Scale-InvariantFeatures”,ICCV1999),或导向滤波器(steerable filter)的输出(响应)(例如,参见J.J.Yokono和T.Poggio的“Oriented Filters for ObjectRecognition:an empirical study”,FG2004)。
发明内容
用于对识别对象及其他进行识别(区别)的识别性和用于即使当识别对象旋转或变形时也对要识别对象的移动进行识别的不变性,对于识别个别对象或对象类别而言是必需的。
然而,识别性和不变性通常处于一种折衷的关系。因此,即使当将SIFT特征量或导向滤波器的响应用作用于如下识别的特征量时,也难以既改善识别性又改善不变性,所述识别即对在图像中看到的被摄物是否是预定识别对象的识别,例如对个别对象或对象类别的识别。
希望在对在图像中看到的被摄物是否是预定识别对象的识别中,既改善识别性又改善不变性。
根据本发明的第一实施例,一种学习设备或者用于使得计算机用作学习设备的程序,包括:特征点提取装置,用于从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器;特征点特征量提取装置,用于提取表示所述生成用图像的特征点的特征的特征点特征量;全体特征量生成装置,用于从所述生成用图像的特征点特征量生成用多维向量表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征;以及识别器生成装置,用于利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签(true label)来生成所述识别器,其中,所述特征点特征量提取装置通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述识别器生成装置利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,并且生成表示使所述误差值减小的维度特征量的维度的维度信息。
根据本发明的第一实施例,一种学习方法包括以下步骤:从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器;提取表示所述生成用图像的特征点的特征的特征点特征量;从所述生成用图像的特征点特征量生成用多维向量表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征;以及利用所述生成用图像的所述全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器;其中,所述提取步骤是通过以下步骤来执行的:通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述生成步骤是通过以下步骤来执行的:利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,以及生成表示使所述误差值减小的维度特征量的维度的维度信息。
在本发明的第一实施例中,从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器。提取表示所述生成用图像的特征点的特征的特征点特征量。从所述生成用图像的特征点特征量生成用多维向量表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征。利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器。在这种情况下,通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的。针对所述多个小区域的每个小区域,产生小区域的像素值的统计量。将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量。利用是多维向量(其作为所述全体特征量)的分量的多个维度特征量之中的、使(表示对正图像和负图像的识别误差水平的)误差值减小的维度特征量生成用于执行识别的识别器。生成表示使所述误差值减小的维度特征量的维度的维度信息。
根据本发明的第二实施例,一种识别设备或者用于使得计算机用作识别设备的程序包括:特征点提取装置,用于从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点;特征点特征量提取装置,用于提取表示所述特征点的特征的特征点特征量;维度特征量生成装置,用于从所述处理对象图像的特征点特征量,生成是作为用多维向量表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征;以及识别装置,用于通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象,其中,所述特征点特征量提取装置通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述识别器和维度信息是通过以下步骤得到的:从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,提取表示所述生成用图像的特征点的特征的特征点特征量;从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,其中,所述提取步骤是通过以下步骤来执行的:通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述生成步骤是通过以下步骤来执行的:利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量来生成用于执行识别的识别器,以及生成表示使所述误差值减小的维度特征量的维度的维度信息。
根据本发明的第二实施例,一种识别方法包括以下步骤:从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点;提取表示所述特征点的特征的特征点特征量;从所述处理对象图像的特征点特征量,生成是作为用多维向量来表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征;以及通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象,其中,所述特征点特征量提取步骤包括:通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,其中,所述识别器和维度信息是通过以下步骤得到的:从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,提取表示所述生成用图像的特征点的特征的特征点特征量;从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,其中,所述提取步骤是通过以下步骤来执行的:通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述生成步骤是通过以下步骤来执行的:利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量来生成用于执行识别的识别器,以及生成表示使所述误差值减小的维度特征量的维度的维度信息。
在本发明的第二实施例中,从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点。提取表示所述特征点的特征的特征点特征量。从所述处理对象图像的特征点特征量,生成是作为用多维向量表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征。通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象。在这种情况下,通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的。针对所述多个小区域的每个小区域,产生小区域的像素值的统计量。将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量。所述识别器和维度信息是通过以下步骤得到的:从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,提取表示所述生成用图像的特征点的特征的特征点特征量,从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及利用所述生成用图像的所述全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,其中,所述提取步骤是通过以下步骤来执行的:通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且其中,所述生成步骤是通过以下步骤来执行的:利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量来生成用于执行识别的识别器,以及生成表示使所述误差值减小的维度特征量的维度的维度信息。
学习设备和识别设备的每个可以是独立的设备,或者可以是构成一个设备的内部块。
可以通过经由发送媒介发送程序或者通过将程序记录在记录介质上来提供程序。
根据本发明的第一和第二实施例,可以在对图像中看到的被摄物是否是预定识别对象的识别中,既改善识别性又改善不变性。
附图说明
图1是示出根据本发明实施例的学习设备的配置示例的框图;
图2是示出特征点特征量提取部件的配置示例的框图;
图3是示出高斯函数的导数的示图;
图4是示出高斯函数的导数的示图;
图5是示出高斯函数的导数的示图;
图6是示出响应图像的示图;
图7是示出特征点区域的示图;
图8是示出一种类型的特征量的示图;
图9是示出特征点特征量提取处理的流程图;
图10A和10B是示出全体特征量生成部件的处理的示图;
图11是示出全体特征量生成处理的流程图;
图12是示出全体特征量生成处理的流程图;
图13是示出识别器生成部件的处理的示图;
图14是示出识别器生成处理的流程图;以及
图15是示出学习设备的学习处理的流程图。
图16是示出根据本发明实施例的识别设备的配置示例的框图;
图17是示出识别设备的识别处理的流程图;以及
图18是示出根据本发明实施例的计算机的配置示例的框图。
具体实施方式
根据实施例的学习设备的配置示例
图1是示出根据本发明实施例的学习设备的配置示例的框图。
在图1中,学习设备使用学习图像和正确标签生成(产生)用于识别在图像中看到的被摄物是否是预定识别对象的识别器以及随后将描述的维度信息。
此处的学习图像是用来生成(学习)识别器的图像,并且包括多个模型图像以及多个生成用图像。
模型图像是正图像,其中识别对象被看到,并且生成用图像包括正图像和负图像两者,其中没有识别图像被看到(除识别对象之外的对象被看到)。
正确标签针对每一生成用图像而存在,并且是指示每个生成用图像是正图像还是负图像的标签。
在图1中,学习设备包括特征点提取部件11、特征点特征量提取部件12、特征点特征量存储部件13、特征点提取部件21、特征点特征量提取部件22、全体特征量生成部件23和识别器生成部件24。
学习图像的模型图像从外部被供应给特征点提取部件11。特征点提取部件11从供应给它的模型图像中提取作为表示特性的点的特征点,并且将提取出的特征点和模型图像供应给特征点特征量提取部件12。
在此,特征点提取部件11提取拐角点(处的像素)作为特征点,因为图像的局部信息通常被包括在拐角点处。
可以利用Harris拐角检测器来提取拐角点。当在Harris拐角检测器中用I(x,y)来表示某一位置(x,y)处的像素的像素值(例如,亮度)时,其中根据表达式(1)产生的亮度梯度的二阶矩L的两个特有值(uniquevalue)等于或大于阈值的像素被检测为拐角点。
表达式1
L = ( ∂ I ∂ x ) 2 ( ∂ I ∂ x ) ( ∂ I ∂ y ) ( ∂ I ∂ x ) ( ∂ I ∂ y ) ( ∂ I ∂ y ) 2
在表达式(1)中,通过省略(x,y)而将像素值表示为I。
此外,例如,可以采用边缘处的像素、预定固定位置处的像素等作为特征点。
特征点特征量提取部件12从由特征点提取部件11供应的模型图像提取表示相同特征点的特征的特征点特征量,并且将提取出的特征点特征量供应给特征点特征量存储部件13。
特征点特征量存储部件13存储来自特征点特征量提取部件12的模型图像的特征点特征量。
学习图像的生成用图像从外部被供应到特征点提取部件21。与特征点提取部件11类似,特征点提取部件21从所供应的生成用图像提取特征点,并且将提取出的特征点和生成用图像供应给特征点特征量提取部件22。
与特征点特征量提取部件12类似,特征点特征量提取部件22从由特征点提取部件21供应的生成用图像提取表示相同特征点的特征的特征点特征量,并且将提取出的特征点特征量供应给全体特征量生成部件23。
全体特征量生成部件23基于存储在特征点特征量存储部件13中的模型图像的特征点特征量,从由特征点特征量提取部件22供应的生成用图像的特征点特征量产生指示整个生成用图像的特征的全体特征量。
在此,例如,用多维向量(以多个值作为分量的向量)来表示全体特征量。作为多维向量的全体特征量从全体特征量生成部件23被供应到识别器生成部件24。
不仅生成用图像的全体特征量被从全体特征量生成部件23供应到识别器生成部件24,而且生成用图像的正确标签被从外部供应到识别器生成部件24。识别器生成部件24利用生成用图像的全体特征量和生成用图像的正确标签来生成识别器(执行学习以产生对识别器进行定义的参数)。
在此,当作为全体特征量的多维向量的分量被假设为是维度特征量时,全体特征量包括多个维度特征量(其个数对应于向量维度的个数)。
识别器生成部件24利用从构成全体特征量的维度特征量中选出的部分维度特征量,而不是使用构成全体特征量的所有维度特征量,来生成用于识别处理的识别器。指示要被识别器用来进行识别的维度特征量的维度的信息(指示作为全体特征量的向量的分量的序列号的信息)是维度信息,并且识别器生成部件24还与识别器一起生成维度信息。
特征点特征量提取部件12的配置示例
图2是示出图1的特征点特征量提取部件12的配置示例的框图。
图1的特征点特征量提取部件22和识别设备(图16)的特征点特征量提取部件72也具有与特征点特征量提取部件12相同的配置。在这点上,特征点特征量提取部件12将模型图像作为对象进行处理,然而特征点特征量提取部件22将生成用图像作为对象进行处理,并且特征点特征量提取部件72将处理对象图像作为对象进行处理。
在图2中,特征点特征量提取部件12包括滤波器部件41和特征点特征量计算部件42。
要从中提取特征点特征量的对象图像,也就是此处的模型图像,从特征点提取部件11(图1)供应到滤波器部件41。
滤波器部件41利用具有不同特性的多个滤波器对来自特征点提取部件11的模型图像进行滤波,并且将作为滤波结果而得到的多个响应图像(滤波结果)供应给特征点特征量计算部件42。
来自特征点提取部件11(图1)的模型图像的特征点以及来自滤波器部件41的模型图像的响应图像被供应到特征点特征量计算部件42。
特征点特征量计算部件42针对来自滤波器部件41的模型图像的多个响应图像的每一个,将特征点区域设定为以来自特征点提取部件11的特征点为中心的区域。特征点特征量计算部件42通过基于特征点在角方向和距离方向上分割特征点区域来将特征点区域划分为多个小区域。
特征点特征量计算部件42针对多个小区域的每一个产生像素值(小区域的像素值)的统计量,并且将针对每个特征点从多个响应图像中的每一个得到的多个小区域的每一个小区域的统计量作为特征点的特征点特征量进行输出。
将参考图3到图6来描述图2的滤波器部件41的滤波。
例如,滤波器部件41通过对来自特征点提取部件11的模型图像进行滤波而产生在J.J.Yokono和T.Poggio的“Oriented Filters for ObjectRecognition:an empirical study”,FG2004中公开的导向滤波器的响应作为响应图像。
也就是,例如,滤波器部件41通过作为具有不同特性的多个滤波器的如下的多个导数的每一个来对来自特征点提取部件11的模型图像进行滤波,并且输出模型图像的多个响应图像,所述多个导数是基于多个尺度(scale)σ的高斯函数、多个角度θ方向以及多个微分c的。
具体地,二维高斯函数G(x,y)通过利用尺度(标准差)σ的表达式(2)来表示。
表达式2
G ( x , y ) = e - x 2 + y 2 2 σ 2
基于高斯函数G(x,y)、角度θ[度]方向以及c次微分的导数(通过对高斯函数G(x,y)执行c次微分而得到的导数)(以下也称作“c阶导数”)用Gc θ来表示。
因为高斯函数G(x,y)的0度方向上的一阶导数G1 与高斯函数G(x,y)的x方向的(偏)微分的结果匹配,所以可以用表达式(3)来表示一阶导数G1
表达式3
Figure GSA00000022160900122
因为高斯函数G(x,y)的90度方向上的一阶导数G1 90°与高斯函数G(x,y)的y方向的微分的结果匹配,所以可以用表达式(4)来表示一阶导数G1 90°
表达式4
Figure GSA00000022160900131
表达式(3)的一阶导数G1 和表达式(4)的一阶导数G1 90°是高斯函数G(x,y)的任意角度θ方向上的一阶导数G1 θ的基函数。因此,高斯函数G(x,y)的任意角度θ方向上的一阶导数G1 θ可以用表达式(5)表示为作为基函数的一阶导数G1 和G1 90°的线性组合。
表达式5
根据表达式(5),例如,高斯函数G(x,y)的45度方向上的一阶导数G1 45°用表达式(6)来表示。
表达式6
Figure GSA00000022160900133
在此,图3示出作为基函数的一阶导数G1 和G1 90°以及45度方向上的一阶导数G1 45°
在图3(与随后描述的图4和图5类似)中,x方向是横向方向,并且y方向是纵向方向。颜色越亮(或越暗),值越大(或越小)。
作为基函数的一阶导数G1 90°是通过将作为基函数的一阶导数G1 相对于原点(在逆时针方向上)旋转90度而得到的。类似地,一阶导数G1 45°是通过将一阶导数G1 旋转45度而得到的。
例如,滤波器部件41通过在每个一阶导数G1 θ中对模型图像进行滤波来产生8个响应图像,其中一阶导数G1 θ是基于两个尺度σ=1和2的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及微分次数c=1的。
在此,因为用一阶导数G1 θ与模型图像的卷积来表示通过一阶导数G1 θ对模型图像进行的滤波,所以能够根据表达式(5),用作为基函数的一阶导数G1 和G1 90°与模型图像的卷积结果的线性组合来对其进行表示。
当用I来表示模型图像的像素值时,一阶导数G1 与模型图像I的卷积结果R1 用表达式(7)来表示,并且一阶导数G1 90°与模型图像I的卷积结果R1 90°用表达式(8)来表示。
表达式7
Figure GSA00000022160900141
表达式8
Figure GSA00000022160900142
在此,*表示卷积。
通过在一阶导数G1 θ中对模型图像I进行滤波而得到的响应图像R1 θ利用表达式(7)的卷积结果R1 和表达式(8)的卷积结果R1 90°通过表达式(9)来表示。
表达式9
Figure GSA00000022160900143
如在微分次数c=1的一阶导数G1 θ中那样,滤波器部件41针对微分次数c=2的二阶导数G2 θ以及微分次数c=3的三阶导数G3 θ的每个执行滤波处理。滤波器部件41从二阶导数G2 θ产生8个响应图像,并且从三阶导数G3 θ产生8个响应图像。
在此,二阶导数G2 θ可以利用三个二阶导数G2 、G2 60°和G2 120°通过表达式(10)来表示。
表达式10
Figure GSA00000022160900144
表达式(10)的系数k2i(θ)用表达式(11)来表示。
表达式11
k 2 i ( θ ) = 1 3 { 1 + 2 cos ( 2 ( θ - θ i ) ) }
在这点上,在表达式(11)中,θ1、θ2和θ3分别是0度、60度和120度。
在此,图4示出作为二阶导数G2 θ的基函数的三个二阶导数G2 、G2 60°和G2 120°
二阶导数G2 60°是通过将二阶导数G2 旋转60度而得到的,并且二阶导数G2 120°是通过将二阶导数G2 旋转120度而得到的。
三阶导数G3 θ可以将4个三阶导数G3 、G3 45°、G3 90°和G3 135°用作基函数而通过表达式(12)来表示。
表达式12
Figure GSA00000022160900151
表达式(12)的系数k3i(θ)用表达式(13)来表示。
表达式13
k 3 i ( θ ) = 1 4 { 2 cos ( θ - θ i ) + 2 cos ( 3 ( θ - θ i ) ) }
在这点上,在表达式(13)中,θ1、θ2、θ3和θ4分别是0度、45度、90度和135度。
在此,图5示出作为三阶导数G3 θ的基函数的4个三阶导数G3 、G3 45°、G3 90°和G3 135°
三阶导数G3 45°是通过将三阶导数G3 旋转45度而得到的,三阶导数G3 90°是通过将三阶导数G3 旋转90度而得到的,并且三阶导数G3 135°是通过将三阶导数G3 旋转135度而得到的。
图6示出从图2的滤波器部件41输出的模型图像的响应图像。
滤波器部件41在一阶导数G1 θ、二阶导数G2 θ、和三阶导数G3 θ中对模型图像进行滤波,所述一阶导数G1 θ、二阶导数G2 θ、和三阶导数G3 θ是基于两个尺度σ=1和2的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及三次微分c=1、2和3的导数。
因此,滤波器部件41从一个模型图像产生基于两个尺度σ=1和2、四个角度θ=θA、θB、θC和θD方向以及三次微分c=1、2和3的多个组合,也就是24个响应图像,并且将响应图像供应到特征点特征量计算部件42。
在滤波器部件41中用作滤波器的函数不限于高斯函数。在图3到图6中,基于两个尺度σ=1和2的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及三次微分c=1、2和3的导数被用作滤波器。尺度σ、角度θ和微分次数c不限于上述值。可以采用除高斯函数G(x,y)的导数之外的函数。
接下来,将参考图7和图8来描述图2的特征点特征量计算部件42的处理。
如参考图6所描述的,滤波器部件41从一个模型图像产生24个响应图像并且将响应图像供应给特征点特征量计算部件42。
在从一个模型图像产生出的24个响应图像之中,一个响应图像被观测。在所观测的响应图像(以下也称作观测响应图像)的特征点(确切地说,图像上的与模型图像的特征点具有相同位置的点)之中,一个特征点被观测。
特征点特征量计算部件42在来自特征点提取部件11(图1)的用于观测响应图像的特征点之中,设定以所观测的特征点(以下也称作观测特征点)为中心的特征点区域。特征点特征量计算部件42通过基于观测特征点而在角方向和距离方向上分割特征点区域来将特征点区域划分为多个小区域。
图7示出特征点区域和特征点区域被划分为的多个小区域。
例如,特征点特征量计算部件42将以观测特征点为中心并且具有固定半径的圆形区域设定为特征点区域,并且通过基于观测特征点在角方向和距离方向上分割特征点区域而将特征点区域划分为多个小区域。
在图7中,特征点区域在8个角方向以及3个距离方向上被分割,并且因此总共被划分为24个小区域。
对特征点区域进行分割的角方向的个数或距离方向的个数不被具体限制。
例如,特征点特征量计算部件42为针对观测特征点而得到的24个小区域的每一个小区域,产生小区域的像素值(小区域内的像素的像素值)的平均值作为小区域的统计量。
特征点特征量计算部件42通过将以从4个响应图像(所述4个响应图像是通过在基于同一尺度σ的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及同一微分次数c的导数的每一个中进行滤波而得到的)而产生的小区域的像素值的平均值作为分量的向量用作观测特征点的一种类型的特征量,来产生与两个尺度σ=1和2和三次微分c=1、2和3的组合数相对应的6种类型的特征量作为特征点特征量。
图8是示出由特征点特征量计算部件42产生的一种类型的特征量的示图。
在图8中,针对4个响应图像的每一个的观测特征点产生每一响应图像的24个小区域的像素值的平均值(以下也称作小区域平均值),所述4个响应图像是通过在基于尺度σ=1的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及微分次数c=1的导数(一阶导数)的每一个中进行滤波而得到的。
总共,从通过在基于同一尺度σ的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及同一微分次数c的导数的每一个中进行滤波而得到的4个响应图像,产生出96个小区域平均值。
特征点特征量计算部件42将以96个小区域平均值作为分量的96维向量用作观测特征点的一种类型的特征量。
除了其中尺度σ=1并且微分次数c=1的情况外,特征点特征量计算部件42还针对如下情况的每一种产生作为观测特征点的一种类型的特征量的、以96个小区域平均值作为分量的96维向量:其中尺度σ=1并且微分次数c=2的情况、其中尺度σ=1并且微分次数c=3的情况、其中尺度σ=2并且微分次数c=1的情况、其中尺度σ=2并且微分次数c=2的情况以及其中尺度σ=3并且微分次数c=3的情况。
因此,特征点特征量计算部件42产生6种类型的特征量(六个96维向量)作为观测特征点的特征点特征量。
如上所述,特征点特征量提取部件12产生以从如下的响应图像中所产生的小区域的像素值的平均值作为分量的向量作为观测特征点的特征点特征量,所述响应图像是通过在基于尺度σ=1和2的高斯函数G(x,y)、多个角度θ=θA、θB、θC和θD方向以及多个微分c=1、2和3的导数的每一个中进行滤波而得到的。
在此,在J.J.Yokono和T.Poggio的“Oriented Filters for ObjectRecognition:an empirical study”,FG2004的相关技术中,通过将以如下多个响应图像的特征点的像素值作为分量的向量设定为特征点特征量,产生了具有高识别性的特征点特征量,所述多个响应图像是通过在基于多个尺度σ的高斯函数G(x,y)、多个角度θ方向的导数的每一个中进行滤波而得到的。
另一方面,图1的学习设备通过在基于尺度σ=1和2的高斯函数G(x,y)、多个角度θ=θA、θB、θC和θD方向以及多个微分c=1、2和3的导数的每一个中对模型图像进行滤波,从对应于多个尺度σ、多个角度θ方向以及多个导数的组合的多个响应图像产生了特征点特征量。因此,能够从图像(此处是模型图像)中得到具有较高识别性的特征点特征量,其中像素值在各个方向上的变化状态,即图像的各种纹理的信息被反映出来。
图1的学习设备使用通过基于特征点在角方向和距离方向上分割响应图像中的以特征点为中心的特征点区域而得到的多个小区域的像素值的平均值作为特征点特征量。
因此,能够得到具有高识别性的特征点特征量,其中在基于多个尺度σ=1和2的高斯函数G(x,y)、多个角度θ=θA、θB、θC和θD方向以及多个微分c=1、2和3的导数的每一个中,响应于特性不同的多个滤波器,外围分布被反映出来。
通过从特征点周围的多个小区域产生特征点特征量并且将作为小区域的像素值的统计量的平均值设定为特征点特征量,能够得到对于在图像中看到的被摄物的倾斜(旋转)或变形而言具备鲁棒性的特征点特征量,即具有改善的不变性的特征点特征量。
特征点特征量提取处理的描述
将参考图9描述图2的特征点特征量提取部件12提取特征点特征量的特征点特征量提取处理。
在步骤S11,特征点特征量提取部件12从特征点提取部件11(图1)所供应的模型图像中选择一个没有被选出作为观测图像的模型图像作为观测图像。然后,处理前进到步骤S12。
在步骤S12,特征点特征量提取部件12的滤波器部件41(图2)在基于两个尺度σ=1和2的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及三个微分c=1、2和3的导数的每一个中对观测图像进行滤波。也就是,滤波器部件41通过对观测图像进行滤波来产生24个响应图像,如图6所示。
滤波器部件41将从观测图像产生的24个响应图像供应给特征点特征量计算部件42,然后处理从步骤S12前进到S13。
在步骤S13,特征点特征量计算部件42从特征点提取部件11供应的模型图像的特征点中所包括的观测图像的特征点选择一个没有被选出作为观测特征点的特征点作为观测特征点。处理前进到步骤S14。
在步骤S14,特征点特征量计算部件42在通过在基于同一尺度σ的高斯函数G(x,y)、同一角度θ方向以及同一微分次数c的导数中进行滤波而得到的响应图像中,也就是,在来自滤波器部件41的24个响应图像的每一个中,设定以观测特征点为中心的特征点区域。
然后,处理从步骤S14前进到步骤S15,并且特征点特征量计算部件42通过在图7所示的24个响应图像的每一个响应图像中,基于观测特征点在角方向和距离方向上分割响应图像的特征点区域来将响应图像的特征点区域划分为24个小区域。
处理从步骤S15前进到步骤S16,并且特征点特征量计算部件42产生通过在24个响应图像的每一个中划分观测特征点的特征点区域而得到的24个小区域的每一个小区域的小区域平均值。处理前进到步骤S17。
在步骤S17,特征点特征量计算部件42通过将以从如下的响应图像而产生的小区域的像素值的平均值作为分量的向量用作观测特征点的一种类型的特征量来产生与两个尺度σ=1和2和三个微分c=1、2和3的组合数相对应的6种类型的特征量作为观测特征点的特征点特征量,所述响应图像是通过在基于同一尺度σ的高斯函数G(x,y)、四个角度θ=θA、θB、θC和θD方向以及同一微分次数c的导数的每一个中进行滤波而得到的。
然后,处理从步骤S17前进到步骤S18,并且特征点特征量提取部件12判断是否产生了观测图像的所有特征点的特征点特征量。当在步骤S18中尚未产生观测图像的所有特征点的特征点特征量时,也就是,当存在尚未被从观测图像的特征点之中选出作为观测特征点的特征点时,处理返回到步骤S13。
在步骤S13,特征点特征量计算部件42重新从观测图像的特征点中选出一个尚未被选出作为观测特征点的特征点。随后,重复相同的处理。
当在步骤S18中判断出产生了观测图像的所有特征点的特征点特征量时,处理前进到步骤S19。特征点特征量提取部件12判断是否针对来自特征点提取部件11(图1)的所有模型图像产生了特征点特征量。
当在步骤S19中尚未针对来自特征点提取部件11的所有模型图像产生特征点特征量时,也就是,当存在尚未被从来自特征点提取部件11的模型图像中选出作为观测图像的模型图像时,处理返回到步骤S11。在步骤S11,特征点特征量提取部件12重新从来自特征点提取部件11的模型图像中选出一个尚未被选出作为观测图像的模型图像。随后,重复相同的处理。
当从步骤S19中判断出针对来自特征点提取部件11的所有模型图像产生了特征点特征量时,特征点特征量提取处理结束。
特征点特征量提取部件12将通过特征点特征量提取处理产生的模型图像的特征点特征量供应给特征点特征量存储部件13(图1),并且特征点特征量存储部件13存储特征点特征量。
特征点特征量提取部件12可以针对模型图像的特征点特征量执行向量量化,并且可以将向量量化结果(码)作为模型图像的目标特征点特征量存储在特征点特征量存储部件13中。
在此,如参考图8和图9所描述的,特征点特征量提取部件12的(特征点特征量计算部件42)利用96维向量产生6种类型的特征量(六个96维向量),其中作为一种类型的观测特征点的特征量,96维向量以针对一个特征点的96个小区域平均值作为分量。
当在特征点特征量提取部件12中执行特征点特征量的向量量化时,针对每个类型的特征量(96维向量)执行向量量化。
在此,码书(codebook)对于向量量化而言是必需的,然而例如可以通过k均值(k-means)算法等来生成码书。如在向量量化中,通过针对每一类型的特征量(96维向量)生成码书,生成了6种类型的码书。码书的码向量的个数(向量量化的集群(cluster)数)例如可以是400等。
全体特征量生成部件23的处理的描述
将参考图10A和10B来描述要由图1的全体特征量生成部件23来执行的处理。
如上所述,在图1的学习设备中,特征点提取部件11和特征点特征量提取部件12产生模型图像的特征点特征量,并且将特征点特征量存储在特征点特征量存储部件13中。
与特征点提取部件11和特征点特征量提取部件12类似,特征点提取部件21和特征点特征量提取部件22产生生成用图像的特征点特征量,并且将特征点特征量供应到全体特征量生成部件23。
全体特征量生成部件23基于存储在特征点特征量存储部件13中的特征点特征量,从由特征点特征量提取部件22所供应的生成用图像的特征点特征量,产生指示整个生成用图像的特征(基于模型图像的相对特征)的全体特征量。
图10A和10B示出由全体特征量生成部件23产生的全体特征量的示例。
例如,全体特征量生成部件23可以产生来自特征点特征量提取部件22的生成用图像的特征点特征量值的直方图,作为生成用图像的全体特征量,在所述直方图中,作为在特征点特征量存储部件13(图1)中存储的模型图像的特征点特征量的值的特征点特征量值被分等级。
例如,全体特征量生成部件23可以产生来自特征点特征量提取部件22的生成用图像的特征点特征量值与存储在特征点特征量存储部件13中的模型图像的特征点特征量的相关值,作为生成用图像的全体特征量。
图10A示出针对被包括在生成用图像中的正图像和负图像的每个所产生的作为全体特征量的特征点特征量值的直方图(以下也称作特征点特征量值直方图)。
图10B示出针对被包括在生成用图像中的正图像和负图像的每个所产生的作为全体特征量的特征点特征量值的相关值(以下也称作特征点特征量相关值)。
可以如下地产生图10A的特征点特征量值直方图。
也就是,为了简化描述,假设特征点特征量不是6种类型的特征量,而是一种类型的特征量(96维向量)。
存储在特征点特征量存储部件13(图1)中的特征点特征量值的个数(类型)被假设为K。
当生成用图像的某一特征点被观测时,全体特征量生成部件23将把存储在特征点特征量存储部件13中的K个特征点特征量值(96维向量)用作等级(直方图的水平轴)的k个等级(特征点特征量值)之中最接近生成用图像中的所观测的特征点(观测特征点)的特征点特征量值的等级的频率增大1。
全体特征量生成部件23通过将生成用图像的所有特征点的特征点特征量值用作对象来对K个等级的频率进行计数,并且输出K维向量作为生成用图像的全体特征量,该K维向量以藉此得到的直方图(特征点特征量值直方图)的K个等级的频率作为分量。
当特征点特征量是如上所述的6种类型的特征量(96维向量)时,针对每种类型来产生特征点特征量值直方图,并且以6种类型的6个特征点特征量直方图的一共6×K个等级的频率作为分量的6×K维向量被视为生成用图像的全体特征量。
在此,作为全体特征量的特征点特征量值直方图是BoF直方图(G.Csurka、C.Bray,C.Dance和L.Fan的“Visual Categorization with Bags ofKeypoints”,ECCV2004),并且表示出现在模型图像中的特征点特征量值存在于生成用图像中的程度。
可以如下地产生图10B的特征点特征量相关值。
也就是,在此,为了简化描述,假设特征点特征量是一种类型的特征量(向量),并且存储在特征点特征量存储部件13(图1)中的特征点的特征点特征量值(类型)的个数被假设为K。
全体特征量生成部件23通过依次将存储在特征点特征量存储部件13中的模型图像的K个特征点特征量值(96维向量)用作观测值,来计算生成用图像的每个特征点的特征点特征量值与观测值的相关值。
全体特征量生成部件23检测生成用图像的每个特征点的特征点特征量值与观测值的相关值的最大值,并且输出K维向量作为生成用图像的全体特征量,该K维向量以从模型图像的K个特征点特征量值得到的一共K个特征点特征量相关值作为分量。
当特征点特征量是如上所述的6种类型的特征量(96维向量)时,针对每种类型产生K个特征点特征量相关值,并且以6种类型的一共6×K个特征点特征量相关值作为分量的6×K维向量被视为生成用图像的全体特征量。
可以将与作为模型图像的特征点特征量值的向量与作为生成用图像的特征点的特征点特征量值的向量的内积成比例的值用作生成用图像的特征点的特征点特征量值与模型图像的特征点特征量值(观测值)的相关值。
在此,作为全体特征量的特征点特征量相关值表示出现在生成用图像中的特征点特征量值与出现在模型图像中的特征点特征量值的类似程度。
在日本未审专利申请公开No.2007-128195中公开了一种利用模型图像的特征点特征量值与生成用图像的特征点特征量值的相关值来执行识别的方法。根据在日本未审专利申请公开No.2007-128195中公开的方法,仅仅生成用图像上的特征点之中接近与模型图像的观测值相对应的特征点的位置的特征点的特征点特征量值被用作对象,与模型图像的观测值的相关值被产生,并且相关值的最大值被用作全体特征量。
全体特征量并不限于特征点特征量值直方图或特征点特征量相关值。
图11是示出全体特征量生成部件23产生特征点特征量值直方图作为生成用图像的全体特征量的全体特征量生成处理的流程图。
在步骤S31,全体特征量生成部件23从供应自特征点特征量提取部件22(图1)的特征点特征量的生成用图像中选出一个尚未被选出作为观测图像的生成用图像作为观测图像。然后,处理前进到步骤S32。
在步骤S32,全体特征量生成部件23可以产生观测图像的特征点特征量值的直方图作为观测图像的全体特征量,并且将全体特征量供应到识别器生成部件24,在直方图中,存储在特征点特征量存储部件13(图1)中的模型图像的特征点特征量值(以下也称作模型特征量值)被分等级。
处理从步骤S32前进到步骤S33,并且全体特征量生成部件23判断是否产生了从特征点特征量提取部件22供应的特征点特征量的所有生成用图像的全体特征量。
当在步骤S33中判断出尚未产生从特征点特征量提取部件22供应的特征点特征量的所有生成用图像的全体特征量时,处理返回到步骤S31。随后,相同处理被重复。
当在步骤S33中判断出产生了从特征点特征量提取部件22供应的特征点特征量的所有生成用图像的全体特征量时,全体特征量生成处理结束。
图12是示出全体特征量生成部件23产生特征点特征量相关值作为生成用图像的全体特征量的全体特征量生成处理的流程图。
在步骤S41,全体特征量生成部件23从供应自特征点特征量提取部件22(图1)的特征点特征量的生成用图像中选出一个尚未被选出作为观测图像的生成用图像作为观测图像。然后,处理前进到步骤S42。
在步骤S42,全体特征量生成部件23可以产生生成用图像的特征点的每个特征点特征量值与存储在特征点特征量存储部件13(图1)中的每个模型特征量值的相关值的最大值作为特征点特征量相关值。全体特征量生成部件23将特征点特征量相关值作为观测图像的全体特征量供应给识别器生成部件24。然后,处理从步骤S42前进到步骤S43。
在步骤S43,全体特征量生成部件23判断是否产生了针对从特征点特征量提取部件22供应的特征点特征量的所有生成用图像的全体特征量。
当在步骤S43中判断出尚未针对从特征点特征量提取部件22供应的特征点特征量的所有生成用图像产生全体特征量时,处理返回到步骤S41。随后,相同处理被重复。
当在步骤S43中判断出已经针对从特征点特征量提取部件22供应的特征点特征量的所有生成用图像产生了全体特征量时,全体特征量生成处理结束。
在此,作为在全体特征量生成部件23中产生的全体特征量的向量的分量(例如,上述的特征点特征量值直方图的频率或特征点特征量相关值)是参考图1而描述的维度特征量。
识别器生成部件24的处理将参考图13描述图1的识别器生成部件24的处理。
例如,识别器生成部件24根据推进(boosting)算法,从构成来自全体特征量生成部件23的全体特征量的维度特征量中选出在识别中使用的维度特征量(的维度),并且生成利用维度特征量执行识别的识别器。
也就是,识别器生成部件24生成利用构成来自全体特征量生成部件23(图1)的全体特征量的多个维度特征量(向量分量)中的、使指示出正图像和负图像被错误地识别的水平的误差值减的维度特征量来执行识别的识别器,并且生成指示出使误差值减小的维度特征量的维度的维度信息。
具体地,假设存在N个图像作为生成用图像,并且全体特征量生成部件23得到如图13所示的作为N个生成用图像的N个样本的全体特征量x1,、x2、...、xN的向量。
如图13所示,假设全体特征量xi(i=1,2,...,N)是具有M个分量(维度特征量)xi,1、xi,2、...、xi,M的M维向量。
如参考图1所描述的,正确标签被供应到识别器生成部件24。第i个样本(第i个生成用图像)的正确标签用yi来表示。例如,当第i个生成用图像是正图像时,正确标签yi变为+1,并且当第i个生成用图像是负图像时,正确标签yi变为-1。
由识别器生成部件24生成的识别器用于利用构成全体特征量xi的M个维度特征量xi,1到xi,M中的减小指示正图像和负图像被错误地识别的程度的误差值的维度特征量xi,d来执行识别的函数,并且包括多个弱学习器(weak learner)ht,d(xi,d)。
在此,弱学习器ht,d(xi,d)的下标t是用于对弱学习器ht,d(xi,d)的个数进行计数的变量,并且识别器包括T个弱学习器h1,d(xi,d)、h2,d(xi,d)、...、hT,d(xi,d)。
例如,弱学习器ht,d(xi,d)的个数T被依经验设定,或者被设定为等于或小于M的值以使得通过识别器的识别的识别率等于或大于某一水平值。
弱学习器ht,d(xi,d)是将生成用图像的全体特征量xi的第d个维度特征量(作为全体特征量xi的向量的第d个分量)xi,d用作输入,输出指示生成用图像是正图像还是负图像的识别结果的函数。例如,当识别结果指示正图像时,弱学习器输出+1,并且当识别结果指示负图像时,弱学习器输出-1。
当弱学习器ht,d(xi,d)的识别结果的误差值用εt,d来表示时,识别器生成部件24确定使误差值εt,d减小的弱学习器ht,d(xi,d)。
此处为了简化描述,假设弱学习器ht,d(xi,d)例如采用如下的函数:当作为参数的第d个维度特征量xi,d等于或大于预定阈值时,输出指示正图像的识别结果的+1,并且当第d个维度特征量xi,d小于预定阈值时,输出指示负图像的识别结果的-1。
在这种情况下,当弱学习器ht,d(xi,d)被确定为使误差值εt,d减小时,意味着确定了弱学习器ht,d(xi,d)的阈值。弱学习器ht,d(xi,d)的阈值被确定为等于或大于可以作为参数的N个第d个维度特征量x1,d、x2,d、...、xN,d的最小值并且等于或小于可以作为参数的N个第d个维度特征量x1d、x2,d、...、xN,d的最大值。
识别器生成部件24确定使误差值εt,1、εt,2、...、εt,M的每个减小的各个弱学习器ht,1(xi,1)、ht,2(xi,2)、...、ht,M(xi,M),并且产生用于得到误差值εt,1到εt,M的最小值的维度(以下也称作最小误差维度)d(t)。
识别器生成部件24根据弱学习器ht,d(xi,d)对第i个生成用图像的识别结果是否与正确标签yi匹配,也就是,表达式ht,d(xi,d)=yi是否成立或者表达式ht,d(xi,d)≠yi是否成立,来针对每个生成用图像产生使得误差值εt,d影响生成用图像的识别结果的误差的权重Dt(i)。
此处的误差值εt,d可以通过相加N个生成用图像中的、弱学习器ht,d(xi,d)对其的识别结果是错误的生成用图像的权重Dt(i)而产生。
识别器生成部件24通过将弱学习器ht,d(xi,d)确定为使误差值εt,d减小,产生能够得到弱学习器ht,d(xi,d)对生成用图像的识别结果的误差值εt,1到εt,M的最小值的维度(最小误差维度)d(t),产生要用来计算误差值εt,d的权重Dt(i),并且重复上述处理T次,来生成包括T个弱学习器h1,d(xi,d)、h2,d(xi,d)、...、hT,d(xi,d)的识别器H(x),以及指示最小误差维度d(1)、d(2)、...、d(T)的维度信息。
将参考图14描述图1的识别器生成部件24生成识别器和维度信息的识别器生成处理。
在步骤S61,识别器生成部件24例如根据表达式(14)来设定使得表示弱学习器ht,d(xi,d)的识别误差水平的误差值εt,d影响第i个生成用图像的识别结果的误差的权重Dt(i)的初始值D1(1)、D1(2)、...、D1(N)。处理前进到步骤S62。
表达式14
D t ( i ) = 1 N
在步骤S62,识别器生成部件24将用于对构成识别器H(x)的弱学习器ht,d(xi,d)的个数进行计数的变量t初始化为1。处理前进到步骤S63。在步骤S63,识别器生成部件24确定弱学习器ht,d(xi,d)(的阈值THt,d),以使得针对全体特征量xi的维度d=1、2、...、M,利用权重Dt(i)而产生的误差值εt,d可以被最小化。处理前进到步骤S64。
此处在步骤S63中,识别器生成部件24确定弱学习器ht,d(xi,d)的阈值THt,d,以使得例如根据表达式(15)计算出的误差值εt,d可以被最小化。
表达式15
ϵ t , d = Σ i = 1 N D t ( i ) [ y i ≠ h t , d ( x i , d ) ]
在表达式15中,[yi≠ht,d(xi,d)]是指示函数,其在表达式[yi≠ht,d(xi,d)]成立时变为1并且在表达式[yi≠ht,d(xi,d)]不成立时变为0。
根据表达式(15),可以通过仅相加N个生成用图像中的、弱学习器ht,d(xi,d)对其的识别结果是错误的生成用图像(表达式yi≠ht,d(xi,d)对其成立的生成用图像)的权重Dt(i)来产生误差值εt,d
在步骤S64,识别器生成部件24利用在前一步骤S63中针对维度d=1、2、...、M的每个而确定的弱学习器ht,d(xi,d),产生根据表达式(15)算出的误差值εt,1、εt,2、...、εt,M中的最小值εt。识别器生成部件24产生其中得到了误差值εt,1、εt,2、...、εt,M中的最小值εt的维度(最小误差维度)d(t)(在1到M范围内的整数值)。处理从步骤S64前进到步骤S65。
此处的最小误差维度d(t)是构成全体特征量的维度特征量之中供识别器H(x)在识别中使用的维度特征量的维度。因此,构成全体特征量的维度特征量之中具有最小误差维度d(t)的维度特征量被选择用于在识别中使用的识别器H(x)的识别。
假设误差值εt,1、εt,2、...、εt,M中的最小值εt是最小误差值εt,则弱学习器ht,d(t)(xi,d(t))变为构成识别器H(x)的第t个弱学习器。
在步骤S65,识别器生成部件24根据表达式(16),利用在前一步骤S64中产生的最小误差值εt来产生可靠性水平αt,该可靠性水平αt指示构成识别器H(x)的第t个弱学习器ht,d(t)(xi,d(t)对生成用图像的识别可靠性。处理前进到步骤S66。
表达式16
α t = 1 2 ln ( 1 - ϵ t ϵ t )
此处根据表达式(16),随着最小误差值εt变大(或变小),可靠性水平αt变小(或变大)。
在步骤S66,识别器生成部件24根据表达式(17)将权重Dt(i)更新为权重Dt+1(i)。处理前进到步骤S67。
表达式17
D t + 1 ( i ) = D t ( i ) Z t × e - α t if h t , d ( t ) ( x i , d ( t ) ) = y i e α t if h t , d ( t ) ( x i , d ( t ) ) ≠ y i
= D t ( i ) Z t × e - α t y i h t , d ( t ) ( x i , d ( t ) )
此处表达式(17)中的系数Zt是用于对权重Dt+1(i)进行归一化的系数,并且用表达式(18)来表示。
表达式18
Z t = Σ i = 1 N D t ( i ) e - α t y i h t , d ( t ) ( x i , d ( t ) )
对于弱学习器ht,d(t)(xi,d(t))对其的识别结果是正确的第i个生成用图像,也就是,对其的识别结果与正确标签yi匹配的生成用图像,根据表达式(17)将权重Dt(i)更新为具有较小值的权重Dt+1(i)。因此,在下一步骤S63中,利用权重Dt(i)而计算出的误差值εt,d被减小。
另一方面,对于弱学习器ht,d(t)(xi,d(t))对其的识别结果是错误的第i个生成用图像,也就是,对其的识别结果与正确标签yi不匹配的生成用图像,将权重Dt(i)更新为具有较大值的权重Dt+1(i)。因此,在下一步骤S63中,利用权重Dt(i)而计算出的误差值εt,d被增大。
在步骤S67,识别器生成部件24判断变量t是否与弱学习器ht,d(xi,d)的个数(以下也称作弱学习器个数)T相同。
当在步骤S67判断出变量t与弱学习器个数T不相同时,处理前进到步骤S68。识别器生成部件24将变量t增大1。处理从步骤S68返回到步骤S63。随后,相同处理被重复。
当在步骤S67判断出变量t与弱学习器个数T相同时,也就是,当生成了构成识别器H(x)的T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、...、hT,d(T)(xi,d(T))以及T个最小误差维度d(1)、d(2)、...、d(T)时,处理前进到步骤S69。识别器生成部件24输出T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、...、hT,d(T)(xi,d(T))以及T个可靠性水平α1、α2、...、αT作为(定义)识别器H(x)(的参数)。
识别器生成部件24在步骤S69输出T个最小误差维度d(1)、d(2)、...、d(T)作为维度信息,然后识别器生成处理结束。
通过上述的基于推进的统计学习,识别器生成部件24产生出利用指示T个维度特征量的维度(最小误差维度)d(1)到d(T)(其比对识别对象进行识别更有效)以及最小误差维度d(t)的维度特征量来执行识别的识别器H(x)。
学习设备的学习处理的描述
将参考图15描述由图1的学习设备执行的处理(学习处理)。
在学习设备中,模型图像被供应到特征点提取部件11,并且生成用图像被供应到特征点提取部件21。正确标签被供应到识别器生成部件24。
在学习设备中,在步骤S81,特征点提取部件11从供应到它的模型图像提取特征点,并且将特征点和模型图像供应给特征点特征量提取部件12。
在步骤S81,特征点提取部件21从供应到它的生成用图像提取特征点,并且将生成用图像和特征点供应给特征点特征量提取部件22。处理前进到步骤S82。
在步骤S82,特征点特征量提取部件12从由特征点提取部件11所供应的模型图像中提取由特征点提取部件11所供应的特征点的特征点特征量(执行图9的特征点特征量提取处理),并且将提取出的特征点特征量供应给特征点特征量存储部件13,以使得特征点特征量被存储在特征点特征量存储部件13中。
此外,在步骤S82,特征点特征量提取部件22从由特征点提取部件21所供应的生成用图像中提取由特征点提取部件21所供应的特征点的特征点特征量,并且将提取出的特征点特征量供应给全体特征量生成部件23。处理前进到步骤S83。
在步骤S83,全体特征量生成部件23基于存储在特征点特征量存储部件13中的模型图像的特征点特征量,从来自特征点特征量提取部件22的生成用图像的特征点特征量,产生指示整个生成用图像的特征的全体特征量(执行图11或图12的全体特征量生成处理)。此外,在步骤S83,全体特征量生成部件23将生成用图像的全体特征量供应给识别器生成部件24。处理前进到步骤S84。
在步骤S84,识别器生成部件24利用来自全体特征量生成部件23的生成用图像的全体特征量以及生成用图像的正确标签,通过基于推进的统计学习来生成并输出识别器和维度信息(执行图14的识别器生成处理)。然而,学习处理结束。
用于对多个不同识别对象进行识别的识别器和维度信息是通过准备学习图像(模型图像和生成用图像)以及针对每个不同识别对象的正确标签并且执行图15的学习处理来生成的。
根据实施例的识别设备的配置示例
图16是示出根据本发明实施例的识别设备的框图。
在图16中,识别设备利用通过图1的学习设备而得到的识别器H(x)和作为维度信息的最小误差维度d(1)到d(T),来识别在处理对象图像中看到的被摄物是否是预定识别对象。
也就是,识别设备包括特征点特征量存储部件61、维度信息存储部件62、识别器存储部件63、特征点提取部件71、特征点特征量提取部件72、维度特征量生成部件73和识别部件74。
特征点特征量存储部件61存储由图1的特征点特征量提取部件12针对预定识别对象而得到的模型图像的特征点特征量(与存储在特征点特征量存储部件13中的特征点特征量相同的特征点特征量)。
维度信息存储部件62存储由图1的识别器生成部件24针对预定识别对象而得到的作为维度信息的最小误差维度d(1)到d(T)。
识别器存储部件63存储由图1的识别器生成部件24针对预定识别对象而得到的作为识别器H(x)的T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、...、hT,d(T)(xi,d(T))以及T个可靠性水平α1、α2、...、αT
用于识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像被供应到特征点提取部件71。与图1的特征点提取部件11类似,特征点提取部件71从供应给它的处理对象图像提取特征点,并且将特征点和处理对象图像供应给特征点特征量提取部件72。
特征点特征量提取部件72从由特征点提取部件71所供应的处理对象图像中提取由特征点提取部件71所供应的相同特征点的特征点特征量,并且将特征点特征量供应给维度特征量生成部件73。
与图1的学习设备的全体特征量生成部件23类似,维度特征量生成部件73基于存储在特征点特征量存储部件61中的模型图像的特征点特征量,从来自特征点特征量提取部件72的处理对象图像的特征点特征量产生构成处理对象图像的全体特征量的维度特征量。
在这点上,维度特征量生成部件73并不产生构成处理对象图像的全体特征量的全部M个(M维)维度特征量,而是有选择地产生M个维度特征量之中的、作为存储在维度信息存储部件62中的维度信息的最小误差维度d(1)到d(T)的维度特征量。
维度特征量生成部件73可以从开始起仅产生处理对象图像的全体特征量中的最小误差维度d(1)到d(T)的维度特征量,或者可以产生处理对象图像的全体特征量然后从全体特征量中提取最小误差维度d(1)到d(T)的维度特征量。
此处,例如用x′来表示以M维特征量作为分量的向量,作为由M维特征量构成的处理对象图像的全体特征量。用x′m来表示处理对象图像的全体特征量x′的M维特征量的第m项。
在这种情况下,用x′d(1)、x′d(2)、...、x′d(T)来表示处理对象图像的全体特征量x′的M维特征量之中的最小误差维度d(1)到d(T)的维度特征量。
维度特征量生成部件73选择(有选择地产生)处理对象图像的全体特征量x′的M维特征量之中的最小误差维度d(1)到d(T)的T个维度特征量x′d(1)、x′d(2)、...、x′d(T),并且将T个维度特征量供应给识别部件74。
识别部件74通过将来自维度特征量生成部件73的处理对象图像的最小误差维度d(1)到d(T)的维度特征量x′d(1)到x′d(T)作为输入x′提供给存储在识别器存储部件63中的识别器H(x′),来识别在处理对象图像中看到的被摄物是否是预定识别对象,并且输出识别结果。
也就是,识别部件74利用作为识别器H(x′)存储在识别器存储部件63中的T个弱学习器h1,d(1)(x′d(1))、h2,d(2)(x′d(2))、...、hT,d(T)(x′d(T))以及T个可靠性水平α1、α2、...、αT,计算出表达式(19)的函数H(x′)作为识别器H(x′)。
表达式(19)
H ( x , ) = sign ( Σ t = 1 T α t h t , d ( t ) ( x d ( t ) , ) )
此处,在表达式(19)中,例如,sign()是在括号()内的符号为正时输出+1并且在括号()内的符号为负时输出-1的函数。因此,表达式(19)的函数H(x′)的值变为+1或-1。
当表达式(19)的函数H(x′)的值是+1时,识别结果指示在处理对象图像中看到的被摄物是预定识别对象。当表达式(19)的函数H(x′)的值是-1时,识别结果指示在处理对象图像中看到的被摄物不是预定识别对象。
识别设备的识别处理的描述
将参考图17描述由图16的识别设备执行的处理(识别处理)。
在识别设备中,处理对象图像被供应到特征点提取部件71。
在步骤S91,特征点提取部件71从供应到它的处理对象图像中提取特征点,并且将特征点和处理对象图像供应给特征点特征量提取部件72。处理前进到步骤S92。
在步骤S92,特征点特征量提取部件72从由71所供应的处理对象图像中提取由特征点提取部件71所供应的相同特征点的特征点特征量,并且将特征点特征量供应给维度特征量生成部件73。处理前进到步骤S93。
在步骤S93,维度特征量生成部件73基于存储在特征点特征量存储部件61中的模型图像的特征点特征量,从由特征点特征量提取部件72供应的处理对象图像的特征点特征量产生构成处理对象图像的全体特征量的维度特征量之中的、作为维度信息存储在维度信息存储部件62中的最小误差维度d(1)到d(T)的维度特征量x′d(1)到x′d(T)
维度特征量生成部件73将最小误差维度d(1)到d(T)的维度特征量x′d(1)到x′d(T)供应给识别部件74。处理从步骤S93前进到步骤S94。
在步骤S94,识别部件74通过将来自维度特征量生成部件73的处理对象图像的最小误差维度d(1)到d(T)的维度特征量x′d(1)到x′d(T)作为输入x′应用于存储在识别器存储部件63中的用表达式(19)来表示的识别器H(x′),来识别在处理对象图像中看到的被摄物是否是预定识别对象,并且输出识别结果。识别处理结束。由图16的特征点特征量提取部件72(与图1的特征点特征量提取部件12类似)所产生的特征点特征量具有如参考图8所描述的高识别性和不变性。识别设备通过利用根据上述特征点特征量所生成的维度特征量来识别处理对象图像,能够以高识别性和不变性来执行识别。
<根据本发明实施例的计算机的描述>
可以通过硬件或软件来执行上述一系列处理。当通过软件来执行此一系列处理时,构成软件的程序被安装在通用计算机等中。
图18示出其中安装了用于执行上述一系列处理的程序的计算机的配置示例。
程序可以被预先记录在内置于计算机中并用作记录介质的硬盘105或只读存储器(ROM)103中。
可替代地,程序可以被存储(记录)在可移除记录介质111上。可移除记录介质111可以被设置为所谓的包软件。作为可移除记录介质111,例如存在软盘、紧致盘-只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器。
程序可以从上述的可移除记录介质111被安装到计算机。也可以通过经由通信网络或广播网络将程序下载到计算机来将程序安装到内置的硬盘105中。也就是,可以经由用于数字卫星广播的人造卫星将程序从下载站点无线地发送到计算机,或者能够经由诸如局域网(LAN)或因特网之类的网络利用有线链路将程序发送到计算机。
计算机具有置于其中的中央处理部件(CPU)102。输入/输出接口110经由总线101连接到CPU 102。
当用户通过操纵输入部件107经由输入/输出接口110输入指令时,CPU 102根据指令执行存储在只读存储器(ROM)103中的程序。可替代地,CPU 102将存储在硬盘105中的程序载入随机存取存储器(RAM)104中,然后执行被载入到RAM 104中的程序。
这样,CPU 102执行根据上述流程图的处理或者要由上述框图的配置来执行的处理。然后,CPU 102例如在需要时经由输入/输出接口110从输出部件106输出处理结果,将处理结果从通信部件108发送,或者将处理结果记录在硬盘105中。
输入部件107可以包括键盘、鼠标和/或麦克风。输出部件106可以包括液晶显示器(LCD)部件和/或扬声器。
在本说明书中,要由计算机根据程序来执行的处理不一定是根据在流程图上表示的序列按顺序执行的。也就是,要由计算机根据程序来执行的处理可以包括要并行地或分开执行的处理(例如,并行处理或对象处理)。
可以由单个计算机来处理程序,或者可以由多个计算机以分布式处理方式来处理程序。此外,程序可以被传送给远程计算机并由远程计算机来执行。
本申请包含与2009年2月19日递交到日本专利局的日本优先权专利申请JP 2009-036500中所公开的主题有关的主题,该日本优先权专利申请的全部内容通过引用被结合于此。
本领域中的普通技术人员应理解,根据设计需求及其他因素,可以想到各种修改、组合、子组合和变更,只要它们落入随附的权利要求或其等效物的范围之内。

Claims (13)

1.一种学习设备,包括:
特征点提取装置,用于从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器;
特征点特征量提取装置,用于提取表示所述生成用图像的特征点的特征的特征点特征量;
全体特征量生成装置,用于从所述生成用图像的特征点特征量生成用多维向量表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征;以及
识别器生成装置,用于利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,
其中,所述特征点特征量提取装置
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述识别器生成装置
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,并且
生成表示使所述误差值减小的维度特征量的维度的维度信息。
2.根据权利要求1所述的学习设备,其中,所述特征点特征量提取装置包括:
滤波器装置,用于通过基于多个尺度σ的高斯函数、多个角度θ方向以及多个微分c的导数的每一个导数来对所述生成用图像进行滤波,并且输出所述多个响应图像;以及
特征点特征量计算装置,用于
通过以在基于同一尺度σ、同一角度θ方向以及同一微分次数c的导数中进行滤波而得到的响应图像中的特征点为基准,对作为以特征点为中心并具有固定半径的圆形区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,
针对所述多个小区域的每个小区域,产生小区域的像素值的平均值作为所述统计量,并且
通过将以产生自如下的响应图像的小区域的像素值的平均值作为分量的向量用作一种类型的特征量,所述响应图像是在基于同一尺度σ的高斯函数、多个角度θ方向以及同一微分次数c的导数的每一个导数中进行滤波而得到的响应图像,来产生与多个尺度σ和多个微分c的组合数相对应的多个类型的特征量,作为特征点的特征点特征量。
3.根据权利要求2所述的学习设备,还包括:
第二特征点提取装置,用于从作为正图像的模型图像中提取特征点,
第二特征点特征量提取装置,用于提取所述模型图像的特征点的特征点特征量;
其中,所述全体特征量生成装置产生所述生成用图像的特征点特征量值的直方图,其中作为所述模型图像的特征点特征量的值的特征点特征量值被分等级,或者产生所述生成用图像的特征点特征量值与所述模型图像的特征点特征量值的相关值,作为所述全体特征量。
4.根据权利要求2所述的学习设备,
其中,所述识别器包括多个弱学习器,
其中,所述识别器生成装置
确定用于利用所述生成用图像的全体特征量作为输入而输出指示所述生成用图像是正图像还是负图像的识别结果以使得所述误差值减小的弱学习器,
产生作为构成所述全体特征量之中的、其中得到所述弱学习器的误差值的最小值的维度特征量的维度的最小误差维度,并且
将产生权重的处理重复预定次数,从而生成包括与所述预定次数相对应的预定个数的弱学习器以及表示与所述预定个数的弱学习器相对应的最小误差维度的维度信息,所述产生权重的处理根据所述弱学习器对所述生成用图像的识别结果是否与针对每个生成用图像的正确标签匹配,来产生使得所述误差值影响所述生成用图像的识别结果的误差的权重,并且
其中,所述误差值是通过相加所述多个生成用图像之中的识别结果是错误的生成用图像的权重来产生的。
5.根据权利要求2所述的学习设备,
其中,所述特征点提取装置提取拐角点作为特征点。
6.一种学习方法,包括以下步骤:
从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器;
提取表示所述生成用图像的特征点的特征的特征点特征量;
从所述生成用图像的特征点特征量生成用多维向量表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征;以及
利用所述生成用图像的所述全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,
其中,所述提取步骤是通过以下步骤来执行的:
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述生成步骤是通过以下步骤来执行的:
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,以及
生成表示使所述误差值减小的维度特征量的维度的维度信息。
7.一种识别设备,包括:
特征点提取装置,用于从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点;
特征点特征量提取装置,用于提取表示所述特征点的特征的特征点特征量;
维度特征量生成装置,用于从所述处理对象图像的特征点特征量,生成是作为用多维向量表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征;以及
识别装置,用于通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象,
其中,所述特征点特征量提取装置
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且
将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,
其中,所述识别器和维度信息是通过以下步骤得到的:
从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,
提取表示所述生成用图像的特征点的特征的特征点特征量;
从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及
利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,
其中,所述提取步骤是通过以下步骤来执行的:
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述生成步骤是通过以下步骤来执行的:
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,以及
生成表示使所述误差值减小的维度特征量的维度的维度信息。
8.根据权利要求7所述的识别设备,
其中,所述特征点特征量提取装置包括:
滤波器装置,用于通过基于多个尺度σ的高斯函数、多个角度θ方向以及多个微分c的导数的每一个导数来对所述处理对象图像进行滤波,并且输出所述多个响应图像;以及
特征点特征量计算装置,用于
通过以在基于同一尺度σ、同一角度θ方向以及同一微分次数c的导数中进行滤波而得到的响应图像中的特征点为基准,对作为以特征点为中心并具有固定半径的圆形区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,
针对所述多个小区域的每个小区域,产生小区域的像素值的平均值作为所述统计量,并且
通过将以产生自如下的响应图像的小区域的像素值的平均值作为分量的向量用作一种类型的特征量,所述响应图像是在基于同一尺度σ的高斯函数、多个角度θ方向以及同一微分次数c的导数的每一个导数中进行滤波而得到的响应图像,来产生与多个尺度σ和多个微分c的组合数相对应的多个类型的特征量,作为特征点的特征点特征量。
9.根据权利要求8所述的识别设备,
其中,所述处理对象图像的所述全体特征量是:
所述处理对象图像的特征点特征量值的直方图,其中作为模型图像的特征点特征量的值的特征点特征量值被分等级,或者
所述处理对象图像的特征点特征量值与所述模型图像的特征点特征量值的相关值。
10.根据权利要求8所述的识别设备,
其中,所述特征点提取装置提取拐角点作为特征点。
11.一种识别方法,包括以下步骤:
从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点;
提取表示所述特征点的特征的特征点特征量;
从所述处理对象图像的特征点特征量,生成是作为用多维向量表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征;以及
通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象,
其中,所述特征点特征量提取步骤包括:
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且
将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,
其中,所述识别器和维度信息是通过以下步骤得到的:
从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,
提取表示所述生成用图像的特征点的特征的特征点特征量;
从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及
利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,
其中,所述提取步骤是通过以下步骤来执行的:
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述生成步骤是通过以下步骤来执行的:
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,以及
生成表示使所述误差值减小的维度特征量的维度的维度信息。
12.一种学习设备,包括:
特征点提取部件,用于从多个生成用图像中的一个生成用图像提取作为表示特性的点的特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,并且所述生成用图像供在学习中用来生成用于识别在图像中看到的被摄物是否是识别对象的识别器;
特征点特征量提取部件,用于提取表示所述生成用图像的特征点的特征的特征点特征量;
全体特征量生成部件,用于从所述生成用图像的特征点特征量生成用多维向量来表示的全体特征量,其中,所述全体特征量表示整个生成用图像的特征;以及
识别器生成部件,用于利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器;
其中,所述特征点特征量提取部件
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述识别器生成部件
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,并且
生成表示使所述误差值减小的维度特征量的维度的维度信息。
13.一种识别设备,包括:
特征点提取部件,用于从用来识别在图像中看到的被摄物是否是预定识别对象的对象的处理对象图像中提取作为表示特性的点的特征点;
特征点特征量提取部件,用于提取表示所述特征点的特征的特征点特征量;
维度特征量生成部件,用于从所述处理对象图像的特征点特征量,生成是作为用多维向量表示的全体特征量的向量的分量的多个维度特征量之中的、用维度信息表示的维度的维度特征量,其中所述全体特征量表示整个处理对象图像的特征;以及
识别部件,用于通过将所述维度特征量输入到用于识别在所述处理对象图像中看到的被摄物是否是预定识别对象的识别器中,来识别在所述处理对象图像中看到的被摄物是否是预定识别对象,
其中,所述特征点特征量提取部件
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用多个特性不同的滤波器对所述处理对象图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,并且
将针对特征点从所述处理对象图像的多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,
其中,所述识别器和维度信息是通过以下步骤得到的:
从以供在学习中用来生成所述识别器的多个生成用图像中的一个生成用图像提取特征点,所述生成用图像包括其中看到了预定识别对象的正图像和其中未看到识别对象的负图像,
提取表示所述生成用图像的特征点的特征的特征点特征量;
从所述生成用图像的特征点特征量,生成所述生成用图像的全体特征量,以及
利用所述生成用图像的全体特征量以及指示所述生成用图像是正图像还是负图像的正确标签来生成所述识别器,
其中,所述提取步骤是通过以下步骤来执行的:
通过以多个响应图像中的每个响应图像中的特征点为基准,在角方向和距离方向上对作为以特征点为中心的区域的特征点区域进行分割,来将所述特征点区域划分为多个小区域,所述响应图像是通过用所述多个滤波器对所述生成用图像进行滤波而得到的,
针对所述多个小区域的每个小区域,产生小区域的像素值的统计量,以及
将针对特征点从多个响应图像的每个响应图像得到的多个小区域的每个小区域的统计量设定为特征点的特征点特征量,并且
其中,所述生成步骤是通过以下步骤来执行的:
利用是作为所述全体特征量的多维向量的分量的多个维度特征量之中的、使表示对正图像和负图像的识别误差水平的误差值减小的维度特征量,来生成用于执行识别的识别器,以及
生成表示使所述误差值减小的维度特征量的维度的维度信息。
CN2010101159784A 2009-02-19 2010-02-11 学习设备、学习方法、识别设备、识别方法和程序 Expired - Fee Related CN101814135B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009036500A JP4720913B2 (ja) 2009-02-19 2009-02-19 学習装置、学習方法、識別装置、識別方法、及び、プログラム
JP2009-036500 2009-02-19

Publications (2)

Publication Number Publication Date
CN101814135A CN101814135A (zh) 2010-08-25
CN101814135B true CN101814135B (zh) 2012-11-28

Family

ID=42559944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101159784A Expired - Fee Related CN101814135B (zh) 2009-02-19 2010-02-11 学习设备、学习方法、识别设备、识别方法和程序

Country Status (3)

Country Link
US (1) US8270707B2 (zh)
JP (1) JP4720913B2 (zh)
CN (1) CN101814135B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154501A (ja) * 2010-01-27 2011-08-11 Sony Corp 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム
JP5873959B2 (ja) * 2010-09-27 2016-03-01 パナソニックIpマネジメント株式会社 ホワイトリスト内外判定装置及び方法
CN102682309B (zh) * 2011-03-14 2014-11-19 汉王科技股份有限公司 一种基于模板学习的人脸注册方法及装置
JP2013003686A (ja) * 2011-06-13 2013-01-07 Sony Corp 認識装置および方法、プログラム、並びに記録媒体
US8874557B2 (en) 2011-09-02 2014-10-28 Adobe Systems Incorporated Object retrieval and localization using a spatially-constrained similarity model
US8805116B2 (en) * 2011-09-17 2014-08-12 Adobe Systems Incorporated Methods and apparatus for visual search
US8880563B2 (en) 2012-09-21 2014-11-04 Adobe Systems Incorporated Image search by query object segmentation
JP6124566B2 (ja) * 2012-11-29 2017-05-10 国立大学法人九州工業大学 画像認識方法および画像認識装置
KR20140112635A (ko) * 2013-03-12 2014-09-24 한국전자통신연구원 특징점 기반 영상처리 장치 및 그 영상 처리 방법
CN103310485B (zh) * 2013-07-10 2016-12-28 南通纺织丝绸产业技术研究院 一种三维图像的生成方法及装置
JP6043706B2 (ja) * 2013-09-25 2016-12-14 日本電信電話株式会社 マッチング処理装置およびマッチング方法
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105022946A (zh) * 2015-07-17 2015-11-04 广东欧珀移动通信有限公司 人脸解密方法及装置
JP6542824B2 (ja) 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393151B1 (en) * 1978-10-13 2002-05-21 Agency Of Industrial Science And Technology Pattern reading system
DE3815869A1 (de) * 1987-05-08 1988-11-17 Ricoh Kk Verfahren zum extrahieren von merkmalsmengen eines zeichens
JP4596253B2 (ja) * 2005-05-31 2010-12-08 ソニー株式会社 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
JP4618098B2 (ja) * 2005-11-02 2011-01-26 ソニー株式会社 画像処理システム
JP4518092B2 (ja) * 2006-03-31 2010-08-04 ソニー株式会社 物体認識装置、物体認識方法、物体認識プログラム、特徴量登録装置、特徴量登録方法、及び特徴量登録プログラム
CN101542531B (zh) * 2007-06-14 2012-12-19 松下电器产业株式会社 图像识别装置及图像识别方法

Also Published As

Publication number Publication date
CN101814135A (zh) 2010-08-25
US20100208983A1 (en) 2010-08-19
JP4720913B2 (ja) 2011-07-13
JP2010191772A (ja) 2010-09-02
US8270707B2 (en) 2012-09-18

Similar Documents

Publication Publication Date Title
CN101814135B (zh) 学习设备、学习方法、识别设备、识别方法和程序
Mayer et al. Forensic similarity for digital images
CN108388822B (zh) 一种检测二维码图像的方法和装置
Heinly et al. Comparative evaluation of binary features
Zhang et al. Fragile bits in palmprint recognition
Battiato et al. Robust image alignment for tampering detection
CN101458764B (zh) 学习设备、学习方法、识别设备、识别方法和程序
EP2240887B1 (en) Feature-based signatures for image identification
US10043071B1 (en) Automated document classification
Wu et al. Steganalysis via deep residual network
CN101256632B (zh) 信息处理装置和方法
CN107292923B (zh) 基于深度图挖掘的后向传播图像视觉显著性检测方法
Priyankara et al. Computer assisted plant identification system for Android
CN111275070B (zh) 一种基于局部特征匹配的签名验证方法及设备
Yu et al. A multi-task learning CNN for image steganalysis
CN116460931B (zh) 机器人智能钻孔方法、终端及板材生产线
Bayram et al. Evaluation of textural features for multispectral images
Panzade et al. Copy-move forgery detection by using HSV preprocessing and keypoint extraction
Khuspe et al. Robust image forgery localization and recognition in copy-move using bag of features and SVM
CN110874602A (zh) 一种图像识别方法及装置
KR101988339B1 (ko) 유전 알고리즘 기반 지폐 식별 장치 및 방법
Jangir et al. HOMER: Cryptography based Currency Detection System for Visually Impaired People
Amiri et al. Copy-move forgery detection using a bat algorithm with mutation
CN108304838A (zh) 一种图片信息识别方法及终端
CN107392223A (zh) 一种Adaboost与NCC相结合的完整麦穗识别方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20140211