CN102136073B - 学习装置及方法、识别装置及方法、和信息处理系统 - Google Patents
学习装置及方法、识别装置及方法、和信息处理系统 Download PDFInfo
- Publication number
- CN102136073B CN102136073B CN2011100013332A CN201110001333A CN102136073B CN 102136073 B CN102136073 B CN 102136073B CN 2011100013332 A CN2011100013332 A CN 2011100013332A CN 201110001333 A CN201110001333 A CN 201110001333A CN 102136073 B CN102136073 B CN 102136073B
- Authority
- CN
- China
- Prior art keywords
- image
- unique point
- feature amount
- characteristic quantity
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种学习装置包括:特征点提取单元,从包括包含识别物体的正像和不包含识别物体的负像的多个产生图像中的每个图像提取特征;特征点特征量提取单元,从产生图像提取表示所述特征点的特征的特征点特征量;整体特征量计算单元,基于存在于产生图像范围之中基于所述多个产生图像确定的特征点选择范围上的特征点的特征点特征量计算表示整个产生图像的特征的整体特征量;识别器产生单元,基于所述产生图像的整体特征量和表示所述产生图像是正像还是负像的正确答案标签产生识别器。
Description
技术领域
本发明涉及一种学习装置、学习方法、识别装置、识别方法、程序和信息处理系统,更具体地讲,涉及适于在识别存在于图像上的被摄体是否是预定的待识别对象的情况下采用的学习装置、学习方法、识别装置、识别方法、程序和信息处理系统。
背景技术
作为用于从相机获得的图像识别(认出)该图像上存在的用作待识别对象的对象的根据现有技术的识别方法,存在一种采用在某种广泛的意义上描述待识别对象的模板执行匹配的识别方法。
利用这个识别方法,预先准备在某种广泛的意义上描述待识别对象的模板,具体地讲,预先准备整个待识别对象的纹理的模板,并且在待识别图像的模板与待识别图像(待处理图像)之间执行匹配。
然而,通过采用描述待识别对象的模板进行匹配,很难处理出现在待处理图像上的待识别对象的局部隐藏或畸变。
因此,提出了一种识别方法,其中,关注待处理图像的局部区域,从每个局部区域提取特征量,并且采用每个局部区域的特征量的组合(局部区域的特征量的集合,即例如以每个局部区域的特征量作为要素的矢量)执行识别。
根据采用局部区域的特征量集合的识别方法,在一定程度上消除了通过采用在某种广泛的意义上描述待识别对象的模板的识别方法很难进行处理的问题(例如待识别对象的局部隐藏或畸变),由此能够执行高精度识别。
除了单个对象的识别以外,局部区域的特征量还用于识别对象的类别。例如,已经提出了一种使用局部区域的特征量识别特定类别(例如,见P.Viola,M.Jones,Robust Real-time FaceDetection,cvpr2001)。
另外,对于识别类别,已经提出了各种识别方法。针对类别的识别提出的识别方法的例子包括采用BoF(特征包,Bag of Features)柱状图的识别方法(例如,参见G.Csurka,C.Bray,C.Dance,and L.Fan.Visual categorization with bags of keypoint,ECCV2004)和采用特征量的相关的识别方法(例如,参见日本未审专利申请公布No.2007-128195)。
例如,通过采用BoF柱状图的识别方法,采用称作视觉码本(Visual codebook)的代表性特征量,从而抑制图像表达的维度。
然而,在采用这种视觉码本的情况下,图像区域中特征量的出现位置的信息丢失,因此识别精度出现下降。
因此,为了处理这个问题,提出了一种通过以网格形状(栅格)划分图像区域提供弱位置约束的方法(例如,见S.Lazebnik,C.Schmid,J.Ponce“Beyond Bag of Features:Spatial Pyramid Matching forRecognizing Natural Scene Categories”,CVPR2006)。
发明内容
然而,对于以上通过按照网格形状划分图像区域提供弱位置约束的方法,关于图像区域的位置约束对于任何待识别对象是共同的,因此识别待识别对象的精度降低。
已发现希望以高精度检测待识别对象以针对每个不同的待识别对象提供唯一的位置约束。
根据本发明第一实施例的学习装置是这样的学习装置,该学习装置包括:特征点提取单元,被构造为从多个产生用图像的每一个提取特征点,其中所述多个产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述多个产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;特征点特征量提取单元,被构造为从所述产生用图像提取表示所述特征点 的特征的特征点特征量;整体特征量计算单元,被构造为基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;识别器产生单元,被构造为基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
对于根据第一实施例的学习装置,还可以提供:范围确定单元,被构造为基于所述多个产生用图像确定用于选择用于计算的所述特征点特征量的所述特征点选择范围,所述计算用于计算作为由多个维度矢量表示的所述整体特征量的每个维度元素的多个维度特征量中的每个维度特征量;存储单元,被构造为以相关的方式存储将用于与所述特征点特征量的所述计算的计算用特征量和由所述范围确定部件确定的所述特征点选择范围;所述整体特征量计算单元通过所述计算用特征量和存在于与所述计算用特征量相关的所述产生用图像的所述特征点选择范围上的特征点的特征点特征量之间的所述计算,来计算组成所述整体特征量的多个维度特征量中的每个维度特征量。
对于根据第一实施例的学习装置,所述范围确定单元可设置作为所述特征点选择范围的候选项的多个候选范围,并且可基于包括误差信息的误差地图确定所述误差信息变为最小值的候选范围作为所述特征点选择范围,所述误差信息针对所述候选范围中的每个候选范围表示关于所述多个产生用图像是所述正像还是所述负像的错误识别的程度。
对于根据第一实施例的学习装置,所述范围确定单元可基于通过存在于所述候选范围上的特征点的特征点特征量和所述计算用特征量之间的所述计算而计算的所述维度特征量,针对所述候选范围中的每个候选范围计算所述误差信息,并且可基于包括所述计算的误差信息的所述误差地图确定所述特征点选择范围。
对于根据第一实施例的学习装置,所述整体特征量计算单元可计算表示所述计算用特征量和存在于所述检索范围上的特征点的特征点 特征量之间的相关性的相关值,作为组成所述整体特征量的维度特征量。
对于根据第一实施例的学习装置,所述识别器产生单元可产生所述识别器和维度信息,所述识别器使用多个维度特征量中的、减小表示所述正像和所述负像的识别错误的程度的误差信息的所述维度特征量来执行识别,所述维度特征量是由多个维度矢量表示的所述整体特征量的每个维度要素,所述维度信息表示减小所述误差信息的所述维度特征量的维度。
根据本发明的第一实施例的学习方法是一种学习用于识别预定的待识别对象的识别器的学习装置的学习方法,所述学习装置包括特征点提取单元、特征点特征量提取单元、整体特征量计算单元和识别器产生单元,所述学习方法包括下述步骤:通过所述特征点提取单元,从多个产生用图像的每个提取特征点,所述产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;通过所述特征点特征量提取单元,从所述产生用图像提取表示所述特征点的特征的特征点特征量;通过所述整体特征量计算单元,基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;以及通过所述识别器产生单元,基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
根据本发明第一实施例的第一程序是这样一种程序,该程序使计算机用作以下装置:特征点提取单元,被构造为从多个产生用图像的每一个提取特征点,所述产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;特征点特征量提取单元,被构造为从所述产生用图像提取表示所述特征点的特征的特征点特征量;整体特征量计算单元,被构造为基于存在于所 述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;识别器产生单元,被构造为基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
根据本发明的第一实施例,从多个产生用图像的每个提取特征点,所述产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;从所述产生用图像提取表示所述特征点的特征的特征点特征量;基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;以及基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
根据本发明第二实施例的识别装置是这样的识别装置,该识别装置包括:特征点提取单元,被构造为从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;特征点特征量提取单元,被构造为从所述待处理图像提取表示所述特征点的特征的特征点特征量;整体特征量计算单元,被构造为基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别待识别对象的识别器;以及识别单元,被构造为基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
针对根据第二实施例的识别装置,还可以提供:存储单元,被构造为以相关的方式存储用于计算的计算用特征量和所述特征点选择范 围,所述计算用于计算作为由多个维度矢量表示的所述整体特征量的每个维度元素的多个维度特征量中的每个维度特征量,所述特征点选择范围选择将用于与所述计算用特征量的所述计算的所述特征点特征量;所述整体特征量计算单元通过所述计算用特征量和存在于与所述计算用特征量相关的所述待处理图像的所述特征点选择范围上的特征点的特征点特征量之间的所述计算,计算组成所述整体特征量的多个维度特征量中的每个维度特征量。
针对根据第二实施例的识别装置,所述整体特征量计算单元可执行计算表示所述计算用特征量和存在于所述检索范围上的特征点的所述特征点特征量之间的相关性的相关值作为组成所述整体特征量的维度特征量的所述计算。
针对根据第二实施例的识别装置,所述整体特征量计算单元可基于存在于所述特征点选择范围上的特征点的特征点特征量,计算由多个维度信息组成的表示所述待处理图像的整体的特征的整体特征量;所述识别单元通过把组成所述整体特征量的所述多个维度特征量中的预定的维度特征量提供给所述识别器作为输入,来识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
针对根据第二实施例的识别装置,所述识别单元可将组成所述整体特征量的所述多个维度特征量中的、维度信息所表示的维度的维度特征量提供给用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器作为输入,从而识别在所述待处理图像上出现的被摄体是否是预定的待识别对象;所述识别器使用表示所述整体特征量的所述多个维度特征量中的、减小误差信息的所述维度特征量执行识别,所述误差信息表示对于是所述待识别对象存在于图像上的正像还是所述待识别对象不存在于图像上的负像的识别错误的程度;所述维度信息表示减小所述误差信息的所述维度特征量的维度。
根据本发明第二实施例的识别方法是一种用于识别存在于图像上的被摄体是否是预定的待识别对象的识别装置的识别方法,所述识别装置包括特征点提取单元、特征点特征量提取单元、整体特征量计算 单元和识别单元,所述识别方法包括下述步骤:利用特征点提取单元,从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;利用特征点特征量提取单元,从所述待处理图像提取表示所述特征点的特征的特征点特征量;利用整体特征量计算单元,基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别待识别对象的识别器;利用识别单元,基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
根据本发明第二实施例的第二程序是这样一种程序,该程序使计算机用作:特征点提取单元,被构造为从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;特征点特征量提取单元,被构造为从所述待处理图像提取表示所述特征点的特征的特征点特征量;整体特征量计算单元,被构造为基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别待识别对象的识别器;识别单元,被构造为基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
根据本发明的第二实施例,从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;从所述待处理图像提取表示所述特征点的特征的特征点特征量;基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习 用于产生识别待识别对象的识别器;基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
根据本发明第三实施例的信息处理系统是这样一种信息处理系统,该信息处理系统包括被构造为学习用于识别预定的待识别对象的识别器的学习装置和被构造为使用所述识别器识别存在于图像上的被摄体是否是预定的待识别对象的识别装置;所述学习装置包括:第一特征点提取单元,被构造为从多个产生用图像的每一个提取特征点,其中所述多个产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述多个产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;第一特征点特征量提取单元,被构造为从所述产生用图像提取表示所述特征点的特征的特征点特征量;第一整体特征量计算单元,被构造为基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;识别器产生单元,被构造为基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器;所述识别器包括:第二特征点提取单元,被构造为从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;第二特征点特征量提取单元,被构造为从所述待处理图像提取表示所述特征点的特征的特征点特征量;第二整体特征量计算单元,被构造为基于存在于所述待处理图像上的整个范围中的、基于用于所述学习装置的学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量;以及识别单元,被构造为基于所述识别器产生部件所产生的所述识别器和所述待处理图像的所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
针对本发明的第三实施例,根据学习装置,从多个产生用图像的 每一个提取特征点,其中所述多个产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述多个产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;从所述产生用图像提取表示所述特征点的特征的特征点特征量;基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。随后,根据识别装置,从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;从所述待处理图像提取表示所述特征点的特征的特征点特征量;基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别待识别对象的识别器;基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
根据本发明,针对每个待识别对象提供唯一位置约束,由此能够以更准确的方式检测待识别对象。
附图说明
图1是示出应用本发明的实施例的学习装置的第一结构例子的框图;
图2是示出共享码本产生单元的结构例子的框图;
图3是用于描述由特征量置换单元和量化单元执行的处理的例子的图;
图4是示出了共享码本的例子的图;
图5A到5C是描述由量化单元执行的处理的例子的图;
图6是描述由图1中的整体特征量计算单元执行的处理的例子的图;
图7是描述识别器产生方法的例子的图;
图8是描述由图1中的学习装置执行的学习处理的流程图;
图9是描述共享码本产生处理的流程图;
图10是描述码本产生处理的流程图;
图11是描述识别器产生处理的流程图;
图12是示出使用通过图1中的学习装置的学习产生的识别器识别待识别对象的第一识别装置的结构例子的框图;
图13是描述由图12中的识别装置执行的识别处理的流程图;
图14是示出应用本发明的实施例的学习装置的第二结构例子的框图;
图15是描述由范围确定单元执行的处理的例子的图;
图16是描述由图14中的整体特征量计算单元执行的处理的例子的图;
图17是描述由图14中的学习装置执行的学习处理的流程图;
图18是描述范围确定处理的流程图;
图19是示出使用由图14中的学习装置的学习产生的识别器识别待识别对象的第二识别装置的结构例子的框图;
图20是描述通过图19中的识别器执行的识别处理的流程图;以及
图21是示出计算机的结构例子的框图。
具体实施方式
将在下文中描述用于执行本发明的实施方式(下文称作实施例)。注意:将按照下面顺序进行描述。
1.第一实施例(不同的待识别对象共同使用特征点特征量的例子)
2.第二实施例(针对每个待识别对象使用不同范围的例子)
3.变型
第一实施例
学习装置1的结构例子
图1示出了应用本发明的第一实施例的学习装置1的结构例子。
这个学习装置1使用学习用图像产生用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器(函数),和产生后述的维度信息。
这里,学习用图像是用于产生(学习)识别器的图像,包括多个模型图像、多个原始图像和多个产生用图像。
模型图像是存在可作为待识别对象(例如,笔记型个人计算机(笔记本计算机)、汽车、等等)的被摄体的图像。另外,原始图像是包括不依赖于特定的待识别对象的多个特征量的图像,即与特定的待识别对象的特征量无关地、用于提取各种类型的特征量的图像。
关于原始图像的例子,采用存在人工对象或例如风景的自然对象的图像。
另外,产生用图像既包括正像又包括负像,在正像上存在待识别对象(例如,笔记本计算机),在负像上不存在待识别对象。
另外,对产生用图像添加有正确答案标签。这个正确答案标签存在于每个产生用图像,表示每个产生用图像是正像还是负像。
具体地讲,这个学习装置1产生共享码本,其中,从多个原始图像提取的特征量被共享作为能够作为待识别对象的被摄体(例如,笔记本计算机、汽车、等等)的特征量。
接下来,学习装置1使用产生的共享码本产生用于识别存在于图像上的被摄体是否是预定的待识别对象(例如,汽车)的识别器和对应的维度信息。
学习装置1被构造为包括输入单元21、共享码本产生单元22、共享码本存储单元23、特征点提取单元24、特征量提取单元25、整体特征量计算单元26和识别器产生单元27。
多个模型图像、多个原始图像和多个产生用图像被提供给输入单元21作为学习用图像。输入单元21将提供的多个模型图像和多个原始图像输入(提供)给共享码本产生单元22。
另外,输入单元21将提供的多个产生用图像输入到特征点提取单元24。
共享码本产生单元22基于来自输入单元21的多个模型图像和多个原始图像产生共享码本(在该共享码本中共享能够作为待识别对象的被摄体的特征量),并且将它提供并存储到共享码本存储单元23。
注意:将在以后参照图2描述共享码本产生单元22的细节。
共享码本存储单元23存储来自共享码本产生单元22的共享码本。
特征点提取单元24从输入单元21顺序选择多个产生用图像的每一个作为关注的产生用图像,并且从关注的产生用图像提取特征点。接下来,特征点提取单元24将提取的特征点和关注的产生用图像一起提供给特征量提取单元25。
这里,由于图像的局部信息通常包括在角点(corner point)中,所以特征点提取单元24提取角点(用作角点的像素)作为特征点。
可以使用哈里斯角探测器执行角点的提取。通过哈里斯角探测器,如果我们假设某位置(x,y)的像素的像素值(例如,亮度)表示为I(x,y),则通过下面表达式(1)获得的亮度梯度的二阶矩的两个本征值等于或大于预定阈值的像素被检测为角点。
注意:在表达式(1)中,通过省去(x,y)将像素值I(x,y)表示为I。
另外,通过特征点提取单元24,除了角点以外,例如还可以采用作为边缘的像素、或预定的固定位置处的像素作为特征点。
特征量提取单元25从来自特征点提取单元24的关注的产生用图像提取表示来自特征点提取单元24的特征点的特征的特征点特征量,并且将它提供给整体特征量计算单元26。另外,特征量提取单元25提取添加到来自特征点提取单元24的关注的产生用图像的正确答案标签, 并且将它提供给整体特征量计算单元26。
整体特征量计算单元26基于存储在共享码本存储单元23中的共享码本从来自特征量提取单元25的特征点特征量计算表示关注的产生用图像的整体特征的整体特征量。
这里,例如,通过多个维度矢量(包括多个值作为一个要素的矢量)表示整体特征量。
整体特征量计算单元26将计算的关注的产生用图像的整体特征量和来自特征量提取单元25的关注的产生用图像的正确答案标签一起提供给识别器产生单元27。
响应于来自整体特征量计算单元26的关于多个产生用图像的每一个的对应整体特征量和正确答案标签,识别器产生单元27使用多个产生用图像的每一个的整体特征量以及多个产生用图像的每一个的正确答案标签产生识别器(执行学习以计算规定识别器的参数)。
这里,如果我们假设采用用作整体特征量的多个维度矢量的要素作为维度特征量,则整体特征量由多个(数目等于矢量的维度)维度特征量组成。
识别器产生单元27产生不使用组成整体特征量的全部维度特征量而使用从组成整体特征量的维度特征量中选择的维度特征量的一部分进行识别的识别器。
另外,识别器产生单元27产生表示用于由这个识别器进行识别的维度特征量的维度的信息(表示维度特征量是用作整体特征量的矢量的多少要素的信息)作为维度信息。
共享码本产生单元22的结构例子
图2示出了共享码本产生单元22的详细结构例子。
这个共享码本产生单元22被构造为包括特征点提取单元41、特征量提取单元42、码本产生单元43、码本存储单元44、特征点提取单元45、特征量提取单元46、特征量置换单元47和量化单元48。
多个原始图像从输入单元21输入到特征点提取单元41。特征点提 取单元41顺序采用来自输入单元21的多个原始图像的每一个作为关注的原始图像。接下来,特征点提取单元41从关注的原始图像提取特征点,并且将它与关注的原始图像一起提供给特征量提取单元42。
特征量提取单元42相似地从来自特征点提取单元41的关注的原始图像提取表示来自特征点提取单元41的特征点的特征的特征点特征量以将它提供给码本产生单元43。
具体地讲,特征量提取单元42将从在特征点提取单元41选择作为关注的原始图像的多个原始图像的每一个提取的多个特征点特征量提供给码本产生单元43。
码本产生单元43例如通过在特征量空间中执行例如k-means方法的群集方法将从特征量提取单元42提供的多个特征点特征量分组成多组。接下来,码本产生单元43对于通过分组获得的每一个多组确定属于该多组的特征点特征量的重心作为表示该多组的特征点特征量。
码本产生单元43将对于每一个多组确定的特征点特征量与用于唯一识别该特征点特征量的标识符Cbn(n=1、2、...、N)进行相关。另外,码本产生单元43产生包括与标识符Cbn相关的特征点特征量的码本以将它提供并存储到码本存储单元44。
码本存储单元44存储该码本,在该码本中,标识符Cbn与由标识符Cbn识别的特征点特征量相关。
多个模型图像从输入单元21输入到特征点提取单元45。特征点提取单元45根据存在于模型图像上的被摄体的类别将从输入单元21输入的多个模型图像分组成多组。注意:模型图像包括表示存在于图像上的被摄体的类别的类别信息,特征点提取单元45被设置为基于包括在模型图像中的类别信息执行分组。
接下来,特征点提取单元45顺序选择根据类别进行分组的多组的每一个作为关注的组。
另外,特征点提取单元45顺序选择包括在关注的组中的多个图像的每一个作为关注的模型图像。接下来,特征点提取单元45从关注的模型图像提取特征点以将它与关注的模型图像一起提供给特征量提取单 元46。
特征量提取单元46类似地从来自特征点提取单元45的关注的模型图像提取表示来自特征点提取单元45的特征点的特征的特征点特征量。接下来,特征量提取单元46将来自特征点提取单元45的特征点与提取的特征点特征量进行相关。
因此,特征量提取单元46获得包括在从包括在关注的组中的多个模型图像的每一个提取的多个特征点特征量中的、包括与对应特征点相关的特征点特征量的初始特征量池。
特征量提取单元46将获得的初始特征量池提供给特征量置换单元47。
特征量置换单元47将包括在来自特征量提取单元46的初始特征量池中的特征点特征量与包括在存储在码本存储单元44中的码本中的标识符Cbn进行置换。
具体地讲,例如,特征量置换单元47从码本存储单元44读取码本。接下来,特征量置换单元47将包括来自特征量提取单元46的初始特征量池的特征点特征量与用于识别包括读取的码本的多个特征点特征量的最相似的特征点特征量的标识符Cbn进行置换。
这样,特征量置换单元47将包括在来自特征量提取单元46的初始特征量池中的多个特征点特征量的每一个与包括在存储在码本存储单元44中的码本中的标识符Cbn进行置换。
因此,特征量置换单元47从包括与特征点相关的特征点特征量的初始特征量池产生包括与特征点相关的标识符Cbn的特征量池。特征量置换单元47将产生的特征量池提供给量化单元48。
另外,特征量置换单元47将从码本存储单元44读出的码本提供给量化单元48。
量化单元48将包括在来自特征量置换单元47的特征池中的与标识符Cbn相关的特征点进行量化以获得作为其量化结果获得的量化的特征量池。
另外,量化单元48获得通过对包括在获得的量化的特征量池中的 标识符Cbn中的相同标识符Cbn进行分组而获得的共享信息。
接下来,量化单元48将根据类别获得的共享信息与来自特征量置换单元47的码本的组合提供并存储到共享码本存储单元23作为共享码本。
由特征量置换单元47和量化单元48执行的处理的例子
接下来,图3示出了由特征量置换单元47和量化单元48执行的处理的例子。
注意:图3所示的码本61是存储在码本存储单元44中的码本,包括标识符Cbn和由标识符Cbn进行识别的特征点特征量fvec。
特征量置换单元47从码本存储单元44读出码本61。另外,特征量置换单元47从由特征量提取单元46提供的、包括预定类别的多个特征点特征量的初始特征量池62(以十字表示)提取预定的特征点特征量,从而顺序选择它作为关注的特征点特征量fvec′。
接下来,特征量置换单元47将关注的特征点特征量fvec′与包括在读取的码本61中的标识符Cbn进行置换。具体地讲,例如,特征量置换单元47将关注的特征点特征量fvec′与用于识别包括在读取的码本61中的多个特征点特征量的与关注的特征点特征量fvec′最相似的特征点特征量fvec的标识符Cbn进行置换。
特征量置换单元47通过选择包括在初始特征量池62中的所有的多个特征点特征量作为关注的特征点特征量fvec′,将包括在初始特征量池62中的所有的多个特征点特征量与标识符Cbn进行置换。
因此,特征量置换单元47将关注的特征点特征量fvec′与对应的特征点(x,y)相关的初始特征量池62转换成标识符Cbn与对应于关注的特征点特征量fvec′的特征点(x,y)相关的特征量池63。
特征量置换单元47将转换的特征量池63和从码本存储单元44读出的码本61一起提供给量化单元48。
量化单元48执行量化以将包括在来自特征量置换单元47的特征量池63中的若干特征点转换成一个特征点,并且获得作为结果而获得的 量化的特征量池64。注意:将在以后参照图4详细描述由量化单元48执行的量化。
另外,量化单元48对包括在获得的量化的特征量池64中的标识符Cbn中的相同标识符Cbn进行分组,并且将这样获得的共享信息65提供并存储到共享码本存储单元23。
具体地讲,例如,量化单元48对与包括在量化的特征量池64中的标识符Cbn中的相同标识符Cbn相关的特征点进行分组,从而针对每个标识符Cbn产生与一个或多个特征点相关的共享信息65。
接下来,量化单元48将产生的共享信息65与来自特征量置换单元47的码本61之间的组合提供并存储到共享码本存储单元23作为共享码本81。
注意:针对多个类别的每一个,基于该类别的初始特征量池62产生共享信息65。因此,由针对多个类别的每一个产生的共享信息65m和码本61构成的共享码本81存储在共享码本存储单元23中。
另外,如上所述,量化单元48被设置为通过对包括在量化的特征量池64中的标识符Cbn中的相同标识符Cbn进行分组获得共享信息65,但是不限于此。
具体地讲,例如,量化单元48能够通过对不是包括在量化的特征量池64中而是包括在特征量池63中的标识符Cbn中的相同标识符Cbn进行分组获得共享信息65,而不对来自特征量置换单元47的特征量池63进行量化。
共享码本的例子
接下来,图4示出了存储在由共享码本产生单元22产生并存储在共享码本存储单元23中的共享码本81中的共享码本81的例子。
图4所示的共享码本81由笔记本个人计算机所属的类别A中的共享信息651和汽车所属的类别B中的共享信息652组成。
共享信息651是基于包括类别A中的多个特征点特征量的初始特征量池62产生的共享信息。
利用共享信息651,标识符Cb2与特征点(x1,y1)和(x2,y2)相关。另外,通过共享信息651,标识符Cb30与特征点(x3,y3)相关。
共享信息652是基于包括类别B中的多个特征点特征量的初始特征量池62产生的共享信息。
通过共享信息652,标识符Cb30与特征点(x4,y4)和(x5,y5)相关。另外,通过共享信息652,标识符Cb45与特征点(x6,y6)和(x7,y7)相关。
具体地讲,通过特征点特征量fvec与用于识别特征点特征量fvec的标识符Cb30之间的组合61a,组合61a的标识符Cb30与类别A中的特征点(x3,y3)和类别B中的特征点(x4,y4)和(x5,y5)相关。
因此,在识别类别A的情况和识别类别B的情况的任一情况下,共同采用由标识符Cb30识别的特征点特征量fvec。
另外,例如,从类别A中的模型图像提取的特征点与从类别B中的模型图像提取的特征点通常不同。因此,类别A中与标识符Cb30相关的特征点(x3,y3)和类别B中与标识符Cb30相关的特征点(x4,y4)和(x5,y5)不同。
因此,在识别类别A的情况下以及在识别类别B的情况下,采用不同的特征点。
由量化单元48执行的量化的例子
接下来,将参照图5A到5C详细描述由量化单元48执行的量化。图5A到5C是详细描述由量化单元48执行的量化的图。
图5A示出了例如四个模型图像,在这些模型图像上存在作为被摄体的笔记本个人计算机。注意:通过图5A所示的四个模型图像,例如示出了角点(十字所示)作为特征点。
图5B示出了由作为图5A所示的四个模型图像中的亮度值存在的、具有特征点的频率(程度)的像素构成的特征点频率图像101。
图5C示出了一个场景的例子,其中,图5B所示的特征点频率图像101中亮度值大于周围像素的亮度值的像素被选择为特征点(十字所 示)。
量化单元48顺序选择包括在来自特征量置换单元47的特征量池63中的特征点,即例如图5A所示的模型图像的每一个的角点(十字所示)的每一个作为关注的特征点。
另外,通过量化单元48,制备了尺寸与图5A所示的模型图像相同并且每个像素的亮度值为零的特征点频率图像101。
接下来,在组成制备的特征点频率图像101的多个像素中,量化单元48对与关注的特征点对应的像素以及围绕该像素的像素的亮度值投票(添加)与高斯权重(遵照高斯分布的权重)对应的值。
因此,通过特征点频率图像101,1被投票给与关注的特征点对应的像素的亮度值,并且随着与关注的特征点对应的像素与位于与关注的特征点对应的像素的位置分离的位置的像素之间的距离变长,较小的值被投票给与关注的特征点对应的像素的位置分离的位置的像素。
量化单元48通过选择包括在特征量池63中的所有的特征点作为关注的特征点执行投票,从而产生特征点频率图像101,其中特征点根据特征点所在的频率具有不同亮度。
接下来,量化单元48执行非最大化抑制处理,其中,与亮度值大于周围像素的亮度值的像素对应的特征点被提取作为关于产生的特征点频率图像101的代表性特征点。
具体地讲,例如,量化单元48提取具有组成特征点频率图像101的像素的亮度值中的最大亮度值的像素的位置作为代表性特征点。接下来,量化单元48从处理对象排除包括提取的代表性特征点在内的围绕该代表性特征点的区域以提取新的代表性特征点。
接下来,量化单元48提取具有在从处理对象排除围绕提取的代表性特征点的区域以后的组成特征点频率图像101的像素的亮度值中的最大亮度值的像素的位置作为代表性特征点。接下来,量化单元48从处理对象排除包括提取的代表性特征点在内的围绕该代表性特征点的区域,然后重复相同的处理。
这样,在从如图5C所示的特征点频率图像101提取预定的代表性 特征点(十字所示)的情况下,量化单元48终止非最大化抑制处理。
量化单元48将包括在特征量池63中的特征点量化成通过非最大化抑制处理提取的多个代表性特征点之一。
具体地讲,例如,量化单元48顺序选择包括在特征量池63中的特征点作为关注的特征点。接下来,量化单元48执行量化以将关注的特征点转换成多个代表性特征点中的位于最靠近关注的特征点的位置的代表性特征点。
量化单元48将包括在特征量池63中的所有特征点量化成多个代表性特征点之一,并且获得通过这种量化获得的量化的特征量池64。
接下来,如上所述,量化单元48对包括在量化的特征量池64中的相同标识符Cbn之间的多个标识符Cbn进行分组。另外,量化单元48将通过进行分组获得的共享信息65与来自特征量置换单元47的码本61之间的组合提供并存储到共享码本存储单元23作为共享码本81。
相关值的计算的例子
接下来,将参照图6描述由整体特征量计算单元26执行的计算整体特征量的处理的例子。
在图6中,例如,关于用于产生识别器的整体特征量和用于识别待识别对象是否属于汽车的类别B的维度信息,将描述用于计算相关值的整体特征量计算单元26。
具体地讲,图6示出了整体特征量计算单元26使用汽车的类别B的共享信息652和存储在共享码本存储单元23中的共享码本81中的码本61计算产生用图像的整体特征量的情况下的例子。
图6的上侧示出了包括在码本61(包括在共享码本81中)中的多个特征点特征量中的、分别与包括在共享信息652中的标识符Cbn对应的特征点特征量1211到12110。
另外,图6的下侧示出了已经在特征点提取单元24提取特征点以及已经在特征量提取单元25计算特征量的产生用图像141到145。
整体特征量计算单元26计算与包括在共享信息652(包括在共享码本81中)中的标识符Cbn的每一个对应的特征点特征量1211到12110 的每一个与产生用图像141到145的每一个之间的相关值作为整体特征量。
具体地讲,例如,整体特征量计算单元26把基于与组成产生用图像141的整个区域的特征点特征量121n(n是从1到10的自然数)对应的特征点的预定区域(例如,把与特征点特征量121n的特征点对应的位置作为中心的矩形区域)作为检索范围。
整体特征量计算单元26计算特征点特征量121n与存在于产生用图像141的检索范围上的每个特征点的特征点特征量之间的相关值,并且把这样计算获得的多个相关值中的最大相关值作为特征点特征量121n与产生用图像141之间的最终相关值161n。
整体特征量计算单元26针对产生用图像141计算关于特征点特征量1211到12110的相关值1611到16110,并且采取以计算的相关值1611到16110为要素的矢量作为产生用图像141的整体特征量。
按照与计算产生用图像141的整体特征量的情况相同的方式,整体特征量计算单元26计算产生用图像142到145的每一个的整体特征量。
整体特征量计算单元26将多个产生用图像141到145的每一个的整体特征量提供给识别器产生单元27。
识别器产生单元27执行的处理
接下来,图7示出了由识别器产生单元27执行的处理的概要。
识别器产生单元27根据例如Boosting算法以在组成来自整体特征量计算单元26的整体特征量的维度特征量之中选择用于识别的维度特征量(的维度),并且使用该维度特征量产生用于执行识别的识别器。
具体地讲,识别器产生单元27在组成来自整体特征量计算单元26(图1)的整体特征量的多个维度特征量(矢量的要素)之中,利用减小表示正像与负像之间的识别错误的程度的误差值的维度特征量来产生用于执行识别的识别器和表示减小误差值的维度特征量的维度的维度信息。
具体地讲,现在,我们假设存在多个(N个)图像作为产生用图像,并且在整体特征量计算单元26,如图7所示,获得了用作N个产生用图像的N个采样的整体特征量x1、x1、......、xN的矢量。
另外,如图7所示,假定整体特征量xi(i=1、2、.......、N)是具有多个(M个)要素(维度特征量)x1,1、x1,2、......、xi,M的M维矢量。
另外,如图1所述,正确答案标签从整体特征量计算单元26提供给识别器产生单元27,但是这里,第i个采样xi(第i个产生用图像)的正确答案标签被表示为yi。假定在第i个产生用图像是正像的情况下,正确答案标签yi是+1,并且假定在第i个产生用图像是负像的情况下,正确答案标签yi是-1。
识别器产生单元27产生的识别器是使用组成整体特征量xi的M个维度特征量xi,1到xi,M中的、减小表示正像与负像之间的识别错误的程度的误差值的维度特征量xi,d执行识别的函数,并且由多个弱学习器ht,d(xi,d)构成。
这里,弱学习器ht,d(xi,d)的下标t是用于对弱学习器ht,d(xi,d)的数目进行计数的变量,并且识别器由多个(T个)弱学习器h1,d(xi,d)、h2,d(xi,d)、......、hT,d(xi,d)构成。
关于弱学习器ht,d(xi,d)的数目T,例如通过实验设置等于或小于M的值或者使得由识别器识别的识别率变成一定值。
弱学习器ht,d(xi,d)是输出识别结果的函数,即以产生用图像的整体特征量xi的第d个维度特征量xi,d(用作整体特征量xi的矢量的第d个要素)为输入来识别产生用图像是正像还是负像,并且分别例如输出+1作为识别结果以表示产生用图像是正像以及输出-1作为识别结果以表示产生用图像是负像。
现在,如果弱学习器ht,d(xi,d)的识别结果的误差值表示为εt,d,则识别器产生单元27确定弱学习器ht,d(xi,d)以使得误差值εt,d变小。
注意:为了简化说明,作为弱学习器ht,d(xi,d),这里假定采用一个函数,其中,例如,在作为自变量的第d个维度特征量xi,d等于或大于 预定阈值的情况下,输出+1,这表示产生用图像是正像的识别结果,在作为自变量的第d个维度特征量xi,d小于预定阈值的情况下,输出-1,这表示产生用图像是负像的识别结果。
在这种情况下,确定弱学习器ht,d(xi,d)以使得误差值εt,d变小是指确定弱学习器ht,d(xi,d)的阈值。在能够用作自变量的N个第d个维度特征量x1,d、x2,d、......、xN,d之中,最小值与最大值之间的值被确定为弱学习器ht,d(xi,d)的阈值。
识别器产生单元27确定弱学习器ht,1(xi,1)、ht,2(xi,2)、......、ht,M(xi,M)的每一个以减小误差值εt,1、εt,2、......、εt,M的每一个,并且获得维度d(t),由此能够获得误差值εt,1到εt,d的最小值(下文中,称作“最小误差维度”)。
另外,识别器产生单元27获得权重Dt(i)以使得产生用图像的识别结果的误差根据通过弱学习器ht,d(xi,d)产生的第i个图像以后的识别结果是否与正确答案标签yi匹配(即表达式ht,d(xi,d)=yi还是ht,d(xi,d)≠yi)影响每个产生用图像的误差值εt,d。
这里,通过把N个产生用图像中的通过弱学习器ht,d(xi,d)进行的识别结果产生误差的产生用图像的权重Dt(i)相加来获得误差值εt,d。
识别器产生单元27重复确定弱学习器ht,d(xi,d)以减小误差值εt,d,获得维度(最小误差维度)d(t),从而通过弱学习器ht,d(xi,d)获得产生用图像的识别结果的误差值εt,1到εt,M的最小值,并且T次获得用于计算误差值εt,d的权重Dt(i),由此产生由T个弱学习器h1,d(xi,d)、h2,d(xi,d)、......、hT,d(xi,d)组成的识别器H(x)和表示最小误差维度d(1)、d(2)、......、d(T)的维度信息。
学习装置1的操作说明
接下来,将参照图8中的流程图描述由学习装置1执行的学习处理(下文称作“第一学习处理”)。
当学习用图像被提供给输入单元21时,开始该第一学习处理。此时,在产生用图像、原始图像和模型图像(即,待提供的学习的图像) 之中,输入单元21将原始图像和模型图像提供给共享码本产生单元22,并且将产生用图像提供给特征点提取单元24。
在步骤S1中,共享码本产生单元22执行共享码本产生处理,以基于来自输入单元21的原始图像和模型图像产生共享码本81以将它存储在共享码本存储单元23中。注意:将在以后参照图9中的流程图详细描述共享码本产生处理。
在步骤S2中,特征点提取单元24从输入单元21顺序获取多个产生用图像的每一个作为关注的产生用图像。
在步骤S3中,特征点提取单元24从关注的产生用图像提取特征点以将它和关注的产生用图像一起提供给特征量提取单元25。
在步骤S4中,特征量提取单元25类似地从来自特征点提取单元24的关注的产生用图像提取表示来自特征点提取单元24的特征点的特征的特征点特征量,并且按照与来自特征点提取单元24的特征点相关的方式将它提供给整体特征量计算单元26。
另外,特征量提取单元25提取添加到来自特征点提取单元24的关注的产生用图像的正确答案标签,并且将它提供给整体特征量计算单元26。
在步骤S5中,整体特征量计算单元26基于存储在共享码本存储单元23中的共享码本81,从来自特征量提取单元25的特征点特征量计算表示关注的产生用图像的整体特征的整体特征量。
具体地讲,例如,如参照图6所述,整体特征量计算单元26基于与包括在包括在共享码本81中的共享信息65(例如,在产生用于识别待识别对象是否属于汽车的类别B的识别器和维度信息的情况下的共享信息652)中的标识符Cbn的每一个相关的特征点特征量计算关注的产生用图像的整体特征量。
整体特征量计算单元26将计算的关注的产生用图像的整体特征量与来自特征量提取单元25的正确答案标签一起提供给识别器产生单元27。
在步骤S6中,特征点提取单元24确定是否已经把来自输入单元 21的所有的多个产生用图像作为关注的产生用图像,并且在确定还没有把来自输入单元21的所有的多个产生用图像作为关注的产生用图像的情况下,使处理返回到步骤S2。
接下来,在步骤S2中,特征点提取单元24把来自输入单元21的多个产生用图像中的还没有被作为关注的产生用图像的产生用图像作为新的关注的产生用图像,处理进入步骤S3,然后执行相同处理。
另外,在步骤S6中确定来自输入单元21的所有的多个产生用图像已经作为关注的产生用图像的情况下,处理进入步骤S7。
在步骤S7中,响应于从整体特征量计算单元26关于多个产生用图像的每一个提供对应的整体特征量和正确答案标签,识别器产生单元27使用多个产生用图像的每一个的整体特征量和多个产生用图像的每一个的正确答案标签执行产生识别器和维度信息的识别器产生处理。这是第一学习处理的终止。注意:将在以后参照图11中的流程图详细描述第一学习处理。
共享码本产生处理的细节
接下来,将参照图9中的流程图描述图8中的步骤S1中的共享码本产生处理的细节。
在步骤S21中,共享码本产生单元22的特征点提取单元41到码本产生单元43执行码本产生处理,用于产生从来自输入单元21的多个原始图像提取的特征点特征量与用于唯一识别该特征点特征量的标识符Cb相关的码本并且将它提供并存储到码本存储单元44中。注意:将参照图10中的流程图详细描述码本产生处理。
在步骤S22中,特征点提取单元45获得来自输入单元21的多个模型图像之中的存在属于预定类别的待识别对象(例如,笔记本个人计算机)的模型图像。
在步骤S23中,特征点提取单元45顺序采用在步骤S22的处理中获得的模型图像的每一个作为关注的模型图像。
在步骤S24中,特征点提取单元45从关注的模型图像提取特征 点,并且将它与关注的模型图像一起提供给特征量提取单元46。
在步骤S25中,特征量提取单元46类似地从来自特征点提取单元45的关注的模型图像提取表示来自特征点提取单元45的特征点的特征的特征点特征量。接下来,特征量提取单元46将提取的特征点特征量与来自特征点提取单元45的特征点进行相关。
在步骤S26中,特征点提取单元45确定在步骤S22的处理中获得的所有的模型图像是否都已经被作为关注的模型图像,并且在还没有把在步骤S22的处理中获得的所有的模型图像作为关注的模型图像的情况下,使处理返回到步骤S23。
接下来,在步骤S23中,特征点提取单元45把在步骤S22的处理中获得的模型图像中还没有被作为关注的模型图像的模型图像作为新的关注的模型图像,处理进入步骤S24,然后执行相同处理。
另外,在步骤S26中确定已经把在步骤S22的处理中获得的所有的模型图像作为关注的模型图像的情况下,特征点提取单元45相应地通知特征量提取单元46。
响应于来自特征点提取单元45的通知,特征量提取单元46产生包括在步骤S25的处理中提取的特征点特征量的初始特征量池62,将它提供给特征量置换单元47,处理进入步骤S27。
在步骤S27中,特征量置换单元47将包括在来自特征量提取单元46的初始特征量池62中的特征点特征量与包括在存储在码本存储单元44中的码本61中的标识符Cbn进行置换。
具体地讲,例如,特征量置换单元47从码本存储单元44读出码本6L接下来,特征量置换单元47将包括在来自特征量提取单元46的初始特征量池62中的特征点特征量fvec′置换为用于识别包括在读取的码本61中的多个特征点特征量中的、与特征点特征量fvec′最相似的特征点特征量fvec的标识符Cbn。
这样,特征量置换单元47将包括在来自特征量提取单元46的初始特征量池62中的多个特征点特征量的每一个置换为包括在存储在码本存储单元44中的码本61中的标识符Cbn。
因此,特征量置换单元47产生包括与来自包括与特征点相关的特征点特征量fvec′的初始特征量池62的该特征点相关的标识符Cbn的特征量池63。特征量置换单元47将产生的特征量池63提供给量化单元48。
另外,特征量置换单元47将从码本存储单元44读出的码本61提供给量化单元48。
在步骤S28中,量化单元48对与包括在来自特征量置换单元47的特征量池63中的标识符Cbn相关的特征点进行量化,并且由此获得量化的特征量池64。
接下来,量化单元48获得共享信息65,该共享信息65是通过对包括在获得的量化的特征量池64中的标识符Cbn的相同标识符Cbn进行分组获得的。
在步骤S29中,特征点提取单元45确定是否在步骤S22中的处理中已经获得了来自输入单元21的多个模型图像中的关于所有类别的模型图像,并且在确定还没有获得关于所有类别的模型图像的情况下,处理返回到步骤S22。
接下来,在步骤S22中,特征点提取单元45获得来自输入单元21的多个模型图像中的属于还没有被获得的类别(例如,汽车)的待识别对象的模型图像,处理进入步骤S23,然后执行相同处理。
另外,在步骤S29中确定已经获得了来自输入单元21的多个模型图像中的关于所有类别的模型图像的情况下,特征点提取单元45使处理进入步骤S30。
在步骤S30中,量化单元48针对每个类别将在步骤S28的处理中获得的共享信息65(例如,类别A的共享信息651、类别B的共享信息652、等等)和来自特征量置换单元47的码本61提供并存储到共享码本存储单元23作为共享码本81,然后将处理返回图8的步骤S1。
码本产生处理的细节
接下来,将参照图10中的流程图详细描述在图9的步骤S21中由 共享码本产生单元22的特征点提取单元41到码本产生单元43执行的用于产生码本61的码本产生处理。
在步骤S51中,特征点提取单元41顺序采用来自输入单元21的多个原始图像的每一个作为关注的原始图像。
在步骤S52中,特征点提取单元41从关注的原始图像提取特征点,然后将它与关注的原始图像一起提供给特征量提取单元42。
在步骤S53中,特征量提取单元42类似地从来自特征点提取单元41的原始图像提取表示来自特征点提取单元41的特征点的特征的特征点特征量,并且将它提供给码本产生单元43。
在步骤S54中,特征点提取单元41确定来自输入单元21的所有的多个原始图像是否都已经作为关注的原始图像,并且在确定还没有把来自输入单元21的所有的多个原始图像都作为关注的原始图像的情况下,处理返回到步骤S51。
接下来,在步骤S51中,特征点提取单元41把来自输入单元21的多个原始图像中的还没有被作为关注的原始图像的原始图像作为新的关注的原始图像,处理进入步骤S52,然后执行相同处理。
另外,在步骤S54中确定来自输入单元21的所有的多个原始图像都已经被作为关注的原始图像的情况下,特征点提取单元41将处理进入步骤S55。
在步骤S55中,码本产生单元43基于从特征量提取单元42提供的多个特征点特征量,产生由表示通过对多个特征点特征量进行分组获得的每一组的特征点特征量构成的码本。
具体地讲,例如,码本产生单元43通过在特征量空间内执行例如k-means方法的群集方法将从特征量提取单元42提供的多个特征点特征量分组成多个组。
接下来,码本产生单元43针对通过分组获得的多个组的每一个,确定属于这些组的特征点特征量的重心,作为表示这些组的特征点特征量。
另外,码本产生单元43将针对多个组的每一个确定的特征点特征 量与唯一识别该特征点特征量的标识符Cbn进行相关。另外,码本产生单元43产生包括与标识符Cbn相关的特征点特征量的码本61,将它提供并存储到码本存储单元44,然后将处理返回到图9中的步骤S21。
识别器产生处理的细节
接下来,将参照图11中的流程图详细描述在图8的步骤S7中由识别器产生单元27执行的用于产生识别器和维度信息的识别器产生处理。
在步骤S71中,识别器产生单元27例如根据下面的表达式(2)设置权重Dt(i)的初始值D1(1)、D1(2)、......、D1(N)以使得产生用图像的识别结果的误差影响表示弱学习器ht,d(xi,d)识别错误的程度的误差值εt,d,然后处理进入步骤S72。
在步骤S72中,识别器产生单元27将用于对组成识别器H(x)的弱学习器ht,d(xi,d)的数目进行计数的变量t初始化为1,然后处理进入步骤S73。
在步骤S73中,识别器产生单元27关于整体特征量xi的维度d=1、2、......M的每一个确定弱学习器ht,d(xi,d)的阈值THt,d,以使得通过使用权重Dt(i)获得的误差值εt,d变得最小,然后处理进入步骤S74。
这里,在步骤S73中,例如,识别器产生单元27确定弱学习器ht,d(xi,d)的阈值THt,d,以使得根据下面表达式(3)计算的误差值εt,d变得最小。
在表达式(3)中,[yi≠ht,d(xi,d)]是指示器函数,其中,当表达式[yi≠ht,d(xi,d)]成立时为1,当表达式[yi≠ht,d(xi,d)]不成立时为0。
因此,根据表达式(3),通过仅仅把N个产生用图像中的弱学习器ht,d(xi,d)的识别结果发生错误的产生用图像(表达式[yi≠ht,d(xi,d)]成立的 产生用图像)的权重Dt(i)相加来获得误差值εt,d。
在步骤S74中,识别器产生单元27使用在步骤S73中的最后处理中针对维度d=1、2、......、M的每一个确定的弱学习器ht,d(xi,d)获得根据表达式(3)计算的误差值εt,1、εt,2、......、εt,M中的最小值εt。另外,识别器产生单元27获得维度(最小误差维度)d(t)(1到M的范围内的整数值)从而能够获得误差值εt,1到εt,M的最小值εt,然后处理进入步骤S75。
这里,最小误差维度d(t)是用于由组成整体特征量的维度特征量的识别器H(x)进行识别的维度特征量的维度。因此,通过由识别器H(x)进行识别,从组成整体特征量的维度特征量中选择最小误差维度d(t)的维度特征量,并且将该最小误差维度d(t)的维度特征量用于进行识别。
另外,如果误差值εt,1、εt,2、......、εt,M的最小值εt是最小误差值εt,则能够获得最小误差值εt的弱学习器ht,d(t)(xi,d(t))变成组成识别器H(x)的第t个弱学习器。
在步骤S75中,识别器产生单元27使用在步骤S74的最后处理中获得的最小误差εt,根据下面表达式(4)获得表示由组成识别器H(x)的第t个弱学习器ht,d(t)(xi,d(t))识别产生用图像的可靠性的可靠性α,然后处理进入步骤S76。
这里,在表达式(4)中,ln表示自然对数,并且根据表达式(4),最小误差值εt越大(或越小),获得的可靠性αt的值越小(或越大)。
在步骤S76中,识别器产生单元27根据下面的表达式(5)将权重Dt(i)更新为Dt+1(i),然后处理进入步骤S77。
这里,在表达式(5)中,系数Zt是用于对权重Dt+1(i)进行标准化的系数,并且由下面表达式(6)进行表示。
根据表达式(6),关于弱学习器ht,d(t)(xi,d(t))的识别结果正确的第i个产生用图像(即识别结果与正确答案标签yi匹配的产生用图像),权重Dt(i)更新为具有更小值的权重Dt+1(i)。其结果是,在接下来的步骤S73中,通过使用权重Dt(i)计算的误差值εt,d变成更小值。
另一方面,关于弱学习器ht,d(t)(xi,d(t))的识别结果不正确的第i个产生用图像(即识别结果与正确答案标签yi不匹配的产生用图像),权重Dt(i)更新为具有更大值的权重Dt+1(i)。其结果是,在接下来的步骤S73中,通过使用权重Dt(i)计算的误差值εt,d变成更大值。
在步骤S77中,识别器产生单元27确定变量t是否等于组成识别器H(x)的弱学习器ht,d(xi,d)的数目T。
在步骤S77中确定变量t不等于弱学习器的数目T的情况下,识别器产生单元27使处理进入步骤S78,将变量t增加1,使处理从步骤S78返回到步骤S73,然后执行相同的处理。
另外,在步骤S77中确定变量t等于弱学习器的数目T的情况下,即在已经产生组成识别器H(x)的T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、......、hT,d(T)(xi,d(T))和T个最小误差维度d(1)、d(2)、......、d(T)的情况下,识别器产生单元27使处理进入步骤S79。
在步骤S79中,识别器产生单元27输出T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、......、hT,d(T)(xi,d(T))和T个可靠性α1、α2、......、αT作为规定识别器H(x)的参数。
另外,在步骤S79中,识别器产生单元27输出T个最小误差维度d(1)、d(2)、......、d(T)作为维度信息,终止识别器产生处理,然后使处理返回到图8中的步骤S7。
通过识别器产生单元27,如上所述,根据基于boosting的统计学习(第一学习处理),获得组成整体特征量的维度特征量中的、表示用 于识别待识别对象的T个维度特征量的维度(最小误差维度)d(1)到d(T)以及使用最小误差维度d(t)的维度特征量执行识别的识别器H(x)。
这样,通过由学习装置1执行的第一学习处理,在产生用作维度信息的最小误差维度d(1)到d(T)和识别器H(x)的情况下,采用共享码本81,该共享码本81共享待识别的不同类别(例如,类别A和B)之间的包括在码本61中的特征点特征量(例如,由标识符Cb30识别的特征点特征量fvec)。
因此,通过第一学习处理,与通过使用针对每一个类别产生的码本产生识别器等等的情况相比较,能够产生用于识别不同的待识别对象的每一个的多个识别器而不会增加包括在码本61(包括在共享码本81中)中的特征点特征量。
另外,通过第一学习处理,包括在共享码本61中的共享信息65保持针对每个类别从模型图像提取的特征点。具体地讲,例如,共享信息651保持从属于类别A的笔记本个人计算机所在的模型图像提取的特征点,共享信息652保持从属于类别B的汽车所在的模型图像提取的特征点。
这里,从属于类别A的笔记本个人计算机所在的模型图像提取的特征点通常与从属于类别B的汽车所在的模型图像提取的特征点不同。
因此,包括在共享码本61中的共享信息65针对每个类别保持不同的特征点。
因此,在第一学习处理的步骤S5中整体特征量计算单元26计算整体特征量的情况下,基于保持在共享信息65中的特征点确定的产生用图像的检索区域所在的位置针对每个待识别的类别而不同。
因此,通过整体特征量计算单元26,例如,与产生用图像上的整个区域划分成网状检索范围并且采用多个类别之间共同的检索范围(位于相同位置的检索范围)的情况相比较,能够以更加准确的方式计算用于产生识别器的整体特征量。
因此,在第一学习处理的步骤S7中,识别器产生单元27能够基于计算的整体特征量以更高精度产生识别器(以及维度信息)。
识别装置181的结构例子
图12示出了使用由学习装置1获得的识别器H(x)和维度信息d(1)、d(2)、......、d(T)执行识别的识别装置181的结构例子。
这个识别装置181使用由学习装置1获得的识别器H(x)和用作维度信息的最小误差维度d(1)到d(T)来识别待处理图像上的被摄体是否是预定的待识别对象,具体地讲,待处理图像上的被摄体是否属于预定类别。
具体地讲,这个识别装置181包括共享码本存储单元201、维度信息存储单元202、识别器存储单元203、特征点提取单元204、特征量提取单元205、整体特征量计算单元206和识别单元207。
共享码本存储单元201预先存储与存储在学习装置1的共享码本存储单元23(图1)中的共享码本81相同的共享码本81。
维度信息存储单元202预先存储关于在学习装置1的识别器产生单元27进行识别的预定对象获得的、作为维度信息的最小误差维度d(1)到d(T)。
识别器存储单元203预先存储关于在学习装置1的识别器产生单元27识别的预定对象获得的、作为识别器H(x)的T个弱学习器h1,d(1)(xi,d(1))、h2,d(2)(xi,d(2))、......、hT,d(T)(xi,d(T))和T个可靠性α1、α2、......、αT。
待处理图像(即关于存在于该图像上的被摄体是否是待识别对象进行识别的对象)被提供给特征点提取单元204。特征点提取单元204按照与学习装置1的特征点提取单元24相同的方式从所提供的待处理图像中提取特征点,并且将它与待处理图像一起提供给特征量提取单元205。
特征量提取单元205按照与学习装置1的特征量提取单元25相同的方式类似地从来自特征点提取单元204的待处理图像提取来自特征点提取单元204的特征点的特征点特征量。
接下来,特征量提取单元205按照与来自特征点提取单元204进行 相关的方式将提取的特征点特征量提供给整体特征量计算单元206。
整体特征量计算单元206按照与学习装置1的整体特征量计算单元26相同的方式,基于与包括在包括在存储在共享码本存储单元201中的共享码本81中的共享信息65(例如,在识别待识别对象是否属于汽车的类别B的情况下的类别B的共享信息652)中的标识符Cbn的每一个对应的特征点特征量,从来自特征量提取单元205的待处理图像的特征点特征量,获得组成待处理图像的整体特征量的维度特征量。
然而,通过整体特征量计算单元206,并非获得组成待处理图像的整体特征量的所有的M个维度特征量,而是选择性获得M个维特征量中的、存储在维度存储单元202中的、用作维度信息的最小误差维度d(1)到d(T)的维度特征量。
注意:通过整体特征量计算单元206,从待处理图像的整体特征量开始,可以仅仅获得用作维度信息的最小误差维度d(1)到d(T)的维度特征量,或者在获得待处理图像的整体特征量以后,可以在整体特征量之中获得最小误差维度d(1)到d(T)的维度特征量。
现在,假定以M个维度特征量为要素(由M个维度特征量构成)并且用作待处理图像的整体特征量的矢量表示为x′。另外,待处理图像的整体特征量x′的M个维度特征量的第m个表示为xm′。
在这种情况下,待处理图像的整体特征量x′的M个维度特征量中的最小误差维度d(1)到d(T)的维度特征量表示为xd(1)′、xd(2)′、......、xd(T)′。
整体特征量计算单元206选择(选择性获得)待处理图像的整体特征量x′的M个维度特征量中的最小误差维度d(1)到d(T)的T个维度特征量xd(1)′到xd(T)′。
识别单元207通过将待处理图像的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′提供给存储在识别器存储单元203中的识别器H(x′)作为输入x′,识别存在于待处理图像上的被摄体是否是预定的待识别对象,并且输出识别结果。
具体地讲,识别单元207使用T个弱学习器h1,d(1)(xd(1)′)、 h2,d(2)(xd(2)′)、......、hT,d(T)(xd(T)′)以及T个可靠性α1、α2、......、αT作为存储在识别器存储单元203中的识别器H(x′),以计算用作识别器H(x′)的下面表达式(7)的函数H(x′)。
这里,在表达式(7)中,例如,当括号内的符号是正时,函数sign()输出+1;当括号内的符号为负时,函数sign()输出-1。因此,表达式(7)中的函数H(x′)的值变成+1或-1。
在表达式(7)中的函数H(x′)的值是+1的情况下,这表示存在于待处理图像上的被摄体是预定的待识别对象的识别结果,在表达式(7)中的函数H(x′)的值是-1的情况下,这表示存在于待处理图像上的被摄体不是预定的待识别对象的识别结果。
识别装置181的操作说明
接下来,将参照图13中的流程图描述由识别装置181执行的识别处理(下文中称作“第一识别处理”)。
例如,在待处理图像被提供给识别装置181的特征点提取单元204的情况下,开始该第一识别处理。
在步骤S91中,特征点提取单元204从提供的待处理图像提取特征点,将它与待处理图像一起提供给特征量提取单元205,然后处理进入到步骤S92。
在步骤S92中,特征量提取单元205类似地从特征点提取单元204提供的待处理图像提取来自特征点提取单元204的特征点的特征点特征量,将它提供给整体特征量计算单元206,然后处理进入步骤S93。
在步骤S93中,整体特征量计算单元206基于存储在共享码本存储单元201中的共享码本81,从由特征量提取单元205提供的待处理图像的特征点特征量中,获得组成待处理图像的整体特征量的维度特征量中的、用作存储在维度信息存储单元202中的维度信息的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
具体地讲,例如,整体特征量计算单元206基于与包括在包括在共享码本81中的共享信息65(例如,在识别待识别对象是否属于汽车的类别B的情况下的共享信息652)中的标识符Cbn的每一个相关的特征点特征量,获得最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
接下来,整体特征量计算单元206将最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′提供给识别单元207,然后处理进入步骤S94。
在步骤S94中,识别单元207通过将待处理图像的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′提供给存储在识别器存储单元203中并且由表达式(7)进行表示的识别器H(x′)作为输入x′,识别待处理图像上的被摄体是否为预定的待识别对象,输出识别结果,然后第一识别处理终止。
如上所述,通过由识别装置181执行的第一识别处理,在在步骤S93中整体特征量计算单元206获得维度特征量xd(1)′到xd(T)′的情况下,采用共享码本81,其中,在待识别的不同类别(例如,类别A和B)之间共享特征点特征量(例如,由标识符Cb30进行识别的特征点特征量fvec)。
因此,例如,通过识别装置181,即使在存在多个待识别的类别的情况下,与针对多个类别的每一个产生不同码本的情况不同,能够防止包括在码本61(包括在共享码本81中)中的特征点特征量的增加。
另外,在第一识别处理的步骤S93中,整体特征量计算单元206按照与第一学习处理的步骤S5中的整体特征量计算单元26相同的方式,计算组成待处理图像的整体特征量的维度特征量的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
因此,通过整体特征量计算单元206,按照与整体特征量计算单元26相同的方式,例如,与待处理图像上的整个区域划分成网状检索范围并且在多个类别之间使用共同检索范围(存在于相同位置的检索范围)的情况相比较,能够以更加准确的方式计算组成待处理图像的整体特征 量的维度特征量的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
因此,在第一识别处理的步骤S94中,通过识别单元207,与在待识别的多个类别之间使用共同检索范围的情况相比较,基于由整体特征量计算单元206计算的维度特征量xd(1)′到xd(T)′,能够以更加准确的方式识别待识别对象。
通过第一实施例,在学习装置1的整体特征量计算单元26处,在计算相关值作为整体特征量的要素(维度特征量)的情况下,关于任何待识别对象在相同尺寸的检索范围内计算产生用图像的整体特征量而不管待识别对象的类型如何,但是期望根据待识别对象将检索范围的尺寸设置为不同尺寸。
具体地讲,例如,能够想到,在已经确定待识别对象的形状(例如,汽车)的情况下,采用相对小的检索范围,并且在没有确定待识别对象的形状(例如,动物)的情况下,采用相对大的检索范围。
另外,在待识别的对象是位于相对高处的屋顶的情况下,能够想到,以特征点为基准在向上方向上将检索范围设置为较大。
这样,如果针对每个待识别对象确定合适的检索范围,则能够以更加准确的方式计算产生用图像的整体特征量,由此能够提高基于整体特征量产生的识别器的识别的精度。
第二实施例
学习装置221的结构例子
接下来,图14描述为包括在共享信息65(包括在共享码本81中)中的每个特征点确定检索范围以计算整体特征量的学习装置221。图14示出了应用本发明的第二实施例的学习装置221的结构例子。
注意:按照与根据第一实施例的图1中的学习装置1相同的方式构建的部分由相同标号进行表示,从而在下文中将省去对它们的描述。
具体地讲,通过学习装置221,新提供范围确定单元241,并且还提供共享码本存储单元242和整体特征量计算单元243以替代共享码本 存储单元23和整体特征量计算单元26,但是按照与学习装置1相同的方式构建其它部分。
产生的图像从输入单元21提供给范围确定单元241。范围确定单元241读出存储在共享码本存储单元242中的共享码本81。
接下来,范围确定单元241针对包括在包括在共享码本81中的共享信息65中的每个特征点执行范围确定处理,用于确定表示将要被检索以获得关于来自输入单元21的产生用图像的相关值的产生用图像上的范围的检索范围。注意:将在以后参照图15详细描述由范围确定单元241执行的范围确定处理。
范围确定单元241基于共享码本81产生共享码本81′,并且将它提供并存储到共享码本存储单元242,该共享码本81′中确定的检索范围与包括在包括在共享码本81中的共享信息65中的特征点相关。
共享码本存储单元242存储来自共享码本产生单元22的共享码本81。另外,共享码本存储单元242存储从范围确定单元241产生并提供的共享码本81′。
注意:可以进行一种设置,其中,共享码本产生单元22没有将产生的共享码本81提供给共享码本存储单元242而是提供给范围确定单元241,并且范围确定单元241基于来自共享码本产生单元22的共享码本81产生共享码本81′,并且将它提供并存储到共享码本存储单元242中。
在这种情况下,共享码本存储单元242仅仅存储来自范围确定单元241的共享码本81′。
按照与整体特征量计算单元26相同的方式,把关注的产生用图像的正确答案标签和从关注的产生用图像提取的特征点特征量提供给整体特征量计算单元243。
整体特征量计算单元243基于存储在共享码本存储单元242中的共享码本81′,从来自特征量提取单元25的特征点特征量计算表示关注的产生用图像的整体特征的整体特征量。注意:将在以后参照图16描述由整体特征量计算单元243执行的处理。
接下来,整体特征量计算单元243将计算的关注的产生用图像的整体特征量与来自特征量提取单元25的关注的产生用图像的正确答案标签一起提供给识别器产生单元27。
由范围确定单元241执行的范围确定处理
图15示出了由范围确定单元241执行的范围确定处理的例子。
图15的左侧示出了包括在共享码本81中的共享信息65和产生用图像2611到2615。注意:在产生用图像2611到2615之中,产生用图像2611到2613表示正像,产生用图像2614和2615表示负像。
图5的中部示出了从产生用图像2611到2615的每一个计算的、用作预定维度特征量的相关值xi(Corr_1到Corr_5),以及产生用图像2611到2615的每一个的正确答案标签yi(yi的值是+1或-1)。
图15的右侧示出了误差地图281,该误差地图281保持误差率Error(由矩形所示),该误差率Error表示对于每个候选范围(即检索范围的候选),产生用图像2611到2615的每一个是正像还是负像的识别错误的程度。
注意:通过误差地图281,水平轴检索(Search)x表示候选范围的水平方向(x方向)的长度,垂直轴检索y表示候选范围的垂直方向(y方向)的长度。
因此,通过误差地图281,例如,多个矩形中的矩形301示出了10×10像素(宽度×高度)的候选范围中的误差率Error。
这里,由于误差率Error是表示产生用图像(正像或负像)的识别错误的程度的误差信息,所以误差率Error与上述误差值匹配。
然而,误差值用于产生识别器和维度信息,并且由于误差率Error用于在多个候选范围之中确定检索范围,所以误差值与误差率Error不同,由此根据本说明书,对误差率Error和误差值进行不同的描述。
范围确定单元241从共享码本存储单元242读出存储在共享码本存储单元242中的共享码本81。
范围确定单元241顺序采用包括在包括在读取的共享码本81中的 共享信息65(例如,共享信息651和652)的每一条中的多个特征点作为关注的特征点。
接下来,范围确定单元241针对作为关注的特征点的检索范围的候选的多个候选范围的每一个计算误差率Error。
具体地讲,例如,检索确定单元241关于产生用图像2611通过与10×10像素(宽度×高度)的候选范围261S1内的产生用图像2611上的与关注的特征点对应的位置261C1的关注的特征点对应的特征点特征量计算相关值xi(=Corr_1)。
范围确定单元241按照与产生用图像2611的情况相同的方式,关于产生用图像2612到2615的每一个,根据与关注的特征点对应的特征点特征量计算相关值xi(=Corr_2到Corr_5)。
接下来,范围确定单元241使用下面的表达式(8),基于关于产生用图像2611到2615的每一个计算的相关值xi(=Corr_1到Corr_5)和产生用图像2611到2615的每一个的正确答案标签yi来计算10×10像素的检索范围内的误差率。
Error=Ew[1((yi≠f(xi))]
...(8)
注意:在表达式(8)中,f(xi)是基于相关值xi识别产生用图像2611到2615的每一个是正像还是负像的函数。
在相关值xi等于或大于阈值Thresh的情况下,函数f(xi)输出值1以表示对应的产生用图像已经被识别为正像,在相关值xi小于阈值Thresh的情况下,函数f(xi)输出值-1以表示对应的产生用图像已经被识别为负像。
注意:阈值Thresh被取为相关值xi的最小值与最大值之间的值,以及取为使正确答案标签yi与对应函数f(xi)的值之间的差最小的值(即使误差率Error变得最小的值)。
具体地讲,例如,把计算的相关值xi(=Corr_1到Corr_5)的每一个作为用作阈值Thresh的候选的候选阈值,并且通过表达式(8)计算误差率Error。接下来,把多个候选阈值中的使正确答案标签yi与函数f(xi)的值之间的差变得最小的候选阈值作为阈值Thresh。
另外,在表达式(8)中,通过函数Ew[1((yi≠f(xi)))],当正确答案标签yi与函数f(xi)的输出值不匹配时,输出值是1,当正确答案标签yi与函数f(xi)的输出值匹配时,输出值是2。
范围确定单元241将使用表达式(8)计算的10×10像素的候选范围内的误差率Error存储在对应的误差地图281中。因此,误差地图保持10×10像素的候选范围(矩形301所示)内的误差率Error。
范围确定单元241按照与计算10×10像素的候选范围内的误差率Error的情况相同的方式计算另一个候选范围(例如,10×20像素或20×30像素的候选范围)内的误差率Error,并且将它保持在误差地图281的对应误差保持区域中。
这样,范围确定单元241针对例如在图15的左侧上所示的每一个不同候选范围产生用于保持误差率Error的误差地图281。
接下来,范围确定单元241确定包括在产生的误差地图281中的多个误差率Error中的、与最小误差率Error对应的候选范围作为关注的特征点的检索范围。
范围确定单元241将确定的检索范围(表示确定的检索范围的信息)与关注的特征点相关。这样,范围确定单元241产生包括含有与检索范围相关的特征点的共享信息65的共享码本81′,并且将它提供并存储在共享码本存储单元242中。
通过整体特征量计算单元243,使用存储在共享码本存储单元242中的共享码本81′计算产生用图像的整体特征量。
由整体特征量计算单元243执行的相关值计算的例子
接下来,图16是用于描述由整体特征量计算单元243执行的处理的例子的图。
注意:通过整体特征量计算单元243,按照与图6相同的方式进行构建的部分由相同标号进行表示,从而将在下文中适当地省去它们的描述。
具体地讲,除了示出共享码本81′以替代共享码本81以外,按照与 图6的情况相同的方式构建整体特征量计算单元243。
整体特征量计算单元243针对与包括在包括在共享码本81′的共享信息652中的标识符Cbn的每一个对应的特征点特征量1211到12110的每一个计算确定的检索范围内的产生用图像141到145的相关值。
具体地讲,例如,整体特征量计算单元243从包括在共享码本81′中的共享信息652读出与与组成产生用图像141的整个区域(整个范围)的特征点特征量121n(n是从1到10的自然数)对应的特征点相关的检索范围。
接下来,整体特征量计算单元243计算特征点特征量121n与存在于读取的产生用图像141的检索范围上的每个特征点的特征点特征量之间的相关值,并且采用通过该计算获得的多个相关值的最大相关值作为关注的特征点特征量121n与产生用图像141之间的最终相关值161n。
整体特征量计算单元243针对产生用图像141关于特征点特征量1211到12110计算相关值1611到16110,并且把以计算的相关值1611到16110为要素的矢量作为产生用图像141的整体特征量。
整体特征量计算单元243按照与计算产生用图像141的整体特征量的情况相同的方式计算产生用图像142到145的每一个的整体特征量。
整体特征量243将多个产生用图像141到145的每一个的整体特征量提供给识别器产生单元27。
学习装置221的操作说明
接下来,将参照图17中的流程图描述由学习装置221执行的学习操作(下文中称作第二学习处理)。
在学习用图像被提供给输入单元21的情况下,开始该第二学习处理。此时,输入单元21将要提供用作学习的图像的产生用图像、原始图像和模型图像中的原始图像和模型图像提供给共享码本产生单元22,并且将产生用图像提供给特征点提取单元24和范围确定单元241。
在步骤S111中,执行与图8中的步骤S1相同的处理。
在步骤S112中,范围确定单元241读取存储在共享码本存储单元 242中的共享码本81。
接下来,范围确定单元241针对包括在包括在共享码本81中的共享信息65中的每个特征点,执行范围确定处理,以确定表示进行检索的产生用图像上的范围的检索范围,以获得关于来自输入单元21的产生用图像的相关值。注意:将在以后参照图18中的流程图详细描述由范围确定单元241执行的范围确定处理。
在步骤S113到S115中,执行的处理与图8中的步骤S2到S4中的处理相同。
在步骤S116中,整体特征量计算单元243基于存储在共享码本存储单元242中的共享码本81′,从来自特征量提取单元25的特征点特征量,计算表示关注的产生用图像的整体特征的整体特征量。
具体地讲,例如,如图16所述,整体特征量计算单元243基于与包括在包括在共享码本81′中的共享信息65(例如,产生识别待识别的对象是否属于汽车的类别B的识别器和维信息的情况下的共享信息652)中的每个特征点相关的检索范围,计算关注的产生用图像的整体特征量和与包括在共享信息65中的标识符Cbn的每一个相关的特征点特征量。
接下来,整体特征量计算单元243将计算的关注的产生用图像的整体特征量与来自特征量提取单元25的关注的产生用图像的正确答案标签一起提供给识别器产生单元27。
在步骤S117中,特征点提取单元24确定是否来自输入单元21的所有的产生用图像都已经作为关注的产生用图像。接下来,在确定来自输入单元21的所有的产生用图像还没有都作为关注的产生用图像的情况下,特征点提取单元24使处理返回到步骤S113。
在步骤S113中,特征点提取单元24采用来自输入单元21的多个产生用图像中的还没有被作为关注的产生用图像的产生用图像作为新的关注的产生用图像,处理进入到步骤S114,然后执行相同处理。
另外,在步骤S117中确定来自输入单元21的所有的多个产生用图像都已经被作为关注的产生用图像的情况下,特征点提取单元24使处 理进入到步骤S118。
在步骤S118中,执行与步骤S7相同的处理。到此,第二学习处理结束。
范围确定单元241的操作说明
接下来,将参照图18中的流程图描述在图17的步骤S112中由范围确定单元241执行的范围确定处理。
在步骤S131中,范围确定单元241从共享码本存储单元242读取存储在共享码本存储单元242中的共享码本81。
接下来,范围确定单元241顺序采用包括在包括在读取的共享码本81中的共享信息65(例如,共享信息651或共享信息652)的每一条中的多个特征点作为关注的特征点。
在步骤S132中,范围确定单元241基于来自输入单元21的多个产生用图像(例如,产生用图像2611到2615)指定多个候选范围(即,关注的特征点中检索范围的候选)之一。
具体地讲,例如,范围确定单元241针对多个产生用图像指定10×10像素(宽度×高度)的候选范围作为与关注的特征点对应的候选范围。
在步骤S133中,范围确定单元241计算存在于多个产生用图像的每一个的指定的候选范围上的特征点的特征点特征量以及与关注的特征点对应的特征点之间的相关值xi。
在步骤S134中,范围确定单元241基于计算的关于多个产生用图像的相关值xi和多个产生用图像的正确答案标签yi,使用表达式(8)计算在步骤S132的最后处理中指定的检索范围内的误差率。
接下来,范围确定单元241将使用表达式(8)计算的10×10像素的候选范围内的误差率Error保持在误差地图281的对应误差保持区域(例如,误差保持区域301)内。
在步骤S135中,范围确定单元241确定是否已经指定了所有的多个候选范围,并且在还没有指定所有的多个候选范围的情况下,处理返 回到步骤S132。
接下来,在步骤S132中,范围确定单元241指定多个候选范围中的还没有进行指定的候选范围,处理进入到步骤S133,然后执行相同的处理。
另外,在步骤S135中确定已经指定了所有的多个候选范围的情况下,范围确定单元241使处理进入到步骤S136。
在步骤S136中,范围确定单元241确定是否已经采用包括在包括在共享码本81中的共享信息65的每一条中的所有的多个特征点作为关注的特征点,并且在确定还没有采用所有的多个特征点作为关注的特征点的情况下,处理返回到步骤S131。
接下来,在步骤S131中,范围确定单元241采用包括在共享信息65的每一条中的多个特征点中的、还没有被采用作为关注的特征点的特征点作为新的关注的特征点,处理进入步骤S132,然后执行相同处理。
另外,在步骤S136中确定已经采用包括在包括在共享码本81中的共享信息65的每一条中的所有的多个特征点作为关注的特征点的情况下,范围确定单元241使处理返回到图17中的步骤S112,进入到步骤S113,并且在步骤S113中,执行参照图17中的流程图描述的处理。
如上所述,通过由学习装置221执行的第二学习处理,针对包括在包括在共享码本81′中的共享信息65(例如,共享信息652)中的每个特征点,使产生用图像的识别错误的误差率Error变得最小的的范围的尺寸被确定为检索范围,并且使用确定的检索范围计算组成产生用图像的整体特征量的维度特征量。
因此,通过第二学习处理,与使用针对包括在共享信息65中的每个特征点的相同尺寸的检索范围计算组成产生用图像的整体特征量的维度特征量的情况相比较,能够以更加准确的方式计算整体特征量。因此,能够产生能够使用计算的整体特征量以更加准确的方式识别待识别对象的识别器。
识别装置321的结构例子
图19示出了基于通过学习装置221的学习获得的识别器和维度信息执行存在于待处理图像上的被摄体的识别的识别装置321的结构例子。
这个识别装置321使用在范围确定单元241确定的检索范围以及由学习装置221(图14)获得的识别器H(x)以及用作维度信息的最小误差维度d(1)到d(T)来识别存在于待处理图像上的被摄体是否是待识别对象。
注意:通过识别装置321,按照与图12中的识别装置181相同的方式构建的部分由相同标号进行表示,从而在下文中省去它们的描述。
具体地讲,除了提供共享码本存储单元341和整体特征量计算单元342以替代共享码本存储单元201和整体特征量计算单元206以外,按照与图12中的识别装置181相同的方式构建图19中的识别装置321。
共享码本存储单元341预先存储与存储在学习装置221的共享码本存储单元242(图14)中的共享码本81′相同的共享码本81′。
待处理图像的特征点特征量从特征量提取单元205提供给整体特征量计算单元342。
整体特征量计算单元342按照与学习装置221的整体特征量计算单元243相同的方式,基于存储在共享码本存储单元341中的共享码本81′,从来自特征量提取单元205的待处理图像的特征点特征量获得组成该待处理图像的整体特征量的维度特征量。
识别装置321的操作说明
接下来,参照图20中的流程图描述由识别装置321执行的识别处理(下文中称作“第二识别处理”)。
例如,在待处理图像被提供给特征点提取单元204的情况下,开始该第二识别处理。
在步骤S151和S152中,分别执行与图13中的步骤S91和S92相同的处理。
在步骤S153中,整体特征量计算单元342基于存储在共享码本存储单元341中的共享码本81′,从来自特征量提取单元205的待处理图像的特征点特征量获得组成该待处理图像的整体特征量的维度特征量中的、用作存储在维度信息存储单元202中的维度信息的最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
具体地讲,例如,整体特征量计算单元342基于与包括在包括在共享码本81′中的共享信息65(例如,识别待识别对象是否属于汽车的类别B的情况下的共享信息652)中的特征点的每一个相关的检索范围和与包括在共享信息65中的标识符Cbn的每一个相关的特征点特征量,获得最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
接下来,整体特征量计算单元342将最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′提供给识别单元207,然后处理进入步骤S154。
在步骤S154中,执行与图13中的步骤S94相同的处理。至此,第二识别处理结束。
如上所述,通过第二识别处理,针对包括在包括在共享码本81′中的共享信息65(例如,共享信息652)中的每个特征点,使产生用图像的识别错误的误差率Error变得最小的范围的尺寸被确定为检索范围,并且使用确定的检索范围获得最小误差维度d(1)到d(T)的维度特征量xd(1)′到xd(T)′。
因此,通过第二识别处理,与针对包括在共享信息65中的每个特征点使用相同尺寸的检索范围获得维度特征量xd(1)′到xd(T)′的情况相比较,能够以更加准确的方式识别待识别对象。
修改例
根据第一实施例,整体特征量计算单元26已经以相关值作为维度特征量计算整体特征量,但是整体特征量不限于此,此外,例如,产生用图像的柱状图可以被计算作为整体特征量。
在整体特征量计算单元26计算产生用图像的柱状图作为整体特征量的情况下,例如,采用待识别对象所属的类别的K个特征点特征量 的值作为阶数。
接下来,整体特征量计算单元26计算产生用图像的柱状图以使得将阶数的频率(其中,关于产生用图像中的关注的特征点的特征点特征量的值的差绝对值最小)增加1。
根据第一实施例,作为图7中的识别器产生单元27遵照的算法(即,选择维度特征量并且产生识别器),采用了Boosting算法,但是算法并不限于此。
具体地讲,只要识别器产生单元27能够选择维度特征量并且还能够产生识别器,则识别器产生单元27就能够遵照Boosting算法以外的任何类型的算法。
另外,根据第一实施例,进行了一种设置,其中,在学习装置1,选择了用于识别待识别对象的类别的维度信息并且还产生识别器,并且识别装置181识别待识别对象是否是属于预定类别的待识别对象,但是该设置不限于此。
具体地讲,例如,可以进行一种设置,其中,学习装置1选择用于识别待识别对象是否是预定对象自身的维度信息并且还产生识别器,并且识别装置181识别待识别对象是否是预定对象自身。在这种情况下,不是针对每个类别而是针对每个对象产生共享码本81中的共享信息65。根据第二实施例,学习装置221和识别装置321是这样设置的。
另外,根据第一实施例,学习装置1和识别装置181已经被构建为分开的装置,但是学习装置1和识别装置181可以构建为单个装置。根据第二实施例,学习装置221和识别装置321是这样设置的。
根据第二实施例,通过针对包括在包括在共享码本81中的共享信息65中的每个特征点确定检索范围来产生共享码本81′,但是确定检索范围的对象不限于此。
具体地讲,例如,检索范围必须被确定为将确定检索范围的对象,并且可以采用任何类型的对象只要可以按照与共享码本81相同的方式采用这个对象即可。
顺便说一句,既能够通过专用硬件又能够通过软件执行以上的一系 列处理。在通过软件执行该一些列处理的情况下,组成该软件的程序安装到内置计算机或者例如通过从记录介质安装各种程序等等能够执行各种功能的通用计算机。
计算机的结构例子
接下来,图21示出了通过程序执行以上一系列处理的个人计算机的结构例子。
CPU(中央处理单元)361根据存储在ROM(只读存储器)362或存储单元368中的程序执行各种处理。由CPU 361执行的程序、数据等等适当地存储在RAM(随机访问存储器)363中。这些CPU 361、ROM 362和RAM 363通过总线364进行相互连接。
另外,输入/输出接口365经由总线364连接到CPU 361。由键盘、鼠标、麦克风等等组成的输入单元366和由显示器、扬声器等等组成的输出单元367连接到输入/输出接口365。CPU 361响应于从输入单元366输入的命令执行各种类型的处理。接下来,CPU 361将处理结果输出到输出单元367。
连接到输入/输出接口365的存储单元368例如由硬盘组成并且存储由CPU 361执行的程序或者各种类型的数据。通信单元369经由网络(例如,互联网、局域网)与外部装置进行通信。
或者,可以进行一种设置,其中,经由通信单元369获得程序并且存储在存储单元368中。
在可移动介质371(例如,磁盘、光盘或半导体)安装在驱动器370上的情况下,连接到输入/输出接口365的驱动器370驱动该介质,以获得记录在该驱动器370上的程序、数据等等。获得的程序或数据适当地传输并存储到存储单元368中。
如图21所示,用于记录(存储)安装到计算机中并且通过计算机使得处于可执行状态的程序的记录介质由可移动介质371、或者临时或永久存储程序的ROM 362、或者组成存储单元368的硬盘等等构成,其中,该可移动介质371由磁盘(包括软盘)、光盘(CD-ROM(紧凑 盘只读存储器))、DVD(数字多功能盘)、磁光盘(包括MD(迷你盘))、半导体存储器等等组成。通过利用有线或无线通信介质(例如,局域网、互联网或数字卫星广播)经由作为接口的通信单元369(例如路由器或调制解调器)把程序记录到记录介质。
注意:根据本说明书,描述以上一系列处理的步骤不仅包括按照时序沿描述的次序执行的处理,还包括并非按照时序进行处理而是并行或独立进行执行的处理。
本申请包含与在于2010年1月27日提交到日本专利局的日本优先权专利申请JP 2010-015088中公开的主题有关的主题,该日本优先权专利申请的全部内容以引用方式并入本文。
本领域技术人员应该明白,可以根据设计要求和其它因素构思各种修改、组合、子组合和替换,只要它们位于权利要求或它们的等同物的范围内即可。
Claims (14)
1.一种学习装置,包括:
特征点提取部件,被构造为从多个产生用图像的每一个提取特征点,其中所述多个产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述多个产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;
特征点特征量提取部件,被构造为从所述产生用图像提取表示所述特征点的特征的特征点特征量;
整体特征量计算部件,被构造为基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;以及
识别器产生部件,被构造为基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
2.如权利要求1所述的学习装置,还包括:
范围确定部件,被构造为基于所述多个产生用图像确定用于选择用于计算的所述特征点特征量的所述特征点选择范围,所述计算用于计算作为由多个维度矢量表示的所述整体特征量的每个维度元素的多个维度特征量中的每个维度特征量;
存储部件,被构造为以相关的方式存储将用于关于所述特征点特征量的所述计算的计算用特征量和由所述范围确定部件确定的所述特征点选择范围;
其中,所述整体特征量计算部件通过所述计算用特征量和存在于与所述计算用特征量相关的所述产生用图像的所述特征点选择范围上的特征点的特征点特征量之间的所述计算,来计算组成所述整体特征量的多个维度特征量中的每个维度特征量。
3.如权利要求2所述的学习装置,其中所述范围确定部件设置作为所述特征点选择范围的候选的多个候选范围,并基于包括误差信息的误差地图确定所述误差信息变为最小值的候选范围作为所述特征点选择范围,所述误差信息针对所述候选范围中的每个候选范围表示关于所述多个产生用图像是所述正像还是所述负像的错误识别的程度。
4.如权利要求3所述的学习装置,其中所述范围确定部件基于通过存在于所述候选范围上的特征点的特征点特征量和所述计算用特征量之间的所述计算而计算的所述维度特征量,针对所述候选范围中的每个候选范围计算所述误差信息,并基于包括所述计算的误差信息的所述误差地图确定所述特征点选择范围。
5.如权利要求2所述的学习装置,其中所述整体特征量计算部件计算表示所述计算用特征量和存在于检索范围上的特征点的特征点特征量之间的相关性的相关值,作为组成所述整体特征量的维度特征量。
6.如权利要求1所述的学习装置,其中所述识别器产生部件产生所述识别器和维度信息,所述识别器使用多个维度特征量中的、减小表示所述正像和所述负像的识别错误的程度的误差信息的所述维度特征量来执行识别,所述维度特征量是由多个维度矢量表示的所述整体特征量的每个维度元素,所述维度信息表示减小所述误差信息的所述维度特征量的维度。
7.一种学习用于识别预定的待识别对象的识别器的学习装置的学习方法,所述学习装置包括:
特征点提取部件,
特征点特征量提取部件,
整体特征量计算部件,以及
识别器产生部件,
所述学习方法包括如下步骤:
通过所述特征点提取部件,从多个产生用图像的每个提取特征点,所述产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成;
通过所述特征点特征量提取部件,从所述产生用图像提取表示所述特征点的特征的特征点特征量;
通过所述整体特征量计算部件,基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量;以及
通过所述识别器产生部件,基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器。
8.一种识别装置,包括:
特征点提取部件,被构造为从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;
特征点特征量提取部件,被构造为从所述待处理图像提取表示所述特征点的特征的特征点特征量;
整体特征量计算部件,被构造为基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别每个不同的待识别对象的识别器;以及
识别部件,被构造为基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
9.如权利要求8所述的识别装置,还包括:
存储部件,被构造为以相关的方式存储用于计算的计算用特征量和所述特征点选择范围,所述计算用于计算作为由多个维度矢量表示的所述整体特征量的每个维度元素的多个维度特征量中的每个维度特征量,所述特征点选择范围用于选择将用于关于所述计算用特征量的所述计算的所述特征点特征量;
其中所述整体特征量计算部件通过所述计算用特征量和存在于与所述计算用特征量相关的所述待处理图像的所述特征点选择范围上的特征点的特征点特征量之间的所述计算,计算组成所述整体特征量的多个维度特征量中的每个维度特征量。
10.如权利要求9所述的识别装置,其中所述整体特征量计算部件执行计算表示所述计算用特征量和存在于检索范围上的特征点的所述特征点特征量之间的相关性的相关值作为组成所述整体特征量的维度特征量的所述计算。
11.如权利要求8所述的识别装置,其中所述整体特征量计算部件基于存在于所述特征点选择范围上的特征点的特征点特征量,计算由多个维度信息组成的表示所述待处理图像的整体的特征的整体特征量;
并且其中所述识别部件通过把组成所述整体特征量的所述多个维度特征量中的预定的维度特征量提供给所述识别器作为输入,来识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
12.如权利要求11所述的识别装置,其中,所述识别部件将组成所述整体特征量的所述多个维度信息中的、维度信息所表示的维度的维度特征量提供给用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器作为输入,从而识别在所述待处理图像上出现的被摄体是否是预定的待识别对象;
并且其中,所述识别器使用表示所述整体特征量的所述多个维度特征量中的、减小误差信息的所述维度特征量执行识别,所述误差信息表示对于是所述待识别对象存在于图像上的正像还是所述待识别对象不存在于图像上的负像的识别错误的程度;
并且其中,所述维度信息表示减小所述误差信息的所述维度特征量的维度。
13.一种用于识别存在于图像上的被摄体是否是预定的待识别对象的识别装置的识别方法,所述识别装置包括:
特征点提取部件,
特征点特征量提取部件,
整体特征量计算部件,以及
识别部件,
所述识别方法包括下述步骤:
利用特征点提取部件,从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象;
利用特征点特征量提取部件,从所述待处理图像提取表示所述特征点的特征的特征点特征量;
利用整体特征量计算部件,基于存在于所述待处理图像上的整个范围中的、基于用于学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,所述学习用于产生识别每个不同的待识别对象的识别器;
利用识别部件,基于用于识别存在于图像上的被摄体是否是预定的待识别对象的识别器和所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
14.一种信息处理系统,包括:
学习装置,被构造为学习用于识别预定的待识别对象的识别器;和
识别装置,被构造为使用所述识别器识别存在于图像上的被摄体是否是预定的待识别对象;
其中所述学习装置包括:
第一特征点提取部件,被构造为从多个产生用图像的每一个提取特征点,其中所述多个产生用图像用于产生识别存在于图像上的被摄体是否是预定的待识别对象的识别器,并且所述多个产生用图像由存在所述待识别对象的正像和不存在所述待识别对象的负像组成,
第一特征点特征量提取部件,被构造为从所述产生用图像提取表示所述特征点的特征的特征点特征量,
第一整体特征量计算部件,被构造为基于存在于所述产生用图像上的整个范围中的、基于所述多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述产生用图像的整体的特征的整体特征量,以及
识别器产生部件,被构造为基于所述产生用图像的所述整体特征量和表示所述产生用图像是所述正像还是所述负像的正确答案标签产生所述识别器;
并且其中所述识别装置包括:
第二特征点提取部件,被构造为从待处理图像提取特征点,所述待处理图像用作用于识别存在于图像上的被摄体是否是预定的待识别对象的处理对象,
第二特征点特征量提取部件,被构造为从所述待处理图像提取表示所述特征点的特征的特征点特征量,
第二整体特征量计算部件,被构造为基于存在于所述待处理图像上的整个范围中的、基于用于所述学习装置的学习的多个产生用图像确定的特征点选择范围上的特征点的特征点特征量,计算表示所述待处理图像的整体的特征的整体特征量,以及
识别部件,被构造为基于所述识别器产生部件所产生的所述识别器和所述待处理图像的所述整体特征量,识别存在于所述待处理图像上的被摄体是否是预定的待识别对象。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-015088 | 2010-01-21 | ||
JP2010015088A JP2011154501A (ja) | 2010-01-27 | 2010-01-27 | 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102136073A CN102136073A (zh) | 2011-07-27 |
CN102136073B true CN102136073B (zh) | 2013-10-16 |
Family
ID=44543920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100013332A Expired - Fee Related CN102136073B (zh) | 2010-01-27 | 2011-01-06 | 学习装置及方法、识别装置及方法、和信息处理系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8275206B2 (zh) |
JP (1) | JP2011154501A (zh) |
CN (1) | CN102136073B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101675785B1 (ko) * | 2010-11-15 | 2016-11-14 | 삼성전자주식회사 | 특징점을 이용한 영상 검색 방법 및 상기 방법을 수행하는 장치 |
SG182922A1 (en) * | 2011-01-18 | 2012-08-30 | Agency Science Tech & Res | A method and a device for merging a plurality of digital pictures |
JP5733158B2 (ja) * | 2011-11-02 | 2015-06-10 | 富士通株式会社 | 認識支援装置、認識支援方法、およびプログラム |
JP6016242B2 (ja) * | 2013-03-29 | 2016-10-26 | Kddi株式会社 | 視点推定装置及びその分類器学習方法 |
JP6168876B2 (ja) * | 2013-06-24 | 2017-07-26 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP6399651B2 (ja) * | 2014-10-15 | 2018-10-03 | Kddi株式会社 | 登録装置及び検索装置並びに方法及びプログラム |
JP2016162072A (ja) | 2015-02-27 | 2016-09-05 | 株式会社東芝 | 特徴量抽出装置 |
CN104616035B (zh) * | 2015-03-12 | 2018-01-30 | 哈尔滨工业大学 | 基于图像全局特征及SURF算法的Visual Map快速匹配方法 |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
WO2017199149A1 (en) * | 2016-05-16 | 2017-11-23 | Numeri Ltd. | A new pyramid algorithm for video compression and video analysis |
CN106251354B (zh) * | 2016-07-28 | 2018-11-06 | 河北工业大学 | 用于螺钉自动装配的机器视觉定位方法 |
CN110738208A (zh) * | 2019-10-08 | 2020-01-31 | 创新奇智(重庆)科技有限公司 | 一种高效的尺度规范化目标检测训练方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6393151B1 (en) * | 1978-10-13 | 2002-05-21 | Agency Of Industrial Science And Technology | Pattern reading system |
US6925203B1 (en) * | 1999-03-09 | 2005-08-02 | Canon Kabushiki Kaisha | Position detection apparatus and exposure apparatus |
US6993184B2 (en) * | 1995-11-01 | 2006-01-31 | Canon Kabushiki Kaisha | Object extraction method, and image sensing apparatus using the method |
CN101196992A (zh) * | 2006-12-08 | 2008-06-11 | 索尼株式会社 | 信息处理装置和方法、识别装置和信息识别方法及程序 |
CN101458764A (zh) * | 2007-12-07 | 2009-06-17 | 索尼株式会社 | 学习设备、学习方法、识别设备、识别方法和程序 |
CN101814135A (zh) * | 2009-02-19 | 2010-08-25 | 索尼公司 | 学习设备、学习方法、识别设备、识别方法和程序 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532915B2 (ja) * | 2004-01-29 | 2010-08-25 | キヤノン株式会社 | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
JP4596253B2 (ja) * | 2005-05-31 | 2010-12-08 | ソニー株式会社 | 画像処理システム、学習装置および方法、画像認識装置および方法、記録媒体、並びにプログラム |
JP4459137B2 (ja) * | 2005-09-07 | 2010-04-28 | 株式会社東芝 | 画像処理装置及びその方法 |
JP4618098B2 (ja) | 2005-11-02 | 2011-01-26 | ソニー株式会社 | 画像処理システム |
JP4093273B2 (ja) * | 2006-03-13 | 2008-06-04 | オムロン株式会社 | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム |
-
2010
- 2010-01-27 JP JP2010015088A patent/JP2011154501A/ja not_active Withdrawn
- 2010-12-08 US US12/963,031 patent/US8275206B2/en not_active Expired - Fee Related
-
2011
- 2011-01-06 CN CN2011100013332A patent/CN102136073B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6393151B1 (en) * | 1978-10-13 | 2002-05-21 | Agency Of Industrial Science And Technology | Pattern reading system |
US6993184B2 (en) * | 1995-11-01 | 2006-01-31 | Canon Kabushiki Kaisha | Object extraction method, and image sensing apparatus using the method |
US6925203B1 (en) * | 1999-03-09 | 2005-08-02 | Canon Kabushiki Kaisha | Position detection apparatus and exposure apparatus |
CN101196992A (zh) * | 2006-12-08 | 2008-06-11 | 索尼株式会社 | 信息处理装置和方法、识别装置和信息识别方法及程序 |
CN101458764A (zh) * | 2007-12-07 | 2009-06-17 | 索尼株式会社 | 学习设备、学习方法、识别设备、识别方法和程序 |
CN101814135A (zh) * | 2009-02-19 | 2010-08-25 | 索尼公司 | 学习设备、学习方法、识别设备、识别方法和程序 |
Non-Patent Citations (1)
Title |
---|
JP特开2006-338082A 2006.12.14 |
Also Published As
Publication number | Publication date |
---|---|
CN102136073A (zh) | 2011-07-27 |
US20110182516A1 (en) | 2011-07-28 |
JP2011154501A (ja) | 2011-08-11 |
US8275206B2 (en) | 2012-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102136073B (zh) | 学习装置及方法、识别装置及方法、和信息处理系统 | |
Lin et al. | SCN: Switchable context network for semantic segmentation of RGB-D images | |
CN112418074B (zh) | 一种基于自注意力的耦合姿态人脸识别方法 | |
He et al. | Learning and incorporating top-down cues in image segmentation | |
US6021383A (en) | Method and apparatus for clustering data | |
CN104680144B (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
CN106503727B (zh) | 一种高光谱图像分类的方法及装置 | |
CN102034107B (zh) | 基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法 | |
CN105574548A (zh) | 一种基于稀疏和低秩表示图的高光谱数据降维方法 | |
CN111126488A (zh) | 一种基于双重注意力的图像识别方法 | |
CN110674685B (zh) | 一种基于边缘信息增强的人体解析分割模型及方法 | |
CN102147868A (zh) | 学习装置、学习方法、识别装置、识别方法和程序 | |
Capobianco et al. | Target detection with semisupervised kernel orthogonal subspace projection | |
CN114332544B (zh) | 一种基于图像块评分的细粒度图像分类方法和装置 | |
CN107430678A (zh) | 使用高斯接收场特征的低成本面部识别 | |
CN111738090A (zh) | 行人重识别模型训练方法、装置及行人重识别方法、装置 | |
CN110222780A (zh) | 物体检测方法、装置、设备和存储介质 | |
CN114998602B (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
CN115343676B (zh) | 密封电子设备内部多余物定位技术的特征优化方法 | |
Nguyen et al. | Satellite image classification using convolutional learning | |
CN110889865A (zh) | 一种基于局部加权稀疏特征选择的视频目标跟踪方法 | |
US20150356350A1 (en) | unsupervised non-parametric multi-component image segmentation method | |
CN111815582B (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
CN111860823A (zh) | 神经网络训练、图像处理方法及装置、设备及存储介质 | |
CN104809471A (zh) | 一种基于空间光谱信息的高光谱图像残差融合分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131016 Termination date: 20160106 |