CN101667263A - 学习设备、学习方法、识别设备、识别方法和程序 - Google Patents

学习设备、学习方法、识别设备、识别方法和程序 Download PDF

Info

Publication number
CN101667263A
CN101667263A CN200910168657A CN200910168657A CN101667263A CN 101667263 A CN101667263 A CN 101667263A CN 200910168657 A CN200910168657 A CN 200910168657A CN 200910168657 A CN200910168657 A CN 200910168657A CN 101667263 A CN101667263 A CN 101667263A
Authority
CN
China
Prior art keywords
learner
feature
image
training images
interim
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910168657A
Other languages
English (en)
Inventor
横野顺
长谷川雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101667263A publication Critical patent/CN101667263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了学习设备、学习方法、识别设备、识别方法和程序。该学习设备包括特征提取器、临时学习器生成器和学习器生成器,特征提取器用于提取多个训练图像中的特征点处的特征,该多个训练图像包括含有目标对象的训练图像和不包含目标对象的训练图像,临时学习器生成器生成用于从图像中检测目标对象的临时学习器,其中临时学习器是通过利用训练图像和从训练图像获得的特征的统计学习而由多个弱学习器形成的,学习器生成器通过将该特征代入到由临时学习器的一部分弱学习器构成的特征函数中以便获得新特征并且利用新特征和训练图像来执行统计学习,而生成由弱学习器中的至少一个形成并且从图像中检测目标对象的最终学习器。

Description

学习设备、学习方法、识别设备、识别方法和程序
技术领域
本发明涉及学习设备、学习方法、识别设备、识别方法和程序,具体而言,涉及能够可靠地从图像中检测出目标对象的学习方法、识别设备、识别方法和程序。
背景技术
基于Boosting算法的统计学习作为一种有效的机器学习方法已被广泛地用在多种图像识别任务中。例如,作为这种机器学习方法之一,已经广泛地使用被称为“AdaBoost”的统计机器学习方法(例如参见Y.Freund,R.Schapire,″Experiments with a new boostingalgorithm″,IEEE Int.Conf.on Machine Learning,pp.148-156,1996)。
在AdaBoost方法中,包含要检测的目标对象的图像的训练图像和不包含目标对象的图像的训练图像被用作样本,以便生成弱学习器。多个弱学习器被组合以便生成强学习器。利用这种强学习器,可以从期望图像中检测出目标对象。
发明内容
然而,在上述技术中,具体而言如果用于机器学习的样本(训练图像)的数目很小,则发生过拟合(over-fitting)。因此,难以增大从图像中检测目标对象的准确性。
也就是说,通过过拟合获得的学习器可以准确地检测与用作样本的训练图像中包含的目标对象相似的目标对象。然而,与训练图像中包含的目标对象不是很相似的目标对象(下文中称为“相异目标对象”)的检测准确性较低。这里所用的术语“对象的相似度”指当检测对象时使用的特征的相似度。特征的例子包括目标对象的形状、图案和颜色以及观看图像中的目标对象的方向。另外,术语“相异目标对象”指与训练图像中的目标对象不是很相似的要检测的目标对象。
因此,当要处理的图像包含相异目标对象时,尽管图像包含要检测的目标对象,却无法检测出相异目标对象。因而,发生检测错误。
因此,本发明提供了一种能够可靠地从图像中检测出目标对象的学习设备、学习方法、识别设备、识别方法和程序。
根据本发明的一个实施例,一种学习设备包括:特征提取装置,用于提取多个训练图像中的特征点处的特征,该多个训练图像包括含有要识别的目标对象的训练图像和不含有目标对象的训练图像;临时学习器生成装置,用于生成用于从图像中检测目标对象的临时学习器,该临时学习器是通过利用多个训练图像和从多个训练图像获得的特征的统计学习而由多个弱学习器形成的;以及学习器生成装置,用于通过将所述特征代入到由形成临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用新特征和多个训练图像的统计学习,而生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器。
学习器生成装置可以使用形成临时学习器的多个弱学习器中的、任意数目的弱学习器的线性和来作为特征函数。
学习器生成装置可以利用多个相应的特征函数来生成任意数目的多个特征,并且构成每个特征函数的弱学习器的数目可以不同。
根据本发明的另一个实施例,一种学习方法或程序包括以下步骤:提取多个训练图像中的特征点处的特征,该多个训练图像包括含有要识别的目标对象的训练图像和不含有目标对象的训练图像;生成用于从图像中检测目标对象的临时学习器,该临时学习器是通过利用多个训练图像和从多个训练图像获得的特征的统计学习而由多个弱学习器形成的;以及通过将所述特征代入到由形成临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用新特征和多个训练图像的统计学习,生成由弱学习器中的至少一个形成并且从图像中检测目标对象的最终学习器。
根据上述实施例的学习设备、学习方法和程序,从多个训练图像中提取特征点处的特征,该多个训练图像包括含有要识别的目标对象的训练图像和不含有目标对象的训练图像。生成用于从图像中检测目标对象的临时学习器,其中该临时学习器是通过利用多个训练图像和从多个训练图像获得的特征的统计学习而由多个弱学习器形成的,并且通过将所述特征代入到由形成临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用新特征和多个训练图像的统计学习,来生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器。
根据本发明的另一个实施例,一种识别设备包括:特征提取装置,用于提取输入图像中的特征点处的特征;以及检测装置,通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从输入图像中检测出目标对象,其中该学习器是利用多个训练图像生成的,该多个训练图像包括含有要识别的目标对象的训练图像和不含有目标对象的训练图像。该学习器是通过以下方式形成的:通过利用多个训练图像和多个训练图像的特征点处的特征的统计学习来生成由多个弱学习器形成并且从图像中检测目标对象的临时学习器,并且利用多个训练图像和新特征执行统计学习,该新特征是通过将从多个训练图像获得的特征代入到由形成临时学习器的弱学习器中的至少一个构成的特征函数中而获得的。
根据本发明的另一个实施例,一种识别方法或程序包括以下步骤:提取输入图像中的特征点处的特征;以及通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从输入图像中检测目标对象,其中该学习器是利用多个训练图像生成的,该多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像。该学习器是通过以下方式形成的:生成用于从图像中检测出目标对象的临时学习器,并且利用多个训练图像和新特征来执行统计学习,其中该临时学习器是通过利用多个训练图像和多个训练图像的特征点处的特征的统计学习而由多个弱学习器形成的,并且该新特征是通过将从多个训练图像获得的特征代入到由临时学习器的弱学习器中的至少一个构成的特征函数中而获得的。
根据上述实施例的识别设备、识别方法和程序,提取输入图像中的特征点处的特征。通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从输入图像中检测出目标对象,其中该学习器是利用多个训练图像生成的,该多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像。
根据该学习设备、学习方法和程序,可以提供能够可靠地从图像中检测目标对象的学习器。
根据该识别设备、识别方法和程序,可以可靠地检测图像中的目标对象。
附图说明
图1是根据本发明一个实施例的人类识别系统的示例性配置的框图;
图2是详细图示轮廓特征计算单元的示例性配置的框图;
图3是详细图示服装学习器生成单元的示例性配置的框图;
图4是详细图示整合学习器生成单元的示例性配置的框图;
图5是示例性的学习处理的流程图;
图6是图示服装特征点的提取的示意图;
图7是图示服装特征的示意图;
图8A和8B是图示轮廓特征点的提取的示意图;
图9是示例性的服装学习器生成处理的流程图;
图10是图示对于每一对特征点的服装特征的采样操作的示意图;
图11是图示弱学习器的设置的示意图;
图12是图示一对服装特征点的示意图;
图13是示例性的轮廓特征计算处理的流程图;
图14是示例性的整合学习器生成处理的流程图;
图15是图示特征函数的生成的示意图;
图16是图示新定义的特征的示意图;
图17是图示新定义的特征的示意图;
图18是人类检测处理的流程图;以及
图19是计算机的示例性配置的框图。
具体实施方式
下面参考附图描述本发明的各种示例性实施例。
图1是根据本发明一个实施例的人类识别系统的示例性配置的框图。人类识别系统从输入图像中检测(识别)作为目标对象的人类图像区域。人类识别系统包括学习设备11、学习器记录单元12和识别设备13。
学习设备11利用基于输入的训练图像的统计学习(机器学习)来生成识别用特征和当识别设备13识别图像中存在目标对象图像时由识别设备13使用的整合学习器。学习设备11随后指示学习器记录单元12存储所生成的识别用特征和整合学习器。识别设备13利用存储在学习器记录单元12中的识别用特征和整合学习器来识别输入图像中是否存在目标图像(人类图像)。识别设备13随后输出识别结果。
学习设备11包括服装特征点提取单元21、服装特征计算单元22、服装学习器生成单元23、轮廓特征点提取单元24、轮廓特征计算单元25、轮廓学习器生成单元26、临时整合学习器生成单元27和整合学习器生成单元28。
服装特征点提取单元21从输入的训练图像中提取训练图像的某些像素作为用于生成服装学习器的服装特征点。服装特征点提取单元21随后将提取出的服装特征点和训练图像输送到服装特征计算单元22。服装学习器是根据通过统计学习生成的多个弱学习器生成的相对较强的学习器。服装学习器被用于利用人所穿戴的服装的特征来识别在输入图像中是否存在人类图像区域。
服装特征计算单元22创建多个对,每对包括从服装特征点提取单元21接收的服装特征点之一和另一服装特征点。另外,服装特征计算单元22利用从服装特征点提取单元21接收的训练图像来为每一对计算表示包括服装特征点的两个区域的纹理之间的距离的服装特征。随后,服装特征计算单元22将所获得的服装特征和训练图像输送到服装学习器生成单元23。
服装学习器生成单元23利用从服装特征计算单元22提供的训练图像和服装特征来执行例如基于AdaBoost方法的统计学习处理,以便生成服装学习器,该服装学习器识别用作图像中的目标对象的人物。另外,服装学习器生成单元23将训练图像、服装特征和所生成的服装学习器输送到临时整合学习器生成单元27。
轮廓特征点提取单元24从输入的训练图像中提取训练图像的某些像素作为用于生成轮廓学习器的轮廓特征点。轮廓特征点提取单元24随后将所提取的轮廓特征点和训练图像输送到轮廓特征计算单元25。轮廓学习器是根据通过统计学习生成的多个弱学习器生成的相对较强的学习器。轮廓学习器被用于利用人类图像的轮廓来识别在输入图像中是否存在人类图像区域。
轮廓特征计算单元25利用从轮廓特征点提取单元24接收的训练图像和使用可控滤波器的滤波处理来针对每个轮廓特征点计算表示所提取的轮廓的轮廓特征。轮廓特征计算单元25随后将所获得的轮廓特征和训练图像输送到轮廓学习器生成单元26。轮廓学习器生成单元26利用从轮廓特征计算单元25提供的训练图像和轮廓特征来执行例如基于AdaBoost方法的统计学习处理,以便生成轮廓学习器,该轮廓学习器识别用作图像中的目标对象的人物。另外,轮廓学习器生成单元26将训练图像、轮廓特征和所生成的轮廓学习器输送到临时整合学习器生成单元27。
临时整合学习器生成单元27整合从服装学习器生成单元23接收的服装学习器与从轮廓学习器生成单元26接收的轮廓学习器,以便生成被临时使用的临时整合学习器。随后,临时整合学习器生成单元27将所生成的临时整合学习器、服装特征、轮廓特征和训练图像输送到整合学习器生成单元28。
整合学习器生成单元28选择构成从临时整合学习器生成单元27提供的临时整合学习器的某些弱学习器,即,形成服装学习器或轮廓学习器的某些弱学习器。整合学习器生成单元28随后生成特征函数,该特征函数是根据所选的弱学习器形成的函数。另外,整合学习器生成单元28将从临时整合学习器生成单元27提供的服装特征或轮廓特征代入到所生成的特征函数中。之后,整合学习器生成单元28将得到的值用作训练图像的新特征并执行使用例如AdaBoost方法的统计学习处理以便生成最终的整合学习器。
随后,整合学习器生成单元28将所生成的整合学习器输送到学习器记录单元12。学习器记录单元12存储整合学习器。另外,整合学习器生成单元28将一对服装特征点的服装特征和轮廓特征点的轮廓特征(用于利用整合学习器来识别目标对象)输送到学习器记录单元12作为识别用特征。学习器记录单元12存储所输送的服装特征和轮廓特征。识别用特征表示分别在与形成整合学习器的弱学习器相对应的服装特征点和轮廓特征点处的服装特征和轮廓特征。利用识别用特征,可以识别出若干特征点,从这些特征点计算出要代入到整合学习器的每个弱学习器中的特征。
另外,识别设备13包括服装特征点提取单元31、服装特征计算单元32、轮廓特征点提取单元33、轮廓特征计算单元34、识别计算单元35和识别结果输出单元36。注意,识别设备13的服装特征点提取单元31至轮廓特征计算单元34对包括要识别的目标对象的输入图像执行与学习设备11的服装特征点提取单元21、服装特征计算单元22、轮廓特征点提取单元24和轮廓特征计算单元25类似的处理。因此,不重复其描述。
识别计算单元35读取存储在学习器记录单元12中的识别用特征和整合学习器。之后,识别计算单元35通过将与该识别用特征相对应的从服装特征计算单元32接收的服装特征之一和从轮廓特征计算单元34接收的轮廓特征代入到读出的整合学习器中来执行计算。识别结果输出单元36从识别计算单元35获取计算结果,并且基于计算结果输出指示在输入图像中是否检测出(识别出)目标对象的识别结果。
接下来参考图2更详细描述图1中所示的轮廓特征计算单元25的示例性配置。轮廓特征计算单元25包括一阶滤波处理单元61、二阶滤波处理单元62、三阶滤波处理单元63和特征生成单元64。从轮廓特征点提取单元24接收的训练图像被输送到从一阶滤波处理单元61至特征生成单元64的四个单元。轮廓特征点被输送到从一阶滤波处理单元61至三阶滤波处理单元63的三个单元。
一阶滤波处理单元61利用高斯(Gauss)函数G的一阶微分函数G1来对所提供的轮廓特征点中的每一个执行滤波处理以便提取特征。一阶滤波处理单元61随后将提取出的特征输送到特征生成单元64。高斯函数G和一阶微分函数G1被表达如下:
G = e - x 2 + y 2 2 σ 2 . . . ( 1 )
G1(θ)=cos(θ)G1(0°)+sin(θ)G1(90°)...(2)
在等式(1)中,σ表示高斯宽度。在等式(2)中,θ表示任意角度,即,要计算的滤波器的方向。
例如,一阶滤波处理单元61将高斯函数G的高斯宽度σ改变为三个预定值(例如,高斯宽度σ1、σ2、σ3=1、2、4)之一。每次改变高斯宽度σ时,都针对四个预定方向(例如,θ=θ1、θ2、θ3、θ4)计算等式(2)。注意,方向的数目并不限于4。例如,可以使用八个方向(例如,通过均等地分割pi获得的八个方向)。
二阶滤波处理单元62利用高斯函数G的二阶微分函数G2来对所提供的轮廓特征点中的每一个执行滤波处理以便提取特征。二阶滤波处理单元62随后将提取出的特征输送到特征生成单元64。二阶微分函数G2被表达如下:
G2(θ)=k21(θ)G2(0°)+k22(θ)G2(60°)+k23(θ)G2(120°)...(3)
在等式(3)中,系数k2i(θ)(i=1、2、3)是表达如下的函数:
k 2 i ( θ ) = 1 3 { 1 + 2 cos ( 2 ( θ - θi ) ) } . . . ( 4 )
例如,二阶滤波处理单元62将高斯函数G的高斯宽度σ改变为三个预定值(例如,高斯宽度σ1、σ2、σ3=1、2、4)之一。每次改变高斯宽度σ时,都针对四个预定方向(例如,θ=θ1、θ2、θ3、θ4)计算等式(3)。
三阶滤波处理单元63利用高斯函数G的三阶微分函数G3来对所提供的轮廓特征点中的每一个执行滤波处理以便提取特征。三阶滤波处理单元63随后将提取出的特征输送到特征生成单元64。三阶微分函数G3被表达如下:
G3(θ)=k31(θ)G3(0°)+k32(θ)G3(45°)+k33(θ)G3(90°)+k34(θ)G3(135°)...(5)
其中θ表示任意角度。
在等式(5)中,系数k3i(θ)(i=1、2、3、4)是表达如下的函数:
k 3 i ( θ ) = 1 4 { 2 cos ( θ - θi ) + 2 cos ( 3 ( θ - θi ) ) } . . . ( 6 )
例如,三阶滤波处理单元63将高斯函数G的高斯宽度σ改变为三个预定值(例如,高斯宽度σ1、σ2、σ3=1、2、4)之一。每次改变高斯宽度σ时,都针对四个预定方向(例如,θ=θ1、θ2、θ3、θ4)计算等式(5)。
特征生成单元64接收从一阶滤波处理单元61、二阶滤波处理单元62和三阶滤波处理单元63中的每一个输送来的针对三个高斯宽度中每一个的四个角度θ计算出的轮廓特征点的特征。特征生成单元64随后排列36个特征(3(阶)×4(方向)×3(高斯宽度))。这一排列用作轮廓特征点的轮廓特征。另外,特征生成单元64将所生成的轮廓特征和所接收的训练图像输送到轮廓学习器生成单元26。
如上所述,轮廓特征计算单元25利用通过求高斯函数微分获得的方向和频率,即利用对方向θ和高斯宽度σ具有选择性的滤波器(基函数)来提取对于每一个微分阶数均不同的特征(轮廓)。这些特征用作轮廓特征。当可控滤波器被用于提取轮廓特征时并且在滤波器具有不同的方向θ和高斯宽度σ的情况下,任意方向θ的滤波器,即高斯函数G的微分函数Gn(n=1、2、3)可被表示为滤波器的线性组合。
图3是图1中所示的服装学习器生成单元23的示例性配置的更详细框图。服装学习器生成单元23包括采样单元101、权重设置单元102、排序单元103、学习器设置单元104、学习器选择单元105和权重更新单元106。在服装学习器生成单元23中,从服装特征计算单元22接收的服装特征和训练图像被输送到采样单元101、学习器设置单元104和学习器选择单元105。
对于每一对服装特征点,采样单元101根据由权重设置单元102设置的赋予训练图像的权重,从多个训练图像中位于相同的服装特征点处的服装特征中采样M个服装特征。采样单元101随后将M个服装特征输送到排序单元103。
排序单元103按升序或降序对每一对的M个样本服装特征进行排序。排序单元103随后将排序后的服装特征输送到学习器设置单元104。
学习器设置单元104控制错误率计算单元104a以便通过基于真-假信息改变阈值来为按升序或降序排序的每一对的每个服装特征计算错误率,真-假信息指示在从中提取出服装特征的训练图像中是否包括要识别的目标对象。这样,学习器设置单元104确定阈值以使得错误率最小化。即,该阈值被设置为弱学习器。另外,学习器设置单元104将每个弱学习器的错误率输送到学习器选择单元105。
更具体而言,训练图像具有指示在训练图像中是否包括要识别的目标对象的真-假信息(标签)。学习器设置单元104基于附加到从服装特征计算单元22提供的训练图像的真-假信息来设置弱学习器。
学习器选择单元105从所设置的弱学习器中选择具有最小错误率的弱学习器。之后,学习器选择单元105更新由弱学习器形成的服装学习器,并将与形成服装学习器的弱学习器相对应的服装特征、训练图像和最终服装学习器输送到临时整合学习器生成单元27。另外,学习器选择单元105基于弱学习器的错误率来计算所选的弱学习器的可靠度,并将该可靠度输送到权重更新单元106。
权重更新单元106基于所提供的可靠度来重新计算赋予每个训练图像的权重,并且通过对权重归一化来更新权重。之后,权重更新单元106将更新权重输送到权重设置单元102。权重设置单元102基于从权重更新单元106提供的更新权重来确定每个训练图像的权重。
注意,图1中所示的轮廓特征计算单元34具有与图2中所示的轮廓特征计算单元25相似的配置。另外,图1中所示的轮廓学习器生成单元26具有与图3中所示的服装学习器生成单元23相似的配置。因此,不重复对轮廓特征计算单元34和轮廓学习器生成单元26的配置的图示和描述。
图4更详细地图示了图1中所示的整合学习器生成单元28的示例性配置。即,整合学习器生成单元28包括特征函数生成单元131、采样单元132、权重设置单元133、排序单元134、学习器设置单元135、学习器选择单元136和权重更新单元137。注意,采样单元132和权重更新单元137分别具有与图3中所示的采样单元101和权重更新单元106相似的配置。因此,不重复其描述。
特征函数生成单元131基于从临时整合学习器生成单元27提供的临时整合学习器来生成任意数目的特征函数(例如,P个特征函数,其中P是自然数)。之后,特征函数生成单元131将相应的服装特征或轮廓特征代入到形成所生成的特征函数的弱学习器中,并且将获得的值定义为新特征。随后,特征函数生成单元131将从临时整合学习器生成单元27接收的训练图像和针对每个训练图像的每个特征函数获得的新特征输送到采样单元132。
从采样单元132至学习器选择单元136的单元利用由特征函数生成单元131生成的新特征和训练图像来执行统计学习处理,并且生成最终的整合学习器。所生成的整合学习器以及用作识别用特征的服装特征和轮廓特征被输送到学习器记录单元12并被存储。
当训练图像被输入到学习设备11并且学习设备11被命令生成整合学习器时,学习设备11开始学习处理并且通过统计学习生成整合学习器。下面参考图5中所示的流程图来描述由学习设备11执行的学习处理。
在步骤S11中,服装特征点提取单元21从输入的训练图像中提取服装特征点。服装特征点提取单元21随后将提取出的服装特征点和训练图像输送到服装特征计算单元22。
在步骤S12中,服装特征计算单元22基于从服装特征点提取单元21提供的服装特征点和训练图像来针对每个服装特征点创建一对服装特征点。
在步骤S13中,服装特征计算单元22为每一对特征点计算服装特征。之后,服装特征计算单元22将所获得的服装特征和训练图像输送到服装学习器生成单元23。
例如,当图6中所示的训练图像被输入到服装特征点提取单元21时,服装特征点提取单元21基于预定的裕量和采样跳跃的数目(下面将描述)来从训练图像中提取服装特征点。在图6中,训练图像中的圆圈表示定义为服装特征点的像素。
这里所用的术语“裕量(margin)”指从训练图像的末端到要从中提取特征点的区域的像素数目。术语“采样跳跃的数目”指训练图像中用作服装特征点的像素之间的距离。
因此,例如,令裕量为5个像素,并且令采样跳跃的数目为5个像素。这样,服装特征点提取单元21排除由从训练图像的末端起5个像素内的像素形成的区域,并且将剩余区域E11当作要从中提取服装特征点的目标区域。之后,服装特征点提取单元21从区域E11的像素中提取各自距相邻像素5个像素的多个像素,并且将所提取的像素定义为服装特征点。即,在图6中,服装特征点之间的距离在垂直方向和水平方向上都是5个像素,并且特征点是区域E11中的像素。
随后,服装特征计算单元22基于预定的最小半径和预定的最大半径来产生多对服装特征点。例如,令R11表示最小半径,并且令R12表示最大半径。然后,对于预定的服装特征点KT1,服装特征计算单元22产生多个对,每对包括服装特征点KT1和位于距离服装特征点KT1某一半径的区域中的所有服装特征点中的一个,该半径大于或等于最小半径R11并且小于最大半径R12。
因此,例如,如果N个服装特征点位于距离服装特征点KT1的半径大于或等于最小半径R11并且小于最大半径R12的区域内,则对于服装特征点KT1产生N对服装特征点。服装特征计算单元22以这种方式为所有服装特征点中的每一个产生多个对。
另外,服装特征计算单元22计算具有预定形状和大小的区域的纹理之间的距离,这些区域的中心是构成一对的服装特征点。之后,服装特征计算单元22将该距离定义为服装特征。
例如,当利用SSD(平方距离和)方法计算包括服装特征点KT1和服装特征点KT2的一对(参考图6)的服装特征时,服装特征计算单元22将中心为服装特征点KT1的预定区域定义为区域TX1。另外,服装特征计算单元22将以服装特征点KT2为中心并且与区域TX1具有相同大小的预定区域定义为区域TX2。服装特征计算单元22随后计算区域TX1中一个像素的像素值和与区域TX1中的该像素相对应的区域TX2中一个像素的像素值之差的平方和。随后,服装特征计算单元22将差的平方和定义为服装特征。
尽管参考SSD方法描述了本实施例,但是也可以采用SAD(绝对距离和)或者归一化相关。
这样,服装特征计算单元22针对从训练图像提取的每一对服装特征点计算了服装特征。更具体而言,包含目标对象的若干训练图像和不包含目标对象的若干训练图像被输入到学习设备11。之后,针对输入的训练图像中的每一个执行服装特征点的提取和服装特征的计算。
因此,例如,当M个训练图像PI1至PIM(其中M是自然数)被输入到学习设备11时,针对M个训练图像PIi(1≤i≤M)中的每一个可以获得每一对服装特征点的服装特征,如图7所示。
在图7中,一个方框表示一对服装特征点的服装特征。另外,排列在垂直方向上的一系列方框表示从训练图像之一PIi(1≤i≤M)获得的一系列服装特征。排列在垂直方向上的一系列方框包括在数目上等于从训练图像PIi获得的服装特征点的对数的服装特征。即,从训练图像之一PIi获得的服装特征点的对数等于训练图像PIi的服装特征(以服装特征为元素的向量)的维数。
另外,在图7中,排列在垂直方向上的一系列方框的下方示出了标签(真-假信息)。该标签指示在训练图像PIi中是否包括目标对象。例如,在训练图像PI1的一系列服装特征下方示出的标签“+1”指示在训练图像PI1中包括目标对象。相反,在训练图像PIM的一系列服装特征下方示出的标签“-1”指示在训练图像PIM中不包括目标对象。
返回图5,在步骤S13中获得了服装特征之后,处理进行到步骤S14,在步骤S14中,服装学习器生成单元23执行服装学习器生成处理以便生成服装学习器。之后,服装学习器生成单元23将服装特征、训练图像和所生成的服装学习器输送到临时整合学习器生成单元27。服装学习器生成处理在下面更详细地描述。
在步骤S15中,轮廓特征点提取单元24从输入的训练图像中提取轮廓特征点,并将训练图像和所提取的轮廓特征点输送到轮廓特征计算单元25。
例如,如图8B所示,当图8A中所示的训练图像被输入到轮廓特征点提取单元24时,轮廓特征点提取单元24以预定间隔提取排列在训练图像中的像素作为轮廓特征点。注意,在图8B中,训练图像中的圆圈表示被选为轮廓特征点的像素。
图8A和8B中所示的训练图像在水平方向上具有32个像素,在垂直方向上具有64个像素。轮廓特征点提取单元24从训练图像内的像素中选择水平方向和垂直方向上的每两个像素中的一个像素作为轮廓特征点。因而,在图8A和8B中,水平方向上的12个像素和垂直方向上的28个像素,总共336(=12×28)个像素被选为轮廓特征点。
在步骤S16中,轮廓特征计算单元25执行轮廓特征计算处理,其中基于从轮廓特征点提取单元24提供的训练图像和轮廓特征点来计算每个轮廓特征点的轮廓特征。所获得的轮廓特征和训练图像被从轮廓特征计算单元25输送到轮廓学习器生成单元26。轮廓特征计算处理在下面更详细地描述。
在步骤S17中,轮廓学习器生成单元26基于从轮廓特征计算单元25提供的训练图像和轮廓特征来执行轮廓学习器生成处理以便生成轮廓学习器。注意,在轮廓学习器生成处理中,执行与服装学习器生成处理相似的处理。
在步骤S18中,临时整合学习器生成单元27整合从服装学习器生成单元23提供的服装学习器与从轮廓学习器生成单元26提供的轮廓学习器,以便生成临时整合学习器。
例如,利用AdaBoost方法获得的学习器可以被表示为弱学习器的线性组合。因此,临时整合学习器生成单元27利用Late Fusion方法来整合服装学习器与轮廓学习器。
即,为了获得临时整合学习器U(x),临时整合学习器生成单元27通过计算下面的等式来执行服装学习器R(x)和轮廓学习器T(x)的线性组合:
U(x)=α·R(x)+β·T(x)...(7)
在等式(7)中,α和β表示预定系数,即调节参数。例如,可以借助用于统计学习处理的训练图像的识别率来确定α和β。
在临时整合学习器生成单元27生成了临时整合学习器之后,临时整合学习器生成单元27将临时整合学习器、服装特征、轮廓特征和训练图像输送到整合学习器生成单元28。
在步骤S19中,整合学习器生成单元28通过利用从临时整合学习器生成单元27提供的临时整合学习器、服装特征、轮廓特征和训练图像执行整合学习器生成处理来生成整合学习器。之后,整合学习器生成单元28将所生成的整合学习器以及用作识别用特征的服装特征和轮廓特征输送到学习器记录单元12。学习器记录单元12存储所接收的整合学习器、服装特征和轮廓特征。随后,学习处理完成。整合学习器生成处理在下面更详细地描述。
这样,学习设备11获得了每一对服装特征点的服装特征以便生成服装学习器。另外,学习设备11获得轮廓特征以便生成轮廓学习器。之后,学习设备11利用线性组合来整合服装学习器与轮廓学习器以便生成临时整合学习器。随后,学习设备11将通过临时整合学习器获得的特征定义为新特征并且生成最终的整合学习器。
通过以这种方式整合服装学习器与轮廓学习器以便生成临时整合学习器,可以提供能更可靠地从图像中检测目标对象的整合学习器。即,临时整合学习器是通过将使用目标对象的服装特征的服装学习器与使用目标对象的轮廓的轮廓学习器相整合而生成的。因此,如果可以充分地检测出这两个特征中的至少一个,则可以从图像中检测出目标对象。
更具体而言,在学习设备11中,并不根据人的衣物的图案变化而改变的服装特征被用于检测图像中的人物。该服装特征是利用以下统计事实新定义的特征,该统计事实是:一个人在上身穿戴了具有相同纹理的重复图案的衣物(衬衫)并且在下身穿戴了具有相同纹理的重复图案的衣物(裤子)。
即,服装特征指示出图像中任意两个区域中的纹理之间的相似度,即,两个亮度图案之间的相似度。例如,在人的上半身中的两个区域的纹理之间的相似度较高。然而,在上身和下身中的区域的纹理之间的相似度较低。另外,人穿戴的衣物和背景的纹理之间的相似度较低。在学习设备11中,利用这种两个区域的纹理之间的相似度从图像中检测出人物图像的服装学习器被生成,并被用于生成整合学习器。
因此,例如,即使当无法充分地从输入图像中提取出轮廓时,如果可以充分地从图像中提取出两个区域的纹理之间的相似度的特征的话,也可以利用整合学习器从图像中检测出人物图像。相反地,如果在一个图像中人穿戴的衣物具有非重复图案或者如果衣物部分地被例如背包遮挡,则很可能无法充分地提取出两个区域的纹理之间的相似度的特征。然而,如果可以充分地提取出轮廓,则可以利用整合学习器从图像中提取出人物图像。
此外,在学习设备11中,通过将一个新值(该新值是通过将服装特征或轮廓特征代入到由临时整合学习器获得的特征函数中而获得的)定义为新特征并且生成最终的整合学习器,可以防止过拟合。
即,具体而言,如果用作用于统计学习的样本的训练图像的数目较小,则经常发生过拟合。然而,通过利用从特征函数获得的值作为新特征并且在统计学习中使用多个特征,可以将某一类型的噪声引入到学习处理中。因而,很少发生过拟合。因此,当执行利用任意数目的新定义的特征的统计学习时,除了与训练图像中包含的目标对象相似的目标以外,还可以检测出与用作样本的训练图像中包含的目标对象并不非常相似的目标对象。结果,可以提供具有高识别准确性的整合学习器。
另外,如果特征函数是通过组合形成临时整合学习器的任意数目的弱学习器而生成的,则可以获得任意数目的新特征。因此,根据识别任务可以产生稀疏空间,因此可以很容易地解决问题。
接下来参考图9中所示的流程图来描述与在图5的步骤S14中执行的处理相对应的服装学习器生成处理。
在步骤S51中,权重设置单元102将训练图像PIi(1≤i≤M)(见图7)的权重Wi初始化为1/M。学习器选择单元105将计数器j初始化为1。学习器选择单元105还将由弱学习器的和形成的服装学习器R(x)初始化为0。
这里,i用作图7中所示的训练图像PIi的标识符,并且1≤i≤M。通过步骤S51中执行的处理,所有训练图像PIi的权重Wi都被设置为相同的归一化权重(=1/M)。另外,计数器j包含服装学习器R(x)的预定更新次数。
在步骤S52中,采样单元101根据训练图像PIi的权重Wi来从相同点处多个训练图像PIi中的服装特征点对的服装特征中选择针对每一对服装特征点的M个服装特征。采样单元101随后将这M个服装特征输送到排序单元103。
例如,如图10所示,假定训练图像PI1至PIM中的M个服装特征被从服装特征计算单元22输送到采样单元101。在图10中,从训练图像PIi(1≤i≤M)获取的服装特征被排列在水平方向上。附到符号PIi左部的数“+1”或“-1”表示附加到训练图像PIi的标签(真-假信息)。
即,在图10中,顶部一行(A1、A2、A3、...AN)表示训练图像PI1中服装特征点对的服装特征。附到指示训练图像PI1的符号“PI1”左部的数“+1”表示指示出在训练图像PI1中包含目标对象的图像的标签。
另外,从顶部起的第三行(C1、C2、C3、...CN)表示训练图像PI3中服装特征点对的服装特征。附到符号“PI3”左部的数“-1”表示指示出在训练图像PI3中不包含目标对象的图像的标签。
如上所述,在图10所示的例子中,从每个训练图像PIi中可以获得N对服装特征点的服装特征。此外,在图10中,排列在垂直方向上的M个服装特征Ak至Mk(1≤k≤N)形成了一个群Grk。群Grk中包含的服装特征是在相同点处训练图像PIi中的一对服装特征点的服装特征。
例如,群Gr1包括排列在垂直方向上的服装特征A1至M1。从其计算出服装特征A1的训练图像PI1中的一对服装特征点位于与群Gr1中的另一对服装特征点(例如,从其计算出服装特征M1的训练图像PIM中的一对服装特征点)相同的位置处,下文中,从其计算出服装特征并且位于训练图像PIi中且属于群Grk(1≤k≤N)的服装特征点对被称为“对k”。
当如图10所示的训练图像PIi的服装特征被输送到采样单元101时,采样单元101根据权重Wi从每一对k(即,每一群Grk)的服装特征中选择M个服装特征。例如,采样单元101根据权重Wi从群Gr1内的服装特征A1至M1中选择M个服装特征。注意,在第一次处理中,所有的权重Wi都是1/M。因此,当选择出M个服装特征时,所有的服装特征都是随机选择的。因此,根据本实施例,在第一次处理中,对于每一群Grk选择所有的服装特征。然而,在实践中,可以重复选择相同的服装特征。
注意,权重Wi可以用于针对每一对服装特征点的错误计算。在这种情况下,错误计算是通过将错误值乘以数据权重系数(权重Wi)来执行的。
在步骤S53中,针对N个群Grk中的每一个,排序单元103按升序或降序对关于群Grk(即,对k)选择的M个服装特征排序。之后,排序单元103将排序后的M个服装特征输送到学习器设置单元104。例如,从图10所示的群Gr1内的服装特征中选择的M个服装特征被排序。
在步骤S54中,学习器设置单元104控制错误率计算单元104a,以使错误率计算单元104a基于附加到从服装特征计算单元22提供的训练图像的真-假信息(标签),在改变每一群Grk(即,对于服装特征点对k中的每一个)的阈值的同时计算错误率ejk。这样,阈值被确定为使得错误率ejk最小化。
这里,对k中的每一个的阈值thjk用作弱学习器fjk(x)。学习器设置单元104将弱学习器fjk(x)的错误率ejk输送到学习器选择单元105。即,对于N对k中的相应一个设置N个弱学习器fjk(x)中的每一个,并且对于N个弱学习器fjk(x)中的每一个计算错误率ejk
注意,弱学习器fjk(x)是这样一个函数,该函数在要识别的图像的特征点的区域中包含目标对象的图像的情况下输出预定值(ajk+bjk),而在该区域中不包含目标对象的图像的情况下输出预定值bjk
例如,当如图11所示j=1并且服装特征点对k(=1)的服装特征被按升序或降序排列(L1、A1、B1...M1)时,阈值th11被设置在服装特征A1和C1之间。在服装特征小于或等于阈值th11的范围中(在由“b11”指示的范围中),识别出不包括目标对象。相反,在服装特征大于阈值th11的范围中(在由“a11+b11”指示的范围中),识别出包括目标对象。在这种情况下,由于服装特征A1是包含要识别的目标对象的训练图像的服装特征,因此发生错误。另外,由于服装特征C1和M1是不包含要识别的目标对象的训练图像的服装特征,因此发生错误。
在图11所示的例子中,阈值th11被设置在使得在对k下目标对象的识别错误率e11被最小化的位置处。例如,如果阈值th11被设置在使得错误率e11不被最小化的位置处,则学习器设置单元104改变阈值th11的位置,并且在参考所有位置处的错误率e11的同时来搜索错误率e11被最小化的阈值th11的位置。这样,学习器设置单元104将阈值th11的位置设置为该位置。
错误率计算单元104a基于关于训练图像的真-假信息(标签)来对从中提取出引起错误的服装特征的训练图像的权重Wi求和,并且按如下方式计算错误率ejk
ejk=Ew[l(y≠fjk)]...(8)
在等式(8)中,表达式y≠fjk指示引起错误的服装特征点对k的条件,并且Ew表示引起错误的训练图像的权重的相加。
此外,学习器设置单元104利用由错误率计算单元104a计算出的错误率ejk和阈值thjk来计算弱学习器fjk(x)。例如,当弱学习器fjk(x)是被称为“回归残余”(regression stump)的函数时,弱学习器fjk(x)可以按如下方式计算:
fjk(x)=ajk(x[dimk]>thjk)+bjk...(9)
在等式(9)中,x[dimk]表示服装特征点对k的服装特征。另外,项ajk(x[dimk]>thjk)表示这样一个函数:该函数在服装特征x[dimk]大于阈值thjk的情况下返回值ajk,而在服装特征x[dimk]小于或等于阈值thjk的情况下返回“0”。
另外,用在等式(9)中的值ajk和bjk是利用错误率ejk计算的。更具体而言,例如,下面描述的可靠度cj被用作值ajk。可以利用错误率ejk计算可靠度cj。注意,值ajk和bjk可以是预先获得的预定值。
这样,对于每一群Grk设置了弱学习器fjk(x)。当错误率ejk被从学习器设置单元104输送到学习器选择单元105时,处理从步骤S54进行到步骤S55。
在步骤S55中,学习器选择单元105基于从学习器设置单元104提供的每一对k的N个错误率ejk从N个弱学习器fjk(x)中选择使得错误率ejk最小化的弱学习器fjk(x)。之后,学习器选择单元105从学习器设置单元104获取所选的弱学习器fjk(x)。
在步骤S56中,学习器选择单元105基于所选的弱学习器fjk(x)的错误率ejk来计算所选的弱学习器fjk(x)的可靠度cj,并将计算出的可靠度cj输送到权重更新单元106。可靠度cj可以表达如下:
cj=log((1-ej)/ej)    ...(10)
在等式(10)中,ej表示所选的弱学习器fjk(x)的错误率ejk,即,N个错误率ejk中的最小错误率ejk。下文中,在步骤S55中选择的对k的弱学习器也被称为弱学习器fj(x),并且弱学习器fj(x)的错误率ejk也被称为错误率ej
在步骤S57中,权重更新单元106利用所提供的可靠度cj来计算下面的等式:
Wi=Wiexp[-cj·1(y≠fjk)],i=1,2,...N  ...(11)
因而,权重更新单元106重新计算每个训练图像PIi的权重Wi并且通过归一化权重Wi来更新权重Wi。权重更新单元106随后将权重Wi输送到权重设置单元102。权重设置单元102基于从权重更新单元106提供的权重Wi来将权重Wi赋予训练图像PIi
即,等式(11)指示出包含引起错误的服装特征的训练图像的权重Wi增大。
在步骤S58中,学习器选择单元105利用新获得的弱学习器fj(x)来更新所存储的服装学习器R(x)。即,学习器选择单元105通过计算下面的等式来更新服装学习器R(x):
R(x)=R′(x)+fj(x)  ...(12)
在等式(12)中,R′(x)表示在被更新之前存储在学习器选择单元105中的服装学习器,fj(x)表示新获得的弱学习器fj(x)。即,学习器选择单元105将新获得的弱学习器fj(x)加上所存储的服装学习器R′(x)以便更新服装学习器。
在步骤S59中,学习器选择单元105存储与使错误率ejk最小化的弱学习器fj(x)相对应的服装特征点对k的服装特征。所存储的服装特征用作用于识别要代入到弱学习器fj(x)中的对k的临时服装特征。
在步骤S60中,学习器选择单元105确定计数器j是否大于或等于L。如果计数器j不大于或等于L,则处理进行到步骤S61,在步骤S61中,学习器选择单元105将计数器j递增1。之后,处理返回到步骤S52,并且重复上述处理。
即,利用每个训练图像的新设置的权重Wi针对N个对k设置新的弱学习器fjk(x),并且从弱学习器fjk(x)中选择使得错误率ejk最小化的弱学习器fjk(x)。之后,利用所选的弱学习器fjk(x)来更新服装学习器。
然而,如果在步骤S60中计数器j大于或等于L,则处理进行到步骤S62,在步骤S62中,学习器选择单元105将所存储的服装学习器和用于识别的临时特征以及训练图像输出到临时整合学习器生成单元27。之后,处理进行到图5中所示的步骤S15。
通过上述处理,由具有相对较低的错误率的L个弱学习器fj(x)(1≤j≤L)形成的服装学习器被输送到临时整合学习器生成单元27。另外,要用于每个弱学习器fj(x)的服装特征点对k的服装特征(即,临时识别用特征)被输送到临时整合学习器生成单元27。这里,L≤N。
注意,由等式(12)指示的服装学习器是输出关于图像是否包括要识别的目标对象(更精确地说,图像包括目标对象的可能性)的信息的函数。其中如图9中的流程图所示弱学习器被重复相加以便生成学习器的学习处理被称为“离散AdaBoost算法”。
在服装学习器生成处理中,重复这样的处理,其中针对每对服装特征点计算弱学习器和错误率,以使得具有高错误率的训练图像中的服装特征的权重被顺序增大,同时具有低错误率的训练图像中的服装特征的权重被顺序减小。因此,每次执行重复处理(从步骤S52到步骤S61的处理)时,都可以很容易地从具有增大的高错误率的训练图像中选择出用于设置弱学习器的服装特征(即,在步骤S52中选择的服装特征)。因此,服装特征是从不容易被识别的大量训练图像中选择出的。结果,可以增大图像中目标对象的识别率。
另外,在重复处理(从步骤S52到步骤S61的处理)中,学习器选择单元105选择与在任何时候都具有最低错误率的对相对应的弱学习器。因此,通过重复学习处理,与具有最高可靠度的服装特征点对相对应的弱学习器一直被选择出来,并被加到服装学习器。因此,随着处理的重复,具有高精度的弱学习器被顺序相加。
此外,服装学习器是利用服装特征来确定在图像中是否包括表示目标对象的人的图像的学习器。与被代入到形成服装学习器的每个弱学习器中的服装特征相对应的服装特征点对是多个服装特征点对中、对于从输入图像中检测出目标对象而言最优的对。
例如,如图12所示,与被代入到服装学习器中的服装特征相对应的服装特征点对是包围表示意图像中的目标对象的人的图像的一对服装特征点(服装特征点对)。在图12中,虚线表示形成一对的两个服装特征点之间的线。中心为虚线的一端的方框表示用于计算服装特征的纹理区域。
在图12所示的示例中,下面的两种类型的服装特征点对被选择出来:作为图像中穿戴在人的上身上的衣物的一部分并且使得纹理之间的距离(即,服装特征)较小的服装特征点对,以及该对服装特征点之一位于人的衣物中而另一个位于背景(非人)中并且使得服装特征较大的服装特征点对。
接下来参考图13中所示的流程图来描述与在图5所示的步骤S16中执行的处理相对应的示例性轮廓特征计算处理。在轮廓特征计算处理中,计算输入的训练图像中每个轮廓特征点的轮廓特征。
在步骤S101中,轮廓特征计算单元25(更具体而言,轮廓特征计算单元25的一阶滤波处理单元61、二阶滤波处理单元62和三阶滤波处理单元63)从提供自轮廓特征点提取单元24的轮廓特征点中选择未经处理的轮廓特征点之一作为关注像素。
在步骤S102中,轮廓特征计算单元25将指示方向θq的计数器q设置为1。因而,方向θq被设置为方向θ1。
在步骤S103中,轮廓特征计算单元25将指示高斯宽度σp的计数器p设置为1。因而,高斯宽度σp被设置为高斯宽度σ1。
在步骤S104中,一阶滤波处理单元61执行一阶滤波处理。即,一阶滤波处理单元61将高斯宽度设置为σp并将方向设置为θq,并且基于要处理的关注像素的像素值来计算等式(2)。一阶滤波处理单元61随后将滤波处理的结果输送到特征生成单元64。即,等式(2)中的方向θ被设置为θq,并且计算等式(2)。因而,提取出轮廓。
在步骤S105中,二阶滤波处理单元62执行二阶滤波处理。即,二阶滤波处理单元62将高斯宽度设置为σp并将方向设置为θq,并且基于要处理的关注像素的像素值来计算等式(3)。二阶滤波处理单元62随后将滤波处理的结果输送到特征生成单元64。即,等式(3)中的方向θ被设置为θq,并且计算等式(3)。因而,提取出轮廓。
在步骤S106中,三阶滤波处理单元63执行三阶滤波处理。即,三阶滤波处理单元63将高斯宽度设置为σp并将方向设置为θq,并且基于要处理的关注像素的像素值来计算等式(5)。三阶滤波处理单元63随后将滤波处理的结果输送到特征生成单元64。即,等式(5)中的方向θ被设置为θq,并且计算等式(5)。因而,提取出轮廓。
在步骤S107中,轮廓特征计算单元25确定高斯宽度σp是否为σ3,即,是否计数器p=3。如果在步骤S107中高斯宽度σp不是σ3,则处理进行到步骤S108,在步骤S108中,轮廓特征计算单元25将计数器p递增1。例如,如果计数器p=1,则p被递增1。因而,p=2。因此,高斯宽度σp被设置为σ2。在计数器p被递增1之后,处理返回到步骤S104。从步骤S104起重复上述处理。
然而,如果在步骤S107中高斯宽度σp是σ3,则处理进行到步骤S109,在步骤S109中,轮廓特征计算单元25确定方向θq是否为θ4,即,是否计数器q=4。
如果在步骤S109中方向θq不是θ4,则处理进行到步骤S110,在步骤S110中,轮廓特征计算单元25将计数器q递增1。例如,如果计数器q=1,则计数器q被递增1。因而,q=2。因此,方向θq被设置为θ2。在计数器q被递增1之后,处理返回到步骤S103。从步骤S103起重复上述处理。
然而,如果在步骤S109中方向θq是θ4,则处理进行到步骤S111,在步骤S111中,特征生成单元64将从一阶滤波处理单元61、二阶滤波处理单元62和三阶滤波处理单元63提供的计算结果组合为轮廓特征。这样,生成了针对一个轮廓特征点的轮廓特征。
在步骤S112中,轮廓特征计算单元25确定是否已对于所有轮廓特征点完成了该处理。例如,如果已针对从轮廓特征点提取单元24提供的所有轮廓特征点计算了轮廓特征,则确定该处理完成。
如果在步骤S112中确定还未针对所有的轮廓特征点执行该处理,则处理返回到步骤S101,在步骤S101中,下一个轮廓特征点被选为关注像素。
然而,如果在步骤S112中确定已经针对所有的轮廓特征点执行了该处理,则特征生成单元64将从轮廓特征点提取单元24提供的训练图像和所生成的轮廓特征点的轮廓特征输送到轮廓学习器生成单元26。之后,处理进行到图5中所示的步骤S17。
注意,除了可控滤波器以外,Gabor滤波器也可用于从训练图像中提取轮廓特征。
另外,在图5所示的学习处理中,在步骤S16中执行的轮廓特征计算处理中计算了轮廓特征点的轮廓特征之后,在步骤S17中执行轮廓学习器生成处理。在轮廓学习器生成处理中,轮廓学习器生成单元26利用从轮廓特征计算单元25提供的训练图像和轮廓特征来生成轮廓学习器T(x)。注意,由于轮廓学习器生成处理与图9中所示的服装学习器生成处理相似,因此不重复其描述。
即,服装学习器生成处理与轮廓学习器生成处理的不同之处仅在于,要处理的特征是服装特征还是轮廓学习器。因此,在轮廓特征计算处理中,计算与具有最低错误率的轮廓特征点的轮廓特征相对应的弱学习器的和,并且该和被定义为轮廓学习器T(x)。之后,轮廓学习器生成单元26将所生成的轮廓学习器、被定义为临时识别用特征的轮廓特征和学习图像输出到临时整合学习器生成单元27。
另外,在学习处理中,临时整合学习器生成单元27将服装学习器R(x)与轮廓学习器T(x)相组合以便计算临时整合学习器U(x)。当临时整合学习器生成单元27将训练图像、临时整合学习器U(x)和临时识别用特征(服装特征和轮廓特征)输送到整合学习器生成单元28时,在步骤S19中执行整合学习器生成处理。
接下来参考图14中所示的流程图来描述与在图5所示的步骤S19中执行的处理相对应的整合学习器生成处理。
在步骤S141中,特征函数生成单元131利用从临时整合学习器生成单元27提供的临时整合学习器U(x)来生成期望数目的特征函数。
例如,假定由等式(7)表示的临时整合学习器U(x)包括S个弱学习器(其中S是自然数),并且临时整合学习器U(x)被表达如下:
U ( x ) = α · R ( x ) + β · T ( x )
= Σ s = 1 s u s ( x ) = Σ s = 1 s ( a s ( x [ dim s ] > th s ) + b s ) . . . ( 13 )
注意,等式(13)中的弱学习器us(x)(1≤s≤S)是形成被乘以常数α的服装学习器R(x)的弱学习器或者是形成被乘以常数β的轮廓学习器T(x)的弱学习器。
另外,如果从与临时识别用特征相对应的特征点获取的特征x[dims]大于或等于阈值ths,则等式(13)中弱学习器us(x)的“as(x[dims]>ths)”项的值为as,而如果特征x[dims]小于阈值ths,则该值为0。这里,术语“特征”表示服装特征或轮廓特征。阈值ths是用于形成服装学习器R(x)或轮廓学习器T(x)的弱学习器的阈值。
因此,例如,当通过将常数α乘以形成服装学习器R(x)的弱学习器fj(x)来获得弱学习器us(x)时,阈值ths用作用于弱学习器fj(x)的阈值。特征x[dims]用作要代入到弱学习器fj(x)中的服装特征。
通过使用该临时整合学习器U(x),特征函数生成单元131生成P个特征函数Zp(x)(其中P是任意自然数并且1≤p≤P)。
更具体而言,特征函数生成单元131从形成临时整合学习器U(x)的S个弱学习器us(x)中选择R个弱学习器us(x)(其中R是任意自然数),并且计算所选的R个弱学习器us(x)的线性和以便生成特征函数Zp(x)。特征函数生成单元131将该处理重复P次以便生成P个特征函数Z1(x)至Zp(x)。
每次生成特征函数Zp(x)时,形成特征函数Zp(x)的弱学习器的数目R被改变为任意数目。即,形成每个特征函数Zp(x)的弱学习器的数目不一定是恒定的。
例如,如图15所示,当由S个弱学习器us(x)形成临时整合学习器U(x)时,S个弱学习器us(x)中的某一些被选择出来。所选的弱学习器us(x)的和被定义为特征函数Zp(x)。
在图15所示的示例中,弱学习器u1(x)和弱学习器u3(x)被选择出来,并且这两个弱学习器的和被定义为特征函数Z1(x)。另外,弱学习器u2(x)和弱学习器us(x)被选择出来,并且这两个弱学习器的和被定义为特征函数Z2(x)。
在步骤S142中,特征函数生成单元131利用所生成的P个特征函数Zp(x)来针对从临时整合学习器生成单元27接收的每个训练图像PIi(1≤i≤M)生成新特征Zpi(1≤p≤P并且1≤i≤M)。
即,特征函数生成单元131将某一值定义为训练图像PIi的新特征Zpi,该值是通过将与形成特征函数Zp(x)的弱学习器us(x)相对应的训练图像PIi的临时识别用特征代入到特征函数Zp(x)中而获得的。这样,对于一个训练图像PIi可以获得新的P个特征Z1i至Zpi
因此,例如,训练图像PI1的特征Z11至Zp1分别对应于图10中所示的训练图像PI1的服装特征A1至AN。然而,新特征的数目P并不一定与服装特征或轮廓特征的数目相同。
在特征函数生成单元131计算了每个训练图像PIi的特征Zpi之后,特征函数生成单元131将这些特征Zpi输送到采样单元132。
在步骤S143中,权重设置单元133将训练图像PIi(1≤i≤M)的权重Wi初始化为1/M。学习器选择单元136将计数器q初始化为1,并将作为弱学习器的和的整合学习器G(x)初始化为0。
这里,i用作训练图像PIi(1≤i≤M)的标识符。通过在步骤S143中执行的处理,所有训练图像PIi的权重Wi都被设置为相同的归一化值(=1/M)。另外,计数器q包含整合学习器G(x)的预定更新次数。
在步骤S144中,采样单元132根据训练图像PIi的权重Wi′来从每个训练图像PIi的特征Zpi中选择针对每个特征函数Zp(x)(1≤p≤P)的M个特征Zpi。采样单元132随后将所选的M个特征Zpi输送到排序单元134。
例如,假定M个训练图像PI1至PIM的特征Zpi被从特征函数生成单元131输送到采样单元132,并且从相同特征函数获得的训练图像PIi的特征Zpi形成一个群Grp(1≤p≤P)。
在这种情况下,采样单元132根据训练图像PIi的权重Wi′来从每个函数Zp(x)的特征Zpi(即,每个群Grp)中选择M个特征Zpi。例如,采样单元132根据权重Wi′来从群Gr1内的特征Z11至Z1M中选择M个特征Z1i。注意,在第一次处理中,所有的权重Wi′都是1/M。因此,当M个特征被选择出来时,所有特征都是随机选择的。因此,根据本实施例,在第一次处理中,针对每个群Gri选择所有的特征。然而,在实践中,可以重复选择相同的特征。
在步骤S145中,排序单元134按升序或降序对针对P个群Grp中的每一个(即,针对每个特征函数Zp(x))选择的M个特征Zpi进行排序。之后,排序单元134将排序后的M个特征Zpi输送到学习器设置单元135。
在步骤S146中,学习器设置单元135控制错误率计算单元135a,以使得错误率计算单元135a基于附接到从临时整合学习器生成单元27提供的训练图像的真-假信息(标签)来在改变针对每个群Grp(即,每个特征函数Zp(x))的阈值的同时计算错误率eqp。这样,阈值被确定为使得错误率eqp被最小化。
这里,用于每个特征函数Zp(x)的阈值thqp用作弱学习器gqp(x)。学习器设置单元135将弱学习器gqp(x)的错误率eqp输送到学习器选择单元136。即,对于P个函数Zp(x)中的相应一个设置P个弱学习器gqp(x)中的每一个,并且对于P个弱学习器gqp(x)中的每一个计算错误率eqp
注意,弱学习器gqp(x)是这样一个函数,该函数在目标对象的图像被包含在要识别的图像的特征点区域中的情况下输出预定值(aqp+bqp),而在目标对象的图像不被包含在该区域中的情况下输出预定值bqp。例如,当从特征函数Z1(x)获得的特征Z1i被以升序或降序排列时,以与图11所示相似的方式设置阈值thq1
错误率计算单元135a利用上述等式(8)来执行计算。错误率计算单元135a基于关于训练图像的真-假信息(标签)来对从其提取出引起错误的特征Zpi的训练图像的权重Wi′求和,并且计算错误率eqp。即,通过计算Ew[l(y≠fjk)],可以获得错误率eqp
另外,学习器设置单元135利用由错误率计算单元135a计算出的错误率eqp和阈值thqp来计算弱学习器gqp(x)。例如,当弱学习器gqp(x)是被称为“回归残余”的函数时,弱学习器gqp(x)可以按如下方式计算:
gqp(x)=aqp(Zp(x)>thqp)+bqp  ...(14)
注意,弱学习器并不限于函数“回归残余”,而是可以是诸如“残余”之类的函数。
在等式(14)中,Zp(x)表示特征函数Zp(x)。项aqp(Zp(x)>thqp)表示这样一个函数,该函数在特征x[dimp]大于或等于阈值thqp的情况下返回值aqp,而在特征x[dimp]小于阈值thqp的情况下返回“0”,其中x[dimp]是通过将与临时识别用特征相对应的服装特征点或轮廓特征点的服装特征或轮廓特征代入到Zp(x)中而获得的值。
另外,用在等式(14)中的值aqp和bqp是利用错误率eqp计算的。更具体而言,例如,下面描述的可靠度cq被用作值aqp。可靠度cq可以利用错误率eqp计算。注意,值aqp和bqp可以是预先获得的预定值。
这样,针对每个群Grp设置了弱学习器gqp(x)。当错误率eqp被从学习器设置单元135输送到学习器选择单元136时,处理从步骤S146进行到步骤S147。
在步骤S147中,学习器选择单元136针对从学习器设置单元135提供的每个特征函数Zp(x)基于P个错误率eqp来从P个弱学习器gqp(x)中选择使得错误率eqp最小化的弱学习器gqp(x)。之后,学习器选择单元136从学习器设置单元135获取所选的弱学习器gqp(x)。
在步骤S148中,通过与使用上述等式(10)的计算相似的计算,学习器选择单元136基于所选的弱学习器gqp(x)的错误率eqp来获得所选的弱学习器gqp(x)的可靠度cq,并将计算出的可靠度cq输送到权重更新单元137。
在这种情况下,通过将eq设置为错误率eqp中所选的弱学习器gqp(x)的错误率eqp,即,P个错误率eqp中的最小错误率eqp,等式(10)中所示的ej用作eq,并且因此可以计算出可靠度cq。下文中,在步骤S147中选择的群Grp的弱学习器也被称为弱学习器gq(x),并且弱学习器gq(x)的错误率eqp也被称为错误率eq
在步骤S149中,权重更新单元137利用所提供的可靠度cq来执行与上述等式(11)相似的计算。因而,权重更新单元137重新计算每个训练图像PIi的权重Wi′,并且通过归一化权重Wi′来更新所有权重Wi′。权重更新单元137随后将权重Wi′输送到权重设置单元133。即,计算Wi′exp[-cq·1(y≠fgq)],并且更新权重Wi′。权重设置单元133基于从权重更新单元137提供的更新权重Wi′来将更新权重Wi′赋予训练图像PIi
在步骤S150中,学习器选择单元136利用新获得的弱学习器gq(x)来更新所存储的整合学习器G(x)。即,学习器选择单元136通过计算下面的等式来更新整合学习器G(x):
G(x)=G′(x)+gq(x)...(15)
在等式(15)中,G′(x)表示在被更新之前存储在学习器选择单元136中的整合学习器,并且gq(x)表示新获得的弱学习器gq(x)。即,学习器选择单元136将新获得的弱学习器gq(x)加上所存储的整合学习器G′(x)以便更新整合学习器。
在步骤S151中,学习器选择单元136存储与使得错误率eqp最小化的弱学习器gq(x)相对应的临时识别用特征,即服装特征点对k的服装特征和轮廓特征点的轮廓特征中的至少一个。所存储的临时识别用特征用作识别用特征,该识别用特征是要代入到弱学习器gq(x)中的对k的服装特征点的服装特征或轮廓特征点的特征。
在步骤S152中,学习器选择单元136确定计数器是否大于或等于Q。如果计数器q不大于或等于Q,则处理进行到步骤S153,在步骤S153中,学习器选择单元136将计数器q递增1。之后,处理返回到步骤S144,并且重复上述处理。
即,利用每个训练图像的新设置的权重Wi′来针对P个特征函数Zp(x)设置新的弱学习器gqp(x),并且从弱学习器gqp(x)中选择使得错误率eqp最小化的弱学习器gqp(x)。之后,利用所选的弱学习器gqp(x)来更新整合学习器。
然而,如果在步骤S152中计数器q大于或等于Q,则处理进行到步骤S154,在步骤S154中,学习器选择单元136将所存储的整合学习器和临时识别用特征输送到学习器记录单元12。学习器记录单元12存储所接收的整合学习器和临时识别用特征。之后,整合学习器生成处理完成,并且处理返回到图5中所示的学习处理。
通过上述处理,由具有相对较低的错误率的Q个弱学习器gq(x)(1≤q≤Q)形成的整合学习器被输送到学习器记录单元12。另外,要用于每个弱学习器gq(x)的服装特征点对k的服装特征和轮廓特征点被输送到学习器记录单元12作为临时识别用特征。这里,Q是满足Q≤P的任意数。即,整合学习器G(x)是任意数Q的弱学习器gq(x)的线性和。
这样,学习设备11选择形成通过统计学习获得的临时整合学习器的某些弱学习器,并且生成由弱学习器的和形成的特征函数。之后,学习设备11将通过将特征代入到特征函数中而获得的值(即,利用在统计上训练一次的弱学习器获得的目标对象的识别分数)定义为新特征。另外,通过使用新特征的统计学习,学习设备11生成最终的整合学习器。
例如,如图16所示,当特征函数Zp(x)由一个弱学习器u1(x)形成时,通过将与弱学习器u1(x)相对应的特征(临时识别用特征)代入到特征函数Zp(x)中而获得的特征Zp的可能值是以下两个值:(a1+b1)和b1。注意,在图16中,纵坐标表示特征Zp的值,横坐标表示特征x[dim1]。
在图16中,特征Zp的值表示意图像是包括目标对象的图像的可能性。如果特征Zp的值大于或等于预定的参考阈值TH,则确定图像包含目标对象。然而,如果特征Zp的值小于阈值TH,则确定图像不包含目标对象。
另外,如图17所示,当特征函数Zp(x)例如由两个弱学习器u1(x)和u2(x)形成时,通过将与弱学习器u1(x)和u2(x)相对应的特征代入到特征函数Zp(x)中而获得的特征Zp的可能值的数目为4。注意,在图17中,纵坐标表示特征Zp的值,横坐标表示特征的值。
在图17中,特征Zp的值表示意图像是包括目标对象的图像的可能性。可能值是(b1+b2)、(a1+b1+a2+b2)、(a1+b1+b2)和(b1+a2+b2)。如果特征Zp的值大于或等于预定的参考阈值TH,则确定图像包含目标对象。然而,如果特征Zp的值小于阈值TH,则确定图像不包含目标对象。因此,如果特征Zp的值是(a1+b1+a2+b2)、(a1+b1+b2)和(b1+a2+b2)之一,则确定图像包含目标对象。
此外,当特征函数Zp(x)由N个弱学习器us(x)形成时,通过将与每个弱学习器相对应的特征代入到特征函数Zp(x)中而获得的特征Zp的可能值的数目为2N。由于特征Zp的值表示意图像是包括目标对象的图像的可能性,因此随着特征Zp的值增大,该可能性也增大。
这样,随着弱学习器us(x)的数目增大,从特征函数Zp(x)获得的新特征Zp的可能值的数目进一步增大。因此,作为形成特征函数Zp(x)的弱学习器us(x)的数目,可以表达特征空间中更复杂的样本(目标对象)的特征分布。即,可以更精确地获得当图像包含面部对象时获得的特征(特征的值)所定义的区域。因而,可以增大使用特征(整合学习器)的目标对象的检测精度。
以上述方式生成的整合学习器被记录在学习器记录单元12中,并且被输送到识别设备13。如果识别设备13利用整合学习器来检测目标对象,则从输入图像中可以更可靠地检测出用作目标对象的人。
注意,尽管已参考具有相同维度的特征(即,从相同特征点获取的特征(服装特征或轮廓特征))描述了图16和17中所示的示例,但是在实践中具有不同维度的特征被代入到特征函数Zp(x)中。
Real AdaBoost和由学习设备11执行的统计学习处理之间的差异如下。在Real AdaBoost中,样本(目标对象)的特征分布是直接从训练图像获取的。即,在Real AdaBoost中,特征的一维分布被学习。相反,在由学习设备11执行的统计学习处理中,具有最容易分离的维度的某些特征分布(即,具有最适合于学习的维度的某些特征分布)被组合在一起,并且用于学习特征分布。
当输入图像被输入到识别设备13时并且用户指示识别设备13检测图像中用作目标对象的人的情况下,识别设备13开始人类检测处理,并且检测输入图像中的目标对象。下面参考图18中所示的流程图来描述由识别设备13执行的示例性人类检测处理。
注意,由于在步骤S201至S203中执行的处理分别与图5所示的步骤S11至S13中执行的处理相似,因此不重复其描述。即,服装特征点提取单元31从输入图像中提取出服装特征点。之后,服装特征计算单元32形成由服装特征点提取单元31提取出的服装特征点的对,并且计算每一对的服装特征。随后,服装特征计算单元32将针对多个对获得的服装特征输送到识别计算单元35。
在步骤S204中,轮廓特征点提取单元33执行与图5所示的步骤S15相似的处理。因而,轮廓特征点提取单元33从输入图像中提取出轮廓特征点,并将所提取的特征点和输入图像输送到轮廓特征计算单元34。
在步骤S205中,轮廓特征计算单元34基于从轮廓特征点提取单元33提供的输入图像和轮廓特征点来执行轮廓特征计算处理,以便计算轮廓特征点的轮廓特征。之后,轮廓特征计算单元34将计算出的轮廓特征输送到识别计算单元35。注意,由于该轮廓特征计算处理与图13中所示的轮廓特征计算处理相似,因此不重复其描述。
在步骤S206中,识别计算单元35从学习器记录单元12中读出识别用特征和整合学习器,并将这些特征代入到所读出的学习器中。即,识别计算单元35通过将对应于识别用特征的从服装特征计算单元32提供的服装特征和从轮廓特征计算单元34提供的轮廓特征代入到从学习器记录单元12获取的整合学习器G(x)中来执行计算。因此,通过将对应于识别用特征的服装特征或轮廓特征代入到形成整合学习器G(x)的每个弱学习器gq(x)中来执行计算。
这里,代入到形成整合学习器的每个弱学习器中的特征是从训练图像的服装特征点对获得的特征、从位于与轮廓特征点相同位置处的输入图像中的服装特征对获得的特征、或者从轮廓特征点(从该轮廓特征点计算出识别用特征)获得的特征,该特征是服装特征或轮廓特征。
通过将特征代入到整合学习器中的计算,可以获得指示输入图像包括目标对象的可能性的值。识别计算单元35将在整合学习器中执行的计算的结果输送到识别结果输出单元36。
在步骤S207中,识别结果输出单元36基于从识别计算单元35提供的计算结果来输出检测人的结果。之后,检测人的处理完成。即,关于在输入图像中是否识别出目标对象(在输入图像中是否识别出人)的识别结果被输出。例如,如果从识别计算单元35提供的计算结果值大于或等于预定阈值,则指示出从输入图像中检测出用作目标对象的人的消息被输出作为识别结果。或者,从其检测出用作目标对象的人的区域可以被一个框架包围,并且包括该框架的输入图像可以被输出作为识别结果。
这样,识别设备13从输入图像中提取出服装特征点并且计算一对服装特征点的服装特征。另外,识别设备13从输入图像中提取出轮廓特征点并且计算轮廓特征点的轮廓特征。之后,识别设备13利用计算出的服装特征和轮廓特征以及存储在学习器记录单元12中的整合学习器来从输入图像中检测出目标对象。
如上所述,通过利用服装特征和轮廓特征来从输入图像中检测目标对象,可以更可靠地从图像中检测出目标对象。即,如果充分地提取服装特征和轮廓特征中的至少一个,则可以可靠地从输入图像中检测出目标对象。
另外,通过使用利用从特征函数获得的新特征计算的整合学习器,可以更可靠地从输入图像中检测出目标对象。
尽管已参考从图像中检测出的目标对象是人的情况描述了本实施例,但是目标对象并不限于人。例如,可以检测任意对象。此外,可以使用从图像中提取的任意特征。
例如,可以从训练图像中提取亮度信息、颜色信息和边缘信息作为特征,并且可以计算所提取的特征和从包括目标对象的图像的模型图像中提取的特征之间的相关值。之后,该相关值可以用作用于学习处理的特征。在这种情况下,相关值可以用作特征,并且临时学习器由多个弱学习器通过统计学习来形成。形成临时学习器的弱学习器中的某一些的线性和用作特征函数。另外,从特征函数获得的特征被使用以使得通过统计学习生成最终学习器。
在这种情况下,利用由形成临时学习器(该临时学习器通过学习处理获得)的弱学习器中的某一些形成的特征函数来定义新特征,并且随后,通过另一学习处理生成最终学习器。因此,可以提供防止过拟合并且可靠地检测目标对象的学习器。
在图1所示的学习设备11中,仅可以生成服装学习器和轮廓学习器之一,并且可以从服装学习器和轮廓学习器之一生成特征函数。
这种利用形成通过学习处理获得的学习器的弱学习器来定义新特征并且随后通过另一学习处理获得最终学习器的学习方法具有很高的通用性。因此,该学习方法可有效用于多种(例如语音或运动的)统计学习任务。另外,由于除了级联连接的每一级的输出以外,该学习方法还可以采用弱学习器中的任意一个的分数,因此该学习方法可以应用于任意类型的Boosting学习。
上述处理序列不仅可通过硬件执行,还可通过软件执行。当上述处理序列通过软件执行时,软件的程序被从程序记录介质安装到专用硬件中结合的计算机中,或者安装到可以通过安装多种程序来执行多种功能的通用个人计算机中。
图19是利用程序执行上述处理序列的计算机硬件的示例性配置的框图。
计算机包括经由总线504彼此连接的中央处理单元(CPU)501、只读存储器(ROM)502和随机访问存储器(RAM)503。
另外,输入和输出接口505连接到总线504。以下单元连接到输入和输出接口505:包括键盘、鼠标和麦克风的输入单元506,包括显示器和扬声器的输出单元507,包括硬盘和非易失性存储器的记录单元508,包括网络接口的通信单元509,以及驱动可移动介质511(例如磁盘、光盘、磁光盘或半导体存储器)的驱动器510。
在具有这种配置的计算机中,CPU 501经由输入和输出接口505和总线504将存储在例如记录单元508中的程序加载到RAM 503中。
要由计算机(CPU 501)执行的程序被记录在用作封装介质的可移动介质511中。可移动介质511的示例包括磁盘(包括柔性盘)、光盘(例如,致密盘-只读存储器(CD-ROM)或数字多功能盘(DVD))、磁光盘和半导体存储器。因而,程序被输送到计算机。或者,程序可以经由无线或有线传输介质(例如局域网、因特网或数字卫星广播)来提供。
随后,可以通过将可移动介质511安装在驱动器510中,来经由输入和输出接口505将程序安装在记录单元508中。或者,可以利用无线或有线传输介质经由通信单元509接收程序并安装在记录单元508中。又或者,可以将程序预先安装在ROM 502或记录单元508中。
该程序可以是以上述顺序执行处理的程序或者是并行或按需要执行处理的程序。
本申请包含与2008年9月4日向日本专利局提交的日本在先专利申请JP 2008-226690有关的主题,上述申请的全部内容通过引用而结合于此。
本领域技术人员应当理解,取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更,只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

Claims (13)

1.一种学习设备,包括:
特征提取装置,用于提取多个训练图像中的特征点处的特征,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像;
临时学习器生成装置,用于生成用于从图像中检测目标对象的临时学习器,其中通过利用多个训练图像和从多个训练图像获得的特征的统计学习,由多个弱学习器形成所述临时学习器;以及
学习器生成装置,通过将所述特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用该新特征和所述多个训练图像的统计学习,生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器。
2.如权利要求1所述的学习设备,其中所述特征函数由形成所述临时学习器的多个弱学习器构成。
3.如权利要求2所述的学习设备,其中所述学习器生成装置使用形成所述临时学习器的多个弱学习器当中的任意数目的弱学习器的线性和来作为所述特征函数。
4.如权利要求3所述的学习设备,其中所述学习器生成装置利用多个相应的特征函数来生成任意数目的多个特征,并且构成每个特征函数的弱学习器的数目是不同的。
5.一种用在学习设备中的学习方法,所述学习设备包括特征提取装置、临时学习器生成装置和学习器生成装置,所述特征提取装置用于提取多个训练图像中的特征点处的特征,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像,所述临时学习器生成装置生成用于从图像中检测目标对象的临时学习器,其中通过利用多个训练图像和从多个训练图像获得的特征的统计学习,由多个弱学习器形成所述临时学习器,所述学习器生成装置通过将所述特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用该新特征和所述多个训练图像的统计学习,生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器,该方法包括以下步骤:
利用所述特征提取装置从所述多个训练图像中提取所述特征;
利用所述临时学习器生成装置,通过使用多个训练图像和从多个训练图像获得的特征的统计学习来生成所述临时学习器;以及
利用所述学习器生成装置,通过使用所述新特征和所述多个训练图像的统计学习来生成最终学习器。
6.一种程序,包括:
用于使计算机执行以下步骤的程序代码:
提取多个训练图像中的特征点处的特征,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像;
生成用于从图像中检测目标对象的临时学习器,其中通过利用多个训练图像和从多个训练图像获得的特征的统计学习,由多个弱学习器形成所述临时学习器;以及
通过将所述特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用该新特征和所述多个训练图像的统计学习,生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器。
7.一种识别设备,包括:
特征提取装置,用于提取输入图像中的特征点处的特征;以及
检测装置,用于通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从所述输入图像中检测出所述目标对象,所述学习器是利用多个训练图像生成的,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含所述目标对象的训练图像;
其中,通过使用多个训练图像和多个训练图像的特征点处的特征的统计学习来生成由多个弱学习器形成并且从图像中检测目标对象的临时学习器,并且利用多个训练图像以及通过将从多个训练图像获得的特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中而获得的新特征来执行统计学习,从而形成所述学习器。
8.如权利要求7所述的识别设备,其中所述特征函数是形成所述临时学习器的多个弱学习器当中的任意数目的弱学习器的线性和。
9.如权利要求8所述的识别设备,其中,利用多个相应的特征函数生成任意数目的多个特征,并且构成每个特征函数的弱学习器的数目是不同的。
10.一种用在识别设备中的识别方法,所述识别设备包括特征提取装置和检测装置,所述特征提取装置用于提取输入图像中的特征点处的特征,所述检测装置用于通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从所述输入图像中检测出所述目标对象,所述学习器是利用多个训练图像生成的,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含所述目标对象的训练图像,该方法包括以下步骤:
利用所述特征提取装置从所述输入图像中提取所述特征;以及
利用所述检测装置通过将所述特征代入到所述学习器中并执行计算来从所述输入图像中检测所述目标对象;
其中所述学习器是通过以下方式形成的:生成用于从图像中检测目标对象的临时学习器,其中所述临时学习器是通过利用所述多个训练图像和所述多个训练图像的特征点处的特征的统计学习而由多个弱学习器形成的,并且利用多个训练图像以及通过将从多个训练图像获得的特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中而获得的新特征来执行统计学习。
11.一种程序,包括:
用于使计算机执行以下步骤的程序代码:
提取输入图像中的特征点处的特征;以及
通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从所述输入图像中检测所述目标对象,所述学习器是利用多个训练图像生成的,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含所述目标对象的训练图像;
其中所述学习器是通过以下方式形成的:生成用于从图像中检测目标对象的临时学习器,其中所述临时学习器是通过利用所述多个训练图像和所述多个训练图像的特征点处的特征的统计学习而由多个弱学习器形成的,并且利用多个训练图像以及通过将从多个训练图像获得的特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中而获得的新特征来执行统计学习。
12.一种学习设备,包括:
特征提取单元,被配置为提取多个训练图像中的特征点处的特征,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含目标对象的训练图像;
临时学习器生成单元,被配置为生成用于从图像中检测目标对象的临时学习器,其中通过利用多个训练图像和从多个训练图像获得的特征的统计学习,由多个弱学习器形成所述临时学习器;以及
学习器生成单元,被配置为通过将所述特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中以便获得新特征并且执行利用该新特征和所述多个训练图像的统计学习,生成由多个弱学习器形成并且从图像中检测目标对象的最终学习器。
13.一种识别设备,包括:
特征提取单元,被配置为提取输入图像中的特征点处的特征;以及
检测单元,被配置为通过将所述特征代入到用于从图像中检测要识别的目标对象的学习器中并执行计算来从所述输入图像中检测所述目标对象,所述学习器是利用多个训练图像生成的,所述多个训练图像包括含有要识别的目标对象的训练图像和不包含所述目标对象的训练图像;
其中,通过利用多个训练图像和多个训练图像的特征点处的特征的统计学习来生成由多个弱学习器形成并且从图像中检测目标对象的临时学习器,并且利用多个训练图像以及通过将从多个训练图像获得的特征代入到由形成所述临时学习器的弱学习器中的至少一个构成的特征函数中而获得的新特征来执行统计学习,从而形成所述学习器。
CN200910168657A 2008-09-04 2009-09-02 学习设备、学习方法、识别设备、识别方法和程序 Pending CN101667263A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008226690A JP4623387B2 (ja) 2008-09-04 2008-09-04 学習装置および方法、認識装置および方法、並びにプログラム
JP2008226690 2008-09-04

Publications (1)

Publication Number Publication Date
CN101667263A true CN101667263A (zh) 2010-03-10

Family

ID=41725998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910168657A Pending CN101667263A (zh) 2008-09-04 2009-09-02 学习设备、学习方法、识别设备、识别方法和程序

Country Status (3)

Country Link
US (1) US8396817B2 (zh)
JP (1) JP4623387B2 (zh)
CN (1) CN101667263A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239359A (zh) * 2013-06-24 2014-12-24 富士通株式会社 基于多模态的图像标注装置以及方法
CN111868780A (zh) * 2018-03-08 2020-10-30 Jvc建伍株式会社 学习用数据生成装置、学习用模型生成系统、学习用数据生成方法以及程序

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5041229B2 (ja) * 2007-12-07 2012-10-03 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP4670976B2 (ja) * 2008-10-03 2011-04-13 ソニー株式会社 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体
CN101840518A (zh) * 2010-04-02 2010-09-22 中国科学院自动化研究所 基于生物视觉机理的物体训练和识别方法
JP2012027572A (ja) 2010-07-21 2012-02-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP6160196B2 (ja) 2013-04-15 2017-07-12 オムロン株式会社 識別器更新装置、識別器更新プログラム、情報処理装置、および識別器更新方法
US9208404B2 (en) * 2013-11-15 2015-12-08 Adobe Systems Incorporated Object detection with boosted exemplars
US9269017B2 (en) 2013-11-15 2016-02-23 Adobe Systems Incorporated Cascaded object detection
JP6448325B2 (ja) 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN114207675A (zh) * 2019-05-28 2022-03-18 佩治人工智能公司 用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100122A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
JP2007080160A (ja) * 2005-09-16 2007-03-29 Konica Minolta Holdings Inc 特定物体判別装置、特定物体判別方法、及び特定物体判別装置の作成方法
TWI431563B (zh) * 2010-08-03 2014-03-21 Ind Tech Res Inst 語言學習系統、語言學習方法及其程式產品

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239359A (zh) * 2013-06-24 2014-12-24 富士通株式会社 基于多模态的图像标注装置以及方法
CN104239359B (zh) * 2013-06-24 2017-09-01 富士通株式会社 基于多模态的图像标注装置以及方法
US9830380B2 (en) 2013-06-24 2017-11-28 Fujitsu Limited Multimodality-based image tagging apparatus and method
CN111868780A (zh) * 2018-03-08 2020-10-30 Jvc建伍株式会社 学习用数据生成装置、学习用模型生成系统、学习用数据生成方法以及程序
CN111868780B (zh) * 2018-03-08 2023-07-28 Jvc建伍株式会社 学习用数据生成装置及方法、模型生成系统以及程序

Also Published As

Publication number Publication date
JP2010061415A (ja) 2010-03-18
JP4623387B2 (ja) 2011-02-02
US20100055654A1 (en) 2010-03-04
US8396817B2 (en) 2013-03-12

Similar Documents

Publication Publication Date Title
CN101667263A (zh) 学习设备、学习方法、识别设备、识别方法和程序
CN101458764B (zh) 学习设备、学习方法、识别设备、识别方法和程序
Ewees et al. Improved artificial bee colony using sine-cosine algorithm for multi-level thresholding image segmentation
CN105760888B (zh) 一种基于属性聚类的邻域粗糙集集成学习方法
CN101097564A (zh) 参数学习方法及设备、模式识别方法及设备
CN107918636A (zh) 一种人脸快速检索方法、系统
CN110717554A (zh) 图像识别方法、电子设备及存储介质
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
Felix et al. Rough sets-based machine learning using a binary discernibility matrix
CN115577357A (zh) 一种基于堆叠集成技术的Android恶意软件检测方法
CN112200862B (zh) 目标检测模型的训练方法、目标检测方法及装置
Muppidi et al. Image segmentation by multi-level thresholding based on fuzzy entropy and genetic algorithm in cloud
CN110147798A (zh) 一种可用于网络信息检测的语义相似度学习方法
CN116383503A (zh) 基于对抗学习和序列推荐的知识追踪方法及系统
Amiri et al. Copy-move forgery detection using a bat algorithm with mutation
CN111488520B (zh) 一种农作物种植种类推荐信息处理装置、方法及存储介质
Villegas-Cortez et al. Interest points reduction using evolutionary algorithms and CBIR for face recognition
CN112738724B (zh) 一种区域目标人群的精准识别方法、装置、设备和介质
CN112782365B (zh) 一种基于多级分类器的混合气体识别方法
CN109444360B (zh) 基于细胞神经网络和电子鼻特征提取的果汁贮藏期检测算法
Shelton et al. Comparison of Genetic-based Feature Extraction Methods for Facial Recognition.
EP3748549B1 (en) Learning device and learning method
CN112559590A (zh) 一种测绘数据资源处理方法、装置及服务器
CN112612897B (zh) 一种维基百科概念依赖关系识别方法
Birleanu et al. Feature extraction for distance-based classification of signal sources

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100310