CN1828632A - 目标检测装置、学习装置、目标检测系统及目标检测方法 - Google Patents
目标检测装置、学习装置、目标检测系统及目标检测方法 Download PDFInfo
- Publication number
- CN1828632A CN1828632A CNA2006100515376A CN200610051537A CN1828632A CN 1828632 A CN1828632 A CN 1828632A CN A2006100515376 A CNA2006100515376 A CN A2006100515376A CN 200610051537 A CN200610051537 A CN 200610051537A CN 1828632 A CN1828632 A CN 1828632A
- Authority
- CN
- China
- Prior art keywords
- sample image
- combination
- target
- characteristic
- characteristic area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
目标检测装置包括:存储单元,特征量计算单元,量化单元和判定单元,存储单元存储先前学习的关于从输入图像中提取的样本图像的学习信息,该信息包括第一信息和第二信息,第一信息指出从多个特征区/特征量组中所选择出的给定数量的特征区/特征量组的至少一种组合,每个特征区/特征量组都包括其中一个特征区域和其中一个量化的学习特征量,每个特征区域都具有多个像素区域,且通过量化学习特征量所得到的经量化的学习特征量对应于在样本图像中的特征区域的特征量,第二信息指出样本图像是目标或是非目标;特征量计算单元计算属于输入图像中的组合的每个特征区域的输入特征量;量化单元量化已计算的输入特征量从而获得量化的输入特征量;判定单元利用量化的输入特征量和学习信息来判定输入图像是否包括目标。
Description
技术领域
本发明涉及目标检测装置、学习装置、目标检测系统和目标检测方法。
背景技术
有一种方法是利用两个像素区域之间的亮度差值作为特征量来检测图像中的具体目标(参见,例如,Paul Viola and Michael Jones,在2001年IEEE的关于计算机视觉和模式识别(Computer Vision and Pattern Recognition,CVPR)的会议上发表的“利用单一特征的升压级联的快速目标检测”(“Rapid Object Detection Using a BoostedCascade of Simple Feature”))。如果像素区域是矩形的,特征量可以被有效计算,因而可被广泛利用。该方法使用识别器来判定目标是否在扫描副窗口中存在。该识别器通过将矩形区域中计算的亮度差值与阈值比较来判定这一点。通过利用阈值的比较过程所获得的识别准确度不高。然而,高的识别准确度可以通过组合许多此类识别器从而在总体上获得。
常规的识别器基于从矩形区域中计算的单一的亮度差值来进行判定。利用这样的单一的特征量,包含在目标中的特征之间的相互关系,例如,目标特征的对称,不能被有效地估算,导致很低的识别准确度。很显然这种低准确度的识别器组合将不会在很大程度上提高识别准确度。
发明内容
根据本发明的第一方面提供一种目标检测装置,包括:存储单元,特征量计算单元,量化单元和判定单元。存储单元被配置为存储先前学习的关于从输入图像中提取的样本图像的学习信息,该学习信息包括第一和第二信息,第一信息指出从多个特征区/特征量组中所选择出的给定数量的特征区/特征量组的至少一种组合,每个特征区/特征量组都包括其中一个特征区域和其中一个经量化的学习特征量,特征区域的每一个都具有多个像素区域,且通过量化学习特征量所得到的量化的学习特征量对应于在样本图像中的特征区域的特征量,第二信息指出样本图像是目标或非目标;特征量计算单元被配置为计算属于输入图像中的组合的每个特征区域的输入特征量;量化单元被配置为量化已计算的输入特征量从而获得量化的输入特征量;判定单元被配置为利用量化的输入特征量和学习信息来判定输入图像是否包括目标。
根据本发明的第二方面提供一种学习装置,包括:第一存储单元,特征产生单元,特征计算单元,概率计算单元,组合产生单元,联合概率计算单元,判定单元,选择单元和第二存储单元。第一存储单元被配置为存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;特征计算单元被配置为给每个样本图像计算每个特征区域的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,接着,基于所计算的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生多个特征区域的组合;联合概率计算单元被配置为根据每个组合计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、已计算的联合概率、和指示每个样本图像是目标或非目标的信息;判定单元被配置为参考所述表格,对于每个组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;选择单元被配置为从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元存储被选组合和与被选组合对应的一个表格。
根据本发明的第三方面提供一种学习装置,包括:第一存储单元,分配单元,特征产生单元,特征计算单元,概率计算单元,组合产生单元,联合概率计算单元,判定单元,选择单元,第二存储单元和更新单元。第一存储单元存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;分配单元被配置为将初始权重分配给存储的样本图像;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,特征区域不多于排列在每个样本图像中的特征区域的最大数量;特征计算单元被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或该加权和的绝对值,该加权和或该绝对值被用作与每个特征区域对应的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于所计算的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生特征区域的多个组合;联合概率计算单元被配置为根据每个组合来计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、经量化的特征量、计算得到的联合概率乘以初始权重所获得的多个数值、和指出每个样本图像是目标或非目标的信息;判定单元被配置为参考所述表格对于每个组合来判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;选择单元被配置为从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元存储被选组合和与被选组合对应的一个表格;更新单元被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重,
其中:联合概率计算单元产生表格来存储已产生的组合、计算得到的联合概率乘以更新的权重所获得的多个数值、和指出每个样本图像是目标或非目标的信息;判定单元基于计算得到的联合概率乘以更新的权重所获得的数值进行判定;选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中的误差数最小的组合;第二存储单元重新存储由选择单元所选择的组合和与选择单元所选择的组合对应的一个表格。
根据本发明的第四方面提供一种包括学习装置和目标检测装置的目标检测系统,
学习装置包括:第一存储单元,特征产生单元,特征计算单元,概率计算单元,组合产生单元,联合概率计算单元,第一判定单元,选择单元和第二存储单元。第一存储单元被配置为存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;特征计算单元被配置为给每个样本图像计算每个特征区域的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于计算得到的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生多个特征区域的组合;联合概率计算单元被配置为根据每个组合来计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储已产生的组合、已计算的联合概率,和指出每个样本图像是否是目标或非目标的信息;第一判定单元被配置为参考所述表格对于每个组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;选择单元被配置为从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元存储被选组合和与被选组合对应的一个表格,
目标检测装置包括:被配置为计算属于在输入图像中的组合的每个特征区域的输入特征量的特征量计算单元;被配置为将计算得到的输入特征量量化从而获得经量化的输入特征量的量化单元;和被配置为利用经量化的输入特征量和被存储在第二存储单元中的一个表格来判定输入图像是否包括目标的第二判定单元。
根据本发明的第五方面提供一种包括学习装置和目标检测装置的目标检测系统,
学习装置包括:第一存储单元,分配单元,特征产生单元,第一计算单元,概率计算单元,组合产生单元,联合概率计算单元,第一判定单元,选择单元,第二存储单元和更新单元。第一存储单元存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;分配单元被配置为将初始权重分配给被存储的样本图像;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;第一计算单元被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和、或加权和的绝对值,加权和或绝对值被用作与每个特征区域对应的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于计算得到的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生多个特征区域的组合;联合概率计算单元被配置为根据每个组合计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储被产生的组合、经量化的特征量、通过将计算得到的联合概率乘以初始权重获得的多个数值、和指出每个样本图像是目标或非目标的信息;第一判定单元被配置为参考所述表格,对于每个所述组合来判定表示目标样本图像的联合概率乘以初始权重获得的数值与表示非目标样本图像的联合概率乘以初始权重获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;选择单元被配置为从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元存储被选组合和与被选组合对应的一个表格;更新单元被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重,
其中:联合概率计算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重获得的多个数值、和指出每个样本图像是目标或非目标的信息;第一判定单元基于计算得到的联合概率乘以更新的权重获得的数值进行判定;选择单元从多个基于更新的权重判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元重新存储由选择单元所选择的组合,和与由选择单元所选择的组合对应的表格,
目标检测装置包括:被配置为计算属于输入图像中的组合的每个特征区域的输入特征量的第二计算单元;被配置为根据输入特征量将已计算的输入特征量量化为离散值中的一个值,从而获得经量化的输入特征量的量化单元;被配置为参考被选组合和该一个表格来判定输入图像是否包括目标的第二判定单元;被配置为利用通过将权重分配给关于该多个组合由第二判定单元获得的多个判定结果而获得的加权和来判定输入图像是否包括目标的总判定单元。
根据本发明的第六方面提供一种目标检测方法,包括:存储先前学习的关于从输入图像中提取的样本图像的包括第一信息和第二信息的学习信息,第一信息指出从多个特征区/特征量组中所选择出的给定数量的特征区/特征量组的至少一种组合,每个特征区/特征量组都包括其中一个特征区域和其中一个量化的学习特征量,每个特征区域都具有多个像素区域,且通过量化学习特征量所得到的量化的学习特征量对应于在样本图像中的特征区域的特征量,第二信息指出样本图像是目标或是非目标;计算属于输入图像中的组合的每个特征区域的输入特征量;量化被计算的输入特征量从而获得经量化的输入特征量;和利用经量化的输入特征量和学习信息判定输入图像是否包括目标。
根据本发明的第七方面提供一种学习方法,包括:存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;为每个样本图像计算每个特征区域的特征量;取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于所计算的概率将特征量量化成为多个离散值中的一个值;产生多个特征区域的组合;根据每个组合来计算经量化的特征量在每个样本图像中被同时观测到的联合概率,并产生表格来存储已产生的组合、已计算的联合概率、和指出每个样本图像是目标或非目标的信息;参考所述表格,对于每个组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;和存储被选组合和与被选组合对应的表格。
根据本发明的第八方面提供一种学习方法,包括:存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;将初始权重分配给被存储的样本图像;产生多个每一个都包括多个像素区域的特征区域,特征区域不多于排列在每个样本图像中的特征区域的最大数量;为每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和、或加权和的绝对值,加权和或绝对值被用作与每个特征区域对应的特征量;取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于已计算的概率将特征量量化为多个离散值中的一个值;产生多个特征区域的组合;根据每个组合来计算经量化的特征量在每个样本图像中被同时观测到的联合概率,并产生表格来存储已产生的组合、经量化的特征量、计算得到的联合概率乘以初始权重所获得的多个数值,和指出每个样本图像是否是目标或非目标的信息;参考所述表格,对于每个组合来判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;存储被选组合和与被选组合对应的一个表格;当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重;产生表格来存储已产生的组合、被计算的联合概率乘以更新的权重所获得的多个数值,和指出每个样本图像是否是目标或非目标的信息;基于被计算的联合概率乘以更新的权重所获得的数值进行判定;从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和重新存储被选组合和与被选组合对应的一个表格。
根据本发明的第九方面提供一种学习装置,包括:第一存储单元,分配单元,特征产生单元,特征计算单元,概率计算单元,组合产生单元,学习路径产生单元,联合概率计算单元,判定单元,第一选择单元,第二存储单元,更新单元、第二计算单元和第二选择单元。第一存储单元存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;分配单元被配置为将初始权重分配给存储的样本图像;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,特征区域不多于排列在每个样本图像中的特征区域的最大数量;特征计算单元被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或该加权和的绝对值,该加权和或该绝对值被用作与每个特征区域对应的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于所计算的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生特征区域的多个组合;学习路径产生单元被配置为根据所述组合产生多条学习路径;联合概率计算单元被配置为根据每个组合来计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、经量化的特征量、计算得到的联合概率乘以初始权重所获得的多个数值、和指示每个样本图像是目标或非目标的信息;判定单元被配置为参考所述表格对于每个组合来判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;第一选择单元被配置为从各个组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元存储被选组合和与被选组合对应的一个表格;更新单元被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重,第二计算单元被配置为对应学习路径计算组合造成的损失;和第二选择单元被配置为选择损失最小的一个组合,
其中:联合概率计算单元产生表格来存储已产生的组合、计算得到的联合概率乘以更新的权重所获得的多个数值、和指出每个样本图像是目标或非目标的信息;判定单元基于计算得到的联合概率乘以更新的权重所获得的数值进行判定;第一选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中的误差数最小的组合;第二存储单元重新存储由第一选择单元所选择的组合和与第一选择单元所选择的组合对应的一个表格。
根据本发明的第十方面提供一种学习装置,包括:第一存储单元,分配单元,特征产生单元,第一计算单元,概率计算单元,组合产生单元,联合概率计算单元,判定单元,第二计算单元,更新单元,第三计算单元,比较单元和第二存储单元。第一存储单元存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;分配单元被配置为将初始权重分配给被存储的样本图像;特征产生单元被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;第一计算单元被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和、或加权和的绝对值,加权和或绝对值被用作与每个特征区域对应的特征量;概率计算单元被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于计算得到的概率将特征量量化为多个离散值中的一个值;组合产生单元被配置为产生多个特征区域的组合;联合概率计算单元被配置为根据每个组合计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储被产生的组合、经量化的特征量、通过将计算得到的联合概率乘以初始权重获得的多个数值、和指出每个样本图像是目标或非目标的信息;判定单元被配置为参考所述表格,对于每个所述组合来判定表示目标样本图像的联合概率乘以初始权重获得的数值与表示非目标样本图像的联合概率乘以初始权重获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;第二计算单元被配置为计算由对应样本图像的判定结果中误差数量最少的一个组合造成的第一损失;更新单元被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重;第三计算单元被配置为计算在所述更新单元基于所产生的组合中在对应样本图像的判定结果中使误差数量最少的一个子组合更新权重时,以及在其他特征区域被增加到该子组合中使该子组合中包括的特征区域的数量比所产生的组合中包括的特征区域的数量少一个时得到的特征区域的新组合的第二损失;选择单元被配置为比较第一损失和第二损失,并选择第一损失和第二损失中较小的组合;和第二存储单元存储被配置为存储选择单元选择的所述组合和与比较单元选择的组合对应的一个表算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重获得的多个数值、和指示每个样本图像是目标或非目标的信息;判定单元基于计算得到的联合概率乘以更新的权重获得的数值进行判定;选择单元从多个基于更新的权重判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;第二存储单元重新存储由选择单元所选择的组合,和与由选择单元所选择的组合对应的表格。
附图说明
图1是说明本发明的一个实施例的目标检测装置的方框图;
图2是说明图1中出现的识别器的方框图;
图3是显示由图2中出现的特征量计算单元用来计算加权和的像素区域的一组实例的示意图;
图4是说明矩形像素区域的一组实例的示意图;
图5是说明排列在作为检测对象的某个面部图像样本上的多个特征(一组像素区域)的示意图;
图6是说明图1的识别器包括多个识别器元件的情况的方框图;
图7是说明输入图像被图1中出现的扫描单元利用不同尺寸的扫描窗进行扫描的状态的示意图;
图8是说明不同尺寸的输入图像被图1出现的扫描单元扫描的状态的示意图;
图9是说明用于计算由图2的识别器使用的参数的学习装置的方框图;
图10是用于说明学习装置操作的流程图;
图11是说明由图9中出现的特征产生单元产生的特征的实例的示意图;
图12A、12B和12C是说明由图9中出现的特征量计算单元所计算的概率密度分布的曲线图;
图13是说明用于计算由图6中出现的识别器所使用的参数的学习装置的方框图;和
图14是用于说明图13的学习装置的操作的流程图。
图15是用于解释利用选择的特征和提升(boosting)算法的学习过程的视图;
图16是用于解释图15的存在路径的过程的改进的视图;
图17是用于解释图16的学习方法的流程图;
图18是用于解释执行通过综合图15和16中所示的学习方法得到的方法的学习装置;以及
图19是用于解释图18的学习装置的操作的流程图。
具体实施方式
下文将参考附图提供对于根据本发明的实施例的目标检测装置,学习装置,目标检测系统,目标检测方法和目标检测程序的详细描述。
本实施例根据上文被展开,目的在于提供目标检测装置,学习装置,目标检测系统,目标检测方法和目标检测程序,其能够以比现有技术更高的准确度检测目标。
本实施例的目标检测装置,学习装置,目标检测系统,目标检测方法和目标检测程序可以对一个目标进行检测并且能够以比现有技术更高的准确度检测目标。
(目标检测装置)
首先参考图1描述本实施例的目标检测装置。
如图所示,目标检测装置包括扫描单元101、预处理单元102、识别器103和后处理单元104。
扫描单元101接收图像并用预定尺寸的窗口(扫描窗)来扫描该图像。扫描单元101以预定步幅宽度从输入图像上的原点移动扫描窗。
预处理单元102在窗口单元中由扫描单元101所获得的图像上进行诸如平滑化或亮度校正的预处理,并且从图像中清除噪声和改变照明的影响等。关于预处理,两种情况可以被考虑。即,预处理在包含于每个扫描窗中的部分图像或整个图像上进行。在后一种情况中,扫描单元101和预处理单元102的次序被改变从而能够让预处理在扫描之前进行。
具体地,预处理单元102进行预处理是为了获得例如图像的亮度值的对数。如果代替亮度值自身的亮度值对数的差值被当作特征量,即使是例如用动态范围在黑暗的地方被照相的目标的图像,该图像不同于为学习而使用的样本,特征量仍可以从中可靠地获得。预处理单元102既可进行上文提到的预处理,也可以进行在每个扫描窗中的直方图平滑化,或将亮度值调节到某个平均值和方差的处理。这些处理作为用于吸收摄影条件或摄影系统中的偏差的预处理是很有效的。更进一步,要注意地是如果输入图像用另一种方法处理且可以被直接输入到识别器103中,那么扫描单元101和预处理单元102是不必要的。
识别器103进行判定在扫描窗中的局部图像是否是目标的处理。在检测目标时,识别器103存储指示目标位置的数据。识别器103将随后参考图2至6被详细描述。
之后,目标检测装置反复进行扫描和判定的处理直到图像的最后部分被处理。通常,虽然检测位置的数量取决于扫描的步长宽度,但对于一个单一目标可以获得多个检测位置。
当对于单一目标的多个检测位置被获得的时候,后处理单元104将检测位置合并为一个位置从而为单一目标判定一个单一的检测位置,并且输出结果的位置。在获得单一目标的多个检测位置的地方这些位置彼此靠近,因此可以被合并成一个位置。后处理单元104利用例如H.A.Rowley,S.Baluja和T.Kanade的论文“基于神经网络的人脸检测”(“Neuralnetwork-based face detection”),IEEE Trans.on PAMI,Vol.20,No.1,pp.23-38,1998中描述的方法进行后处理。
(识别器103)
识别器103将参考图2进行详细描述。
识别器103包括多个特征量计算部201、多个量化部202和一个识别部203。本文假设诸如在检测期间由本实施例的目标检测装置使用的一组像素区域或阈值的参数由学习装置预先获得,该学习装置将随后参考图9至13被描述。
每个特征量计算部201为相应像素区域的组合计算像素值的加权和。
每个量化部202将与其连接的相应特征量计算部201提供的加权和量化为多个离散值中的一个值。
识别部203接收量化部202的输出值,从输出值的组合中判定输入图像是否是检测对象,并输出判定结果。识别部203输出两个离散值作为输出值。具体地,当输入图像是检测对象时,例如+1的数值被输出,相反,当它不是检测对象时,例如-1的数值被输出。或者,识别部203可以输出连续值。例如,输入图像被看作是检测对象的可能性越高,输出值越接近+1(例如0.8或0.9),相反,可能性越低,输出值越接近-1。
<特征量计算部201>
特征量计算部201将参考图3进行描述。图3所示的是由特征量计算部201用来计算权重值和的像素区域的组合的实例。例如,像素区域组合301包括三个像素区域,而像素区域组合302包括两个像素区域。假设每个像素区域的位置和结构、像素区域的数量等被后面将描述的学习装置预设。如随后将被描述的,学习装置从每一个都具有多个像素区域的特征区域的组合中获得一个目标最容易从中检测的区域。
每个特征量计算部201计算每个像素区域的像素值的和,然后,将每个和乘以为每个像素区域预设的权重,并将相乘结果相加从而计算得到加权和D。加权和D通过数学公式1获得,
其中,n是像素区域的数量,Wi是为每个像素区域设定的权重,Ii是每个像素区域的像素值的和。例如,假设像素区域由如图3所示的白色和黑色区域组成,加权和D通过数学公式2获得,
D=wW·IW+wB·IB (2)其中,WW和WB是分别给予白色和黑色像素区域的权重,IW和IB分别是白色和黑色像素区域的像素值的和。具体地,假设白色和黑色像素区域的像素的数量分别由AW和AB代表,权重通过数学公式3定义,
此时,加权和D是每个像素区域的平均亮度的差值。加权和D取决于每个像素区域的排列、尺寸和/或构造而变化,并充当代表每个像素区域特征的特征量。在下文中,加权和D将被称作“特征量”,且像素区域的每个组合将简单地被称作为“特征”(或“特征区域”)。更进一步,在下面的描述中,将给出每个像素区域的平均亮度的差值被用作“特征量”的情况。要注意的是,取代每个像素区域的平均亮度的差值,每个像素区域的平均亮度的绝对值或每个像素区域的平均亮度的对数的差值可以被用作“特征量”。更进一步,要注意的是,每个像素区域最小可以由单一像素形成,但在此情况中,每个像素区域很容易受到噪声的影响。为了避免这一点,需要获得更多数量的像素的平均亮度。
参考图4,针对一个更实际的像素区域将描述每个特征量计算部201的操作。
图4是显示特征(即,像素区的组合)的示意图,其中像素区域全部是矩形。例如,特征401包括彼此相邻的矩形像素区域401A和401B。特征401和402是最基本的矩形区域的组合。从特征401和402中获得的特征量表示在重点位置上亮度的偏向,即,边缘的方向和强度。矩形区域越大,边缘特征具有越低的空间频率。更进一步,如果关于每个矩形区域的差值的绝对值被使用,尽管亮度偏向的方向不能被表达,它仍可以被检测一个边缘是否存在。这在背景的亮度水平不判定的目标轮廓部分中充当一个有效的特征。特征403和404分别由三个矩形像素区域403A、403B和403C的组合和三个矩形像素区域404A、404B和404C的组合形成。特征405包括两个矩形像素区域405A和405B。在此情况中,由于像素区域405A和405B彼此相斜地排列,因而特征405在输入图像中以偏斜方向提供亮度偏向。特征406由四个矩形像素区域的组合形成。特征407包括像素区域407A和包围区域407A的像素区域407B,因此可以被用于检测一个孤立点。
如果特征的结构限于上述的矩形,那么与利用任意结构的像素区域的情况比较,利用Paul Viola和Michael Jones在上文提及的文件中所揭示的“整体图像”,为获得像素值的和所进行的计算量可以减少。更进一步,如果相邻像素区域的组合被用作特征,那么局部区域亮度的偏向的增加/减少可以被估算。例如,当一个目标在白天户外摄影获得的图像中被检测时,亮度方面大的变化因为光照的影响可以在目标表面明显发生。然而,如果注意力仅仅放在局部区域亮度的偏向的增加/减少,应该理解,局部区域相对不受因光照引起绝对亮度改变的影响。下文将根据这个特征需要的计算量少和抗光照条件变化能力强的优点对相邻矩形区域的组合被用作特征的情况进行描述。
具体地,将参考图5描述多个特征被排列在作为检测对象的面部图像样本上的实例。在此情况中,将证明的是,把作为检测对象的目标从其它部分(非目标)中识别出来的识别准确度可以通过多个特征的结合而提高。
参考数字501表示一个从前面照相的作为检测对象的面部图像。由于从前面照相的面部基本上是对称的,如果矩形区域的两个组合被排列在双眼上及周围,如面部样本502所示,那么在两个组合之间存在亮度偏向的方向和亮度上的相互关系。本实施例的目标检测装置利用特征之间这样一种相互关系提高将检测对象识别的识别准确度。即使检测对象不能由单一特征识别,仍可以利用对其独特的多个特征识别。
参考数字503表示一个面部样本,其中三个区域的组合被排列用来覆盖双眼,两个区域的组合被排列在嘴上。通常,眉毛之间的部分比眼睛亮,且嘴巴比它周围暗。利用矩形区域的两个组合可以估算这样的面部特征是否被同时包括。参考数字504和505表示其中排列矩形区域的三个组合的面部样本。如果矩形区域组合的数量和/或矩形区域组合的类型被适当地选择,那么仅被包括在检测对象中的特征的组合可以被检测,提高了从非目标(例如背景)中将检测目标识别的识别准确度。
<量化部202>
每个量化部202将学习装置利用预设特征计算出的特征量量化。例如,由公式3获得的矩形区域平均亮度的差值(特征量)是一个连续值。每个量化部202将它量化为多个离散值中的一个值。用于量化的离散值以其为基础设定的一个或多个阈值通过学习被预定。例如,当两个离散值被用作量化值时,每个量化部202的输出是例如0或1。
<识别部203>
识别部203接收由量化部202通过量化获得的特征量,并且从它们的组合中判定输入图像是否是检测目标。具体地,首先,同时观测从所有量化部202输出的数值的概率(联合概率)参照通过学习得到的概率表判定。这些表格被学习装置准备用于目标(检测对象)和非目标的各个类别。识别部203参考两个概率值。随后,识别部203利用下列表达式比较两个用于判定(识别)的数值。概率被称作似然性。
其中,ht(X)是一个识别函数,用于获得关于图像X的识别结果。更进一步,P(V1,...,VF|object)和P(V1,...,VF|non-object)分别是参考概率表格获得的目标的似然性和非目标的似然性。Vf(1≤f≤F,f是整数)是从第f个量化部202的输出值中计算出的特征量的量化值,即,第f特征。λ是由学习装置用于识别预设的阈值。
识别部203输出+1的标签,表示输入图像是检测对象,或输出-1的标签,表示输入图像不是检测对象。更进一步,识别部203可以输出概率值即似然率之间的比率,或输出似然率的对数。如果输入图像是检测对象,那么似然率的对数是正值,而如果输入图像不是检测对象,那么似然率的对数是负值。
参考的概率表格的尺寸基于被使用的特征量和为每个特征量准备的量化级(离散值)的数量而判定。例如,在使用三个特征的识别部203中,如果从每个特征中获得的特征量被量化为两个离散值中的一个值,那么从量化部输出的数值的组合数量是8(=2×2×2)。通常,在特征的全部F个组合的情况中,假设从第f个特征中获得的特征量被量化为Lf个离散值中的一个值,从量化部中输出的数值的组合数量通过数学公式5获得。
在上文中,在两个表格中存储概率值并且比较它们的方法已经被描述。或者,仅仅比较结果可以被存储在单一表格中,且这个表格被参考。对于比较结果,可以使用诸如+1和-1的识别标签,上文提及的似然率或似然率的对数。仅在表格中存储比较结果比参考概率值和进行比较更有利,因为前者所需要的计算成本比后者更少。
如上文描述,本实施例的目标检测装置通过利用像素区域的多个组合来进行识别,且估算从组合中获得的特征量之间的相互关系。
《多个识别器》
如图2中所示的上述识别器103判定输入图像是否是作为检测对象的目标。如果类似于识别器103的多个识别器被组合,就可以实现更高准确度的识别装置。图6所示的是这种识别装置的结构实例。如图所示,输入图像被平行地输入到识别器601至603。尽管这些识别器平行地进行识别处理,但是它们使用不同的特征。即,通过组合估算不同特征的识别器,识别准确度可以被提高。例如,可以使用在不同条件下(有关例如照明、摄影角度、化妆、布景等)从目标中获得的特征,或不同目标的特征。
联合部604将识别部的输出结合成一个最终的识别结果并将其输出。对于联合,有一种方法用于获得用下面公式表示的作为ht(x)值的权重多数决定的H(x),其中ht值作为T个识别器的输出;
其中,αt是分配给每个识别器并通过学习装置预设的权重。联合部604将H(x)与预设的阈值比较,从而最终判定输入图像是否是检测对象。通常,“0”被用作阈值。即,联合部604估算H(x)是否是正值或负值。
然后参考图7,对由扫描单元101利用扫描窗进行的扫描进行描述。图7所示的是在输入图像701中人脸的位置被检测的情况的实例。
扫描单元101用扫描窗702从输入图像的起点开始扫描输入图像,从而获得在每个位置上的局部图像并将它输入到预处理单元102和识别器103。识别器103重复识别处理。
扫描单元101用参考数字703和704所表示的变化尺寸的扫描窗重复上述扫描。如果面部已基本上与扫描窗有相同尺寸,那么可以判定在面部位置上输入的局部图像符合该面部。如果局部图像在任何其它位置上被获得或扫描窗没有适当的尺寸,那么判定该局部图像不符合面部。目标装置实际上可以使用一个方法来进行识别,这个方法通过改变用于特征提取的矩形区域的尺寸以及改变扫描窗尺寸取代提取局部图像。这个方法可以省略提取局部图像并将它们复制在为该目的设置的存储区域的过程,因而减少了计算量。
代替改变扫描窗的方法可以采用改变输入图像尺寸的方法。后一个方法将参考图8进行描述。
在图8的情况中,输入图像802被连续缩小尺寸,同时扫描窗801不改变尺寸。结果,输入图像803和804被产生从而在图像中检测面部。在此情况中,当改变输入图像时图像中的面部尺寸变得基本上与扫描窗的尺寸相同时,目标检测装置可以获得正确的检测结果。
(学习装置)
用在本实施例中的学习装置将参考图9进行描述。图9的学习装置计算图2的识别器103所使用的参数。学习装置以统计学方法计算特征(在此情况中为每个像素区域的位置和尺寸),用于从大量被预先准备的作为检测对象的目标图像或将从目标图像中被识别出的非目标图像中识别两种类别的样本图像,或计算诸如阈值的参数。这些特征或参数被前述目标检测装置使用。
学习装置包括图像存储单元901、特征产生单元902、特征量计算单元903、量化单元904、组合搜索单元905、表格计算单元906、识别器选择单元907和存储单元908。
图像存储单元901存储两种类别的大量图像样本,即,作为检测对象的目标图像和非目标图像。假设样本图像具有相同的尺寸,尤其是,关于作为目标图像的图像样本,在每个样本图像中目标的位置和尺寸被标准化。例如,面部图像基于例如眼、鼻等的位置被标准化。然而,图像存储单元901存储标准化图像不是总是必须的。或者,除了图像存储单元901之外还可以使用用来标准化目标位置和尺寸的标准化装置,当开始学习时,被单元901存贮的图像可用这个装置标准化。在此情况下,例如有关当目标位置和/或尺寸被标准化时参考的点的位置的信息被要求,因此为了预存储有关每个样本图像的此类信息,图像存储单元901就是必须的。在下文的描述中,假设标准化的图像已经被存贮。
根据存储在图像存储单元901中的图像尺寸(例如,20×20像素),特征产生单元902产生全部可以被排列在每个样本图像中的特征(如图3所示的这类图像区域组合或如图4所示的这类矩形区域组合)。特征产生单元902产生许多包括多个像素区域的特征区域,设定作为上限的可以被排列在每个样本图像中的特征区域的最大数量。
特征量计算单元903获得与每个由特征产生单元902产生的特征对应的特征量(例如,像素值的加权和)。每个像素区域的平均亮度的差值或差值的绝对值可以被用作为特征量。特征量计算单元903判定例如对应于每个特征的阈值(或多个阈值),用于计算全部样本图像的特征量之后将全部样本图像量化。
基于由特征量计算单元903判定的阈值,量化单元904将每个由特征量计算单元903获得的特征量量化为离散值中的一个值。量化单元904在与由特征产生单元902产生的另一个特征对应的特征量上进行相同的量化。重复这个过程之后,量化单元904获得涉及特征量并且和多个特征对应的经量化的数值。
组合搜索单元905产生特征的组合。量化单元904取决于每个样本图像是否是目标而获得以特征区域的单位出现特征量的概率,并基于所获得概率来判定已计算的特征量应该被量化成为多少离散值。
表格计算单元906计算与由组合搜索单元905产生的每个组合对应的经量化特征量可以被同时观测到的概率,然后,计算用于识别的两个概率表,一个用于目标,另一个用于非目标。
重复上述关于不同位置和尺寸的各种特征和关于特征的全部可能的组合的处理过程之后,识别器选择单元907选择一个最佳特征或特征的最佳组合。为了便于描述,这个选择可以被解释为识别器选择单元907选择一个最佳识别器。
存储单元908存储最佳特征或特征的最佳组合,并从中获得的概率表。目标检测装置参考这些表格。
图9的学习装置的操作将参考图10进行描述。图10是用来解释识别器的学习程序的流程图。
学习装置的基础处理过程是从以可以被排列在每个样本图像中的特征的单位和该特征的组合的单位的全部样本图像计算特征量,并且存储用于判定每个样本图像是否是检测对象的最佳特征和与其对应的概率表。不同于常规方法的重要的关键点在于,有关存在于目标中的特征之间的相互关系的信息从特征的组合中提取,并被用于识别。关于所有可以被排列在一个图像中的特征,如果为搜索全部特征量产生任意结构和排列的所有可能的像素区域特征量,那么计算的数量变得巨大,因此这是不实际的。从这点考虑,利用例如图5中所示的矩形区域的组合减少搜索的数量。更进一步,如上文提及,如果特征区域限于矩形,那么特征提取所需的计算数量可以被较大程度地减少。另外,相邻矩形区域组合的使用可以进一步减少搜索的数量,并可以估算不容易受照明变化影响的局部特征。此外,关于全部特征的组合,这样的组合的数量是巨大的。为了避免这一点,表示将被组合的特征的最大数量的信息被预先提供,且最佳组合从这些可能的特征组合中选择。同样在此情况中,如果将被组合的特征的数量增加,那么它们的组合的数量是巨大的。例如,从10个特征中选择3个的组合10C3是120。这样,需要大量计算。处理这类巨量组合的对策将随后被描述。
首先,特征产生单元902产生一个特征,并判定是否所有特征被产生(步骤S1001)。如果所有特征还没有被产生,那么程序进行到步骤S1002,相反,如果全部特征已经被产生,那么程序进行到步骤S1006。在步骤S1002,特征产生单元902产生另一个特征。此时,如果矩形区域的位置以像素的单位被转移,且矩形区域的尺寸被以像素的单位增加,则整个图像可以被扫描。关于图4中所示的各种特征,特征产生单元902可以以相同的方式产生这些特征。表示何种类型的特征被使用的信息被预先提供给特征产生单元902。
随后,特征量计算单元903参考全部图像,并判定各个特征量是否为所有图像进行了计算(步骤S1003)。如果已经给全部图像计算了特征量,那么程序进行到步骤S1005,相反,如果还没有给全部图像计算,程序进行到步骤S1004。在步骤S1004,特征量计算单元903计算全部样本图像的特征量。
在步骤S1005,量化单元904进行量化。在量化之前,特征量计算单元903获得目标和非目标的特征量的各自的概率密度分布。图12A、12B和12C所示的是关于特征量和从三个特征中获得的概率密度分布。在每个图12A、12B和12C中,两条曲线分别表示目标和非目标的概率密度分布。在图12A的实例中,与两个类别(目标和非目标)对应的分布中仅有小部分彼此重叠,这意味着对应于这个图的特征对于从非目标中识别目标是有效的。如果,例如,在两个分布在该值上彼此相交获得的特征量被用作阈值,那么识别可以以很少量的识别误差来进行。相反,在图12B的实例中,几乎整条曲线彼此重叠,这意味着没有有效用于识别的阈值存在,也因此不能获得高识别准确度。在图12C的实例中,一个分布有两个峰值,这意味着单一的阈值不能提供高准确的识别。在此情况下,例如,在该值上两个分布彼此相交获得的两个阈值是需要的。阈值设定等同于特征量的量化方法的判定。在步骤S1005,量化单元904判定用于两个类别(目标和非目标)的识别的最佳阈值并进行量化。为了获得阈值,许多方法可以被使用。例如,阈值可以用一种众所周知的方法来判定,其中两个类别之间的类间变化与类中变化的比率被用作为一个标准并且被最大化(参见,日本电子和通信工程师协会(Institute of Electronics and CommunicationEngineers of Japan)1980年发表的“基于分类和最小二乘方准则的自动阈值选择方法”(“An Automatic Threshold Selection Method Based on Discriminant and Least SquaresGriteria”),Vol.J63-D,No.4,pp.349-356,1980)。取代这种标准,可以获得有关学习样本图像的使识别误差率最小化的阈值。或者,粗略检查目标的成本和误差地将非目标作为目标检测的成本可以被预先计算,并且可以获得用于使根据该成本计算的识别误差率(损失)最小的阈值。此外,有一种方法可以判定量化应该有多少级(即,判定应该使用多少阈值)。为此,可以利用使用一个称作MDL的基准的方法(参见,由Shun Kanta提出的“用于信息和编码的数学”(“Mathematics for Information and Coding”)pp.323-324)。作为使用这样获得的至少一个阈值的量化的结果,当特征量小于阈值时用编码0表示,且当它大于阈值时用编码l表示。在三级的量化中,可以使用诸如0、1和2的三个编码。
计算关于全部特征的所有样本图像的特征量并且对它们进行量化之后,程序进行到步骤S1006。在步骤S1006,判定组合搜索单元905是否已经搜索特征的所有组合。如果特征的所有组合还没有被搜索,程序进行到步骤S1007,相反,如果特征的所有组合已经被搜索,程序进行到步骤S1009。在步骤S1007,组合搜索单元905产生另一个特征组合。组合搜索单元905产生图5中所示的这样的特征组合。例如,如果样本502所显示的两个特征被排列在某个学习样本中,那么两个经量化的特征量V1和V2被获得。假设这里两级的量化在两个特征上进行。V1和V2的组合是(0,0)(0,1)(1,0)和(1,1)。V1和V2被相关于全部样本获得,并且判定四个模式中哪一个是和V1和V2的每个组合相同。从这一点可以检测四个模式中哪一个将出现最高概率。假设P(V1,V2|object)是(V1,V2)的组合从目标图像样本获得的概率,表格计算单元906使用下列公式计算概率:
其中,a是目标样本图像的数量,V1 (i)是从第一特征的第i个样本图像获得的值。更进一步,V2 (i)是从第二特征的第i个样本图像获得的值,δ(y)是当y=0时呈现数值1的函数。同样,表格计算单元906从非目标图像样本中使用下列公式计算P(V1,V2|non-object):
其中,b是非目标样本图像的数量,假设,尤其在一般情况下,特征的F个组合被利用,那么表格计算单元906可以分别使用下列与公式7和8相对应的公式9和10来计算概率P(V1,...,VF|object)和P(V1,...,VF|non-object):
这些是V1,...,VF在特征的F个组合中被同时观测到的概率(似然值)。通过公式5得到的概率(似然值)的数量可以被获得。表格计算单元906计算这些概率并以概率表的形式存储它们(步骤S1008)。识别器选择单元907利用概率表和公式4检查识别器,并且使识别器将全部学习样本进行识别和计数识别误差的数目。结果,可以判定特征的每个组合是否适当。在步骤S1009,识别器选择单元907选择识别误差数最小(即,误差比率最小)的识别器。换句话说,选择单元907选择特征的最佳组合。存储单元908存储识别误差数最小的识别器,因此完成了学习过程(步骤S1010)。在上文中,对于识别器的选择,最小误差比率被用作为标准。或者,诸如巴特查里亚距离(Bhattacharyya bound)或KL距离(Kullback-Leibler divergence)等估算值可以被利用。
下文给出可用在步骤S1007的几种组合方法的描述。第一种是产生所有可能的组合的方法。如果所有可能的组合被检查,最佳识别器(即,特征的最佳组合)可以被选择。然而,在检查所有可能的组合的情况下,组合的数量变得巨大,因此需要大量时间用于学习。
第二种是组合顺序正选(SFS)和顺序反选(SBS)的方法。在此方法中,首先,最佳的识别器从仅利用一个特征的识别器中选择,然后,识别器通过将另一个特征添加到被选特征而产生,而且如果这个识别器具有比被选识别器更低的误差率,则该识别器被选择。
第三种是“加l减r”方法。在此方法中,l特征被添加且误差率被估算。如果误差率没有降低,那么r特征被减去,从而再估算误差率。在第二和第三方法中,检测最佳识别器的概率比在第一方法中的低,但搜索的数量可以比第一方法减少。
<学习装置(对应于多个识别器)>
现在参考图13给出对不同于图9的学习装置的学习装置的描述。图13的学习装置计算由识别器601、602...使用的参数。当图6的识别器601、602...彼此耦合时,可以提供更准确的识别结果。
图13的学习装置包括样本权重初始化单元1301和样本权重更新单元1303,以及图9的学习装置的各个元件。更进一步,结合在图13的装置中的量化单元1302和表格计算单元1304稍不同于图9的两个单元。在图13中,类似于图9中的那些元件由相应的参考数字表示,并且将不提供关于它们的描述。
样本权重初始化单元1301将权重分配给图像存储单元901中贮存的样本图像。例如,样本权重初始化单元1301将相等的权重作为初始值分配给全部的样本图像。
量化单元1302产生特征量用于计算量化的阈值的特征量的概率密度分布,基于该概率密度分布获得阈值,并且将特征量计算单元903产生的每个特征量量化为离散值中的一个值。
样本权重更新单元1303更新权重从而改变样本图像组。具体地,样本权重更新单元1303将大的权重分配给不能被识别器正确识别的样本图像,并且将小的权重分配给能够被正确识别的样本图像。
表格计算单元1304进行概率表的计算从而计算概率。表格计算单元1304不同于表格计算单元906在于,前者是基于一个随后描述的权重Dt(i)进行计算,而取代后者根据其进行计算的样本图像的数量。
图13的学习装置利用一个称作“提升”的学习方案。提升是一种方案,用来将权重分配给图像存储单元901中存贮的样本图像,且通过更新权重来改变样本组,从而获得高准确度的识别器。
图13的学习装置的操作将参考图14的流程图进行描述。在图10和14中,同样的参考数字代表同样的步骤,且不再对其进行描述。在学习方案中使用AdaBoost算法。此方案类似于2001年,IEEE关于计算机视觉和模式识别(Computer Vision and PatternRecognition)(CVPR)会议中,Paul Viola和Michael Jones的“利用单一特征的提升级联进行快速目标检测”(“Rapid Object Detection Using a Boosted Cascade of SimpleFeatures”)中所揭示的方案。然而,由于由AdaBoost耦合的识别器(图6中的601、602、...)比先有技术具有更高的准确度,因而结果的识别器的准确度比先有技术更高。
首先,样本权重初始化单元1301将相等的权重分配给存储在图像存储单元901中的所有样本图像(步骤S1401)。假设分配给第i样本图像的权重是D0(i),那么它通过下面公式获得
其中,N是样本图像的数量,且N=a+b(目标样本图像的数量a和非目标样本图像的数量b)。随后,特征产生单元902将t设定为0(t=0)(步骤S1402),并判定t是否比预设的T小(步骤S1403)。T相应于随后将描述的步骤S1001至S1004、步骤S1404、步骤S1006、步骤S1007、步骤S1405、步骤S1009、步骤S1010、步骤S1406和步骤S1407重复的次数。更进一步,T相应于连接到图6中的联合部604的识别器601、602、...的数量。如果判定t不比T小,那么学习装置完成处理过程,相反,如果t小于T,程序进行到步骤S1001。
之后,进行步骤S1001至S1004。在步骤S1401,量化单元1302产生特征量的概率密度分布,用于计算量化的阈值(多个阈值)。之后,进行步骤S1006和S1007。在步骤S1405,表格计算单元1304计算概率表,即计算概率。在步骤S1008,概率计算基于样本的数量进行,而在步骤S1405,该计算基于权重Dt(i)进行。例如,表格计算单元1304计算同时观测经量化的特征量的联合概率,且通过联合概率乘以权重Dt(i)获得一个数值。识别器选择单元907选择ht(xi)第t个识别器的ht(xi)(步骤S1009),存储单元908存储该ht(xi)(步骤S1010),且样本权重更新单元1303更新由下列公式表示的每个样本的权重:
其中,xi和yi是第i个样本图像和它的标签(指示样本图像是否是检测对象),αt是利用ht(x)的误差率εt通过下列公式获得的数值:
利用公式12,样本权重更新单元1303将大的权重分配给不能通过ht(x)被正确识别的样本,并且将小的权重分配给能够通过ht(x)正确识别的样本。即,下一个识别器ht+1(x)向样本显示高识别性能,而以前的识别器向该样本显示低识别性能。结果,可以获得作为整体的高准确度识别器。公式12中的Zt通过下面公式获得,
最终通过图13的学习装置获得的识别器基于公式6进行识别。通常,用于识别的阈值如上所述被设定为0。然而,当注意到一个目标的误差率(即,目标的非检测比率)太高时,如果阈值被设定为负值,该非检测比率可以被减少。相反,当作为目标检测非目标的误差率太高(这被称作为“过度检测”)时,如果阈值被设定为正值,那么检测准确度可以被调节。
可以使用另一种类型的提升取代AdaBoost。例如,有一种被称作Real AdaBoost的方案(参见,1999年由R.E.Schapire和Y.Singer提出的,“利用信用比预测改进的提升算法”(“Improved Boosting Algorithms Using Confidence-rated Predictions”,)机器学习(Machine Learning),37,pp.297-336,1999)。在此方案中,使用通过下列公式获得的识别器:
其中,Wj object和Wj non-object分别是目标类别和非目标类别概率表的第j个要素,j指示与从输入图像x中获得的特征组合v1,...,vF对应的表格的索引数。更进一步,e是一个小正数的平滑项,被用于处理Wj object和Wj non-object为0的情况。在AdaBoost中,识别器ht(x)将误差率εt最小化,而在Real AdaBoost中,识别器将包括在下列公式中的Zt最小化,该两种识别器被选择:
在此情况中,样本权重更新单元1303在步骤S1405基于下列公式更新每个样本的权重:
用于更新的公式不包含αt,其不同于用于AdaBoost的更新公式12。这是因为在RealAdaBoost中,每个识别器输出公式14所示的连续值来取代识别标签。识别器选择单元907利用下列公式选择最终获得的识别器:
识别器选择单元907将H(x)和阈值(通常为0)比较。如果H(x)大于阈值,则判定样本图像是目标,而如果H(x)小于阈值,则样本图像被判定是非目标。关于非检测和过度检测,它们可以通过如在AdaBoost中的阈值调整进行处理。
(学习装置的变化例)
下面将参考图15至19描述学习装置的变化例。图15表示的是利用上述特征组合的选择和提升(boosting)算法的学习过程。标号1501表示样本图像。这里假定检测目标是“人脸”,下面将描述包括在众多收集的样本图像中的样本图像。标号1502表示被选特征。即,所述特征包括右眼和右眼正下方的脸颊部分。下面将描述利用前述顺序正选来搜索将与该特征结合的其它特征。标号1503表示对将与该特征组合的特征的搜索处理。顺序搜索特征组合以提高识别性能,从而得到初始识别器h1(x),由标号1504表示。标号1505表示通过提升更新样本权重的处理。利用上述公式(12)或(17)执行权重更新。举例来说,大的权重被分配给还没有被识别器1504正确识别的样本。更进一步,执行对与上述特征组合相似的特征组合的搜索,从而得到下一个识别器h2(x),由标号1506表示。该过程被迭代T次直到得到最终识别器H(x)。
识别器1504和1506被用来确定应该组合多少特征。简单的方法是为要组合的特征的数量预先设定上限值。该上限值基于例如学习装置的处理速度或目标检测装置所需要的准确度设定。在这种情况中,所有的识别器都使用相同数量的特征。然而,如果识别器使用不同数量的特征则,可能会有得到更高的识别性能的情况。下面将描述这种情况的处理方法。
<第一种方法>
首先描述用于确定每个识别器所使用的特征数量的第一种方法。需要一些独立于用于学习的样本图像的样本图像。这些样本被称为确认样本。确认样本包括目标和非目标图像,类似学习样本。确认样本的数量可以不总是等于学习样本的数量。通常,准备用于学习的一部分样本被用作确认样本,然后使用剩下的样本进行学习。对N’确认样本(xi’,yi’)的识别处理与增加特征数量的处理并行进行从而测算损失。选择不超过上限值的、待组合特征的使损失最小的一个数量。另一种方法是可以当损失增加时停止增加特征。确认样本的xi’,yi’分别表示第i个样本图像和分类等级(例如,+1表示目标,-1表示非目标)。误差率εT’可以通过下式得到:
也可以通过计算错误地识别的确认样本的数量得到该误差率。如果a和b被预先设定为常量,I(x)=a(x为真),I(x)=b(x为假)。更进一步,HT′是直到t=T′时得到的识别器,如下式所示:
上述情况是AdaBoost的情况。在Real AdaBoost的情况中,可以从公式(18)很容易地得到识别器。更进一步,可以利用除识别误差率之外的损失。例如,可以利用如下式所示的指数损失:
<第二种方法>
下面参考图16描述用于确定每个识别器所使用的特征数量的第二种方法。图16与对应第一种方法的图15相似,但是与前者不同的是在图16中具有很多用于学习的路径,如参考标号1601所示。在图15的情况中,首先执行对特征组合的搜索,如果例如由于特征增加使得损失增大,则利用提升执行样本权重更新处理。这被称作是优先执行特征组合选择的机制。即,认为在搜索特征组合之后执行增加特征的处理比在利用提升更新样本权重之后执行选择/增加新特征的处理能够更好地提高识别性能。与之相反,在图16的情况中,在选择利用特征组合和提升的特征增加方法中较好的一个的同时学习被进行。例如,在特征1502被选择后,判定通过哪条路径进行学习,是利用特征组合的增加处理1503的路径,还是利用提升的增加处理1601的路径。在这种情况中,在两个路径中的每个路径中计算损失,选择损失较小的路径即可。通过增加第二特征然后计算εT’或lT’得到增加处理1503所造成的损失。通过假定只使用特征1502的识别器1504被选择时计算增加处理1601所造成的损失,在利用提升执行样本权重更新操作1602之后,在新样本分布中选择新特征1602。此时发生的损失表示为εT’+1或lT’+1。例如,如果εT’<εT’+1,则认为特征组合的搜索产生较少的损失,利用该搜索确定第二特征。更进一步,更新的样本权重被恢复到初始值。如果εT’>εT’+1,则判定识别器1504应该只使用1502,然后由下一个识别器1506继续进行学习。
参考图17详细描述关于图16描述的学习处理。图17是用于解释选择两条路径中损失较小的一条路径的学习处理的流程图。在步骤S1701中执行通过学习确定初始(t=1)识别器的初始化处理。假设通过学习确定全部的T个识别器,在步骤1702中检测当前通过学习确定的识别器的数量。如果t>T,则学习处理结束。在步骤1703中,特征的数量f被初始化为f=1。每个识别器被允许组合最多Fmax个特征。当组合的特征的数量达到f>Fmax时,学习处理转到用于确定下一个识别器的学习,即第(t+1)个识别器。即,处理进行到步骤S1711。如果f≤Fma,处理进行到步骤S1705。在步骤S1705中,第t个识别器选择特征f的组合。在步骤S1706中,检测当前学习路径中的损失。在步骤S1707中,将特征f的组合的情况中发生的损失与特征(f-1)的组合的情况中的损失进行比较。如果由于组合的特征数量的增加导致损失增大,则学习处理转到步骤S1711,在该步骤中执行学习来判定第(t+1)个识别器。与之相反,如果由于组合的特征数量的增加导致损失减小,则学习处理转到步骤S1708。在步骤S1708中,假定利用当前选择的特征(f-1)通过学习确定第t个识别器,一个特征(f=1)被增加到第(t+1)个识别器中。即,尝试利用提升增加特征。更进一步,在步骤S1709中,计算学习路径中的损失。在步骤S1710中,将在步骤S1706中计算的第一路径中的损失与在步骤S1709中计算的第二路径中的损失进行比较。如果第一路径中的损失较大,则确定利用提升增加特征比较优选,然后学习处理转到用于确定接下来的第(t+1)个识别器的学习(步骤S1711)。与之相反,如果第一路径中的损失较小,则学习处理进行到步骤S1712,在该步骤中继续进行用于确定当前(即,第t个)识别器的学习。
<第三种方法>
上述方法被综合为用于确定组合特征数量的第三种方法。在上述方法中,通过考虑到下一个弱识别器的两个学习路径来确定每个弱识别器。然而,并没有考虑当下一个识别器被增加时可能发生的损失。为了得到最佳的识别准确度,必须搜索所有学习路径来找到损失最小的路径。现在将描述使用通过搜索所有学习路径选择的最佳识别器的学习装置,以及在该装置中应用的学习方法。
首先,参考图18描述该学习装置的构造。该学习装置与图13的学习装置在基础结构上类似,区别之处在于前者还包括学习路径产生单元1801,损失计算单元1802和最终识别器选择单元1803。学习路径产生单元1801确定最终应该选择多少特征来构造识别器H(x)(在下文中称为“强识别器”),并关于用于每个识别器ht(x)(在下文中称为“弱识别器”)的特征的数量产生对应于上限值的学习路径。例如,如果强识别器总共使用6个特征,每个弱识别器可以最多使用3个特征,存在24个学习路径。例如,使用每个使用三个特征的两个弱识别器,或者例如使用分别使用三个特征、两个特征和一个特征的三个弱识别器。损失计算单元1802计算当使用所有24个学习路径进行学习时强识别器的损失,最终识别器选择单元1803选择一个损失最小的强识别器。
参考图19的流程图描述图18的学习装置的操作。首先,在步骤S1401中,初始化存储在图像数据库中的每个样本的权重。然后,在补正S1002,特征产生被执行。在步骤S1004中得到为所有样本产生的所有特征的特征量,并在步骤S1904中进行量化处理。注意在量化过程中,根据利用提升的采用更新,存在一种情况是计算量化的阈值,还存在一种情况是预先选择量化方法。在步骤S1905中产生学习路径。具体是,分别关于强识别器使用的特征数量和弱识别器使用的特征数量设置上限值,检查所有没有超出上限值的特征组合。基于学习装置的处理速度和目标检测装置所需的准确度设置上限值。当一个一个检查学习路径时(步骤S1906),学习被执行以确定每个强识别器(步骤S1907)。计算每个强识别器的损失(步骤S1908)。在检查完所有路径后,比较所有强识别器的损失,从而最终选择损失最小的强识别器。学习处理结束。
如上所述,执行学习选择损失较小的路径,可以得到使用较少数量特征(即,较低的计算成本)能够实现高识别准确度的识别器。
如上文描述,在本实施例中,目标检测装置可以基于通过学习装置预先获得的特征区域的组合、与该组合对应的经量化的特征量、联合概率和关于每个样本图像是否是目标的信息从通过将特征区域的组合应用到检测图像进行计算得到的特征量以比先有技术更高的准确度进行有关检测图像是否包含目标的判定。换句话说,本实施例以更少量的计算提供了与先有技术相同的检测准确度。
本实施例的流程图说明了根据本发明的实施例的方法和系统。可以理解的是,在流程图示例的每个框,以及流程图示例的框的组合可以由计算机程序指令执行。这些计算机程序指令可以被装载在计算机上或其他生产机器的可编程装置上,使得在计算机或其他可编程装置上执行的指令创建实现流程图方框指定的功能的方式。这些计算机程序指令也可以存储在能指示计算机或其他可编程装置以具体方式实现功能的计算机可读存储器中,使得被存储在计算机可读存储器中的指令产生包括实现在流程图方框中指定的功能的指令方式的生产章程。计算机程序指令也可以被装载在计算机或其他可编程装置上从而使一系列在计算机或其它可编程装置上执行的操作步骤实现流程图方框指定的功能。
其它优点和修改对于本技术领域中的熟练的人士将是很容易实现的。因此,本发明在它更广泛的方面不限于在本文中显示和描述的具体细节和代表性实施例。因此,可以进行各种修改而不背离附后的权利要求及其等价物所定义的本发明的基本概念的精神或范围。
Claims (22)
1.一种目标检测装置,包括:存储单元,被配置为存储先前学习的关于从输入图像中提取的样本图像的学习信息,该信息包括第一信息和第二信息,第一信息指示从多个特征区/特征量组中所选择出的给定数量的特征区/特征量组的至少一种组合,每个特征区/特征量组都包括其中一个特征区域和其中一个量化的学习特征量,每个特征区域都具有多个像素区域,和通过量化学习特征量所得到的量化的学习特征量对应于在样本图像中的特征区域的特征量,第二信息指示样本图像是目标还是非目标;
特征量计算单元,被配置为计算属于输入图像中的组合的每个特征区域的输入特征量;
量化单元,被配置为量化已计算的输入特征量从而获得量化的输入特征量;和
判定单元,被配置为利用量化的输入特征量和学习信息来判定输入图像是否包括目标。
2.如权利要求1所述的装置,其特征在于,
第一信息指出从多个特征区/特征量组中选择出的给定数量的特征区/特征量组的多个组合;
特征量计算单元计算相关于所述组合的多个输入特征量;和
判定单元利用与所述组合对应的输入特征量进行判定;
该装置进一步包括:
总判定单元,被配置为利用每一个都由判定单元从该些组合中获得的判定结果的加权和来判定输入图像是否包括目标。
3.如权利要求1所述的装置,其特征在于,特征量计算单元通过计算包括在每个特征区域中的各个像素区域中的像素值总和的加权和、或像素值总和的加权和的绝对值来计算输入特征量。
4.如权利要求1所述的装置,其特征在于,特征量计算单元计算不同像素区域的平均亮度值之间的差值作为以特征区域的单位的特征量。
5.如权利要求1所述的装置,其特征在于,量化单元将已计算的输入特征量量化为两个离散值中的一个值。
6.一种学习装置,其特征在于,包括:
第一存储单元,被配置为存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
特征计算单元,被配置为给每个样本图像计算每个特征区域的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,接着,基于所计算的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生多个特征区域的组合;
联合概率计算单元,被配置为根据每个组合计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、已计算的联合概率、和指示每个样本图像是目标或非目标的信息;
判定单元,被配置为参考所述表格对于每个所述组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;
选择单元,被配置为从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
第二存储单元,存储被选组合和与被选组合对应的一个表格。
7.如权利要求6所述的装置,其特征在于,所述特征计算单元通过计算包括在每个特征区域中的每个像素区域中的像素值总和的加权和或该加权和的绝对值来计算特征量。
8.如权利要求6所述的装置,其特征在于,特征计算单元通过计算不同像素区域的平均亮度值之间的差值来计算每个特征区域的特征量。
9.如权利要求6所述的装置,其特征在于,概率计算单元将特征量量化为两个离散值中的一个值。
10.一种学习装置,其特征在于,包括:
第一存储单元,其存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
分配单元,被配置为将初始权重分配给存储的样本图像;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
特征计算单元,被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或该加权和的绝对值,该加权和或该绝对值被用作与每个特征区域对应的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于所计算的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生特征区域的多个组合;
联合概率计算单元,被配置为根据每个组合来计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、经量化的特征量、计算得到的联合概率乘以初始权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
判定单元,被配置为参考所述表格对于每个所述组合判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;
选择单元,被配置为从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;
第二存储单元,存储被选组合和与被选组合对应的一个表格;和
更新单元,被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候,更新该任一样本图像的权重以增加该权重,
其中:
该联合概率计算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
该判定单元基于通过将计算得到的联合概率乘以更新的权重所获得的数值进行判定;
该选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
该第二存储单元重新存储由选择单元选择的组合和与由选择单元选择的组合对应的一个表格。
11.如权利要求10所述的装置,其特征在于,当使用由选择单元选择的组合获得的判定结果是误差的判定结果的概率低于使用先前被存储在第二存储单元中的组合而获得的判定结果的概率时,第二存储单元重新存储由选择单元选择的组合和与由选择单元选择的组合对应的一个表格。
12.如权利要求10所述的装置,其特征在于,所述特征计算单元通过计算不同像素区域的平均亮度值之间的差值来计算每个特征区域的特征量。
13.如权利要求10所述的装置,其特征在于,所述概率计算单元将特征量量化为两个离散值中的一个值。
14.一种目标检测系统,其特征在于,包括学习装置和目标检测装置,
其中,该学习装置包括:
第一存储单元,被配置为存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
特征计算单元,被配置为给每个样本图像计算每个特征区域的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于计算得到的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生多个特征区域的组合;
联合概率计算单元,被配置为根据每个组合来计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储已产生的组合、已计算的联合概率和指出每个样本图像是目标或非目标的信息;
第一判定单元,被配置为参考所述表格对于每个所述组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;
选择单元,被配置为从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;
第二存储单元,存储被选组合和与被选组合对应的一个表格,和
目标检测装置包括:
特征量计算单元,被配置为计算属于在输入图像中的组合的每个特征区域的输入特征量;
量化单元,被配置为将计算得到的输入特征量量化从而获得经量化的输入特征量;和
第二判定单元,被配置为利用经量化的输入特征量和被存储在第二存储单元中的一个表格来判定输入图像是否包括目标。
15.一种目标检测系统,其特征在于,包括学习装置和目标检测装置,
其中,学习装置包括:
第一存储单元,存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
分配单元,被配置为将初始权重分配给被存储的样本图像;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
第一计算单元,被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或加权和的绝对值,该加权和或绝对值被用作与每个特征区域对应的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后基于计算得到的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生多个特征区域的组合;
联合概率计算单元,被配置为根据每个组合来计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储已产生的组合、经量化的特征量、通过将计算得到的联合概率乘以初始权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
第一判定单元,被配置为参考所述表格,对于每个所述组合来判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;
选择单元,被配置为从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;
第二存储单元,存储被选组合和与被选组合对应的一个表格;和
更新单元,被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重,
其中:
联合概率计算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
第一判定单元基于通过将计算得到的联合概率乘以更新的权重所获得的数值进行判定;
选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
第二存储单元,其重新存储由选择单元所选择的组合,和与由选择单元所选择的组合对应的一个表格,
其中,目标检测装置,包括:
第二计算单元,被配置为计算属于输入图像中的组合的每个特征区域的输入特征量;
量化单元,被配置为根据输入特征量将已计算的输入特征量量化为离散值中的一个值,从而获得经量化的输入特征量;
第二判定单元,被配置为参考被选组合和该一个表格来判定输入图像是否包括目标;和
总判定单元,被配置为利用通过将权重分配给关于该多个组合由第二判定单元获得的多个判定结果而获得的加权和来判定输入图像是否包括目标。
16.一种目标检测方法,其特征在于,包括:
存储先前学习的关于从输入图像中提取的样本图像的学习信息,该信息包括第一信息和第二信息,第一信息指出从多个特征区/特征量组中所选择出的给定数量的特征区/特征量组的至少一种组合,每个特征区/特征量组都包括其中一个特征区域和其中一个量化的学习特征量,每一个特征区域都具有多个像素区域,且通过量化学习特征量所得到的量化的学习特征量对应于在样本图像中的特征区域的特征量,第二信息指出样本图像是目标或非目标;
计算属于输入图像中的组合的每个特征区域的输入特征量;
量化被计算的输入特征量从而获得量化的输入特征量;和
利用量化的输入特征量和学习信息来判定输入图像是否包括目标。
17.如权利要求16所述的方法,其特征在于,
所述第一信息指出从多个特征区/特征量组中选择的给定数量的特征区/特征量组的多个组合;
所述计算输入特征量包括计算关于所述组合的输入特征量;和
所述判定包括利用与所述组合对应的输入特征量进行判定,
该方法进一步包括:
利用每一个都通过从组合中判定获得的判定结果的加权和来判定输入图像是否包括目标。
18.一种学习方法,其特征在于
存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
为每个样本图像计算每个特征区域的特征量;
取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于被计算的概率将特征量量化成为多个离散值中的一个值;
产生多个特征区域的组合;
根据每个组合来计算经量化的特征量在每个样本图像中被同时观测到的联合概率,并产生表格来存储已产生的组合、已计算的联合概率和指出每个样本图像是目标或非目标的信息;
参考所述表格,对于每个组合来判定表示目标样本图像的联合概率与表示非目标样本图像的联合概率的比率是否高于阈值,从而判定每个样本图像是否是目标;
从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
存储被选组合和与被选组合对应的一个表格。
19.一种学习方法,其特征在于,包括:
存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
将初始权重分配给被存储的样本图像;
产生多个每一个都包括多个像素区域的特征区域,特征区域不多于排列在每个样本图像中的特征区域的最大数量;
为每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或加权和的绝对值,加权和或绝对值被用作与每个特征区域对应的特征量;
取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于已计算的概率将特征量量化为多个离散值中的一个值;
产生多个特征区域的组合;
根据每个组合来计算经量化的特征量在每个样本图像中被同时观测到的联合概率,并产生表格来存储已产生的组合、经量化的特征量、通过将计算得到的联合概率乘以初始权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
参考所述表格,对于每个所述组合判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;
从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;
存储被选组合和与被选组合对应的一个表格;
当样本图像基于被选组合而被判定且与关于任一样本图像的判定结果指出误差的时候,更新该任一样本图像的权重从而增加该权重;
产生表格来存储已产生的组合、通过将被计算的联合概率乘以更新的权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
基于通过将被计算的联合概率乘以更新的权重所获得的数值而进行判定;
从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
重新存储被选组合和与被选组合对应的一个表格。
20.一种学习装置,其特征在于,包括:
第一存储单元,被配置为存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
分配单元,被配置为将初始权重分配给存储的样本图像;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
特征计算单元,被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或该加权和的绝对值,该加权和或该绝对值被用作与每个特征区域对应的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后,基于所计算的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生特征区域的多个组合;
学习路径产生单元,被配置为产生多条与所述组合对应的学习路径;
联合概率计算单元,被配置为根据每个组合来计算在每个样本图像中同时观察到经量化的特征量的联合概率,并产生表格来存储已产生的组合、经量化的特征量、计算得到的联合概率乘以初始权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
判定单元,被配置为参考所述表格对于每个所述组合判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;
第一选择单元,被配置为从所述组合中选择使与样本图像对应的判定结果中误差数最小的组合;
第二存储单元,被配置为存储被选组合和与被选组合对应的一个表格;和
更新单元,被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候,更新该任一样本图像的权重以增加该权重,
第二计算单元,被配置为计算所述学习路径对应的组合造成的损失;和
第二选择单元,被配置为选择损失最小的一个组合,
其中,
该联合概率计算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
该判定单元基于通过将计算得到的联合概率乘以更新的权重所获得的数值进行判定;
该第一选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
该第二存储单元重新存储由第一选择单元选择的组合和与由第一选择单元选择的组合对应的一个表格。
21.如权利要求20所述的学习装置,其特征在于,所述学习路径产生单元产生学习路径,对应所述学习路径的每个组合中包括的特征区域的数量不超过每个组合中包括的特征区域的最大值,以及在第二存储单元中存储的组合中包括的特征区域的数量。
22.一种学习装置,其特征在于,包括:
第一存储单元,存储至少两个样本图像,其中一个样本图像是作为检测对象的目标,另一个样本图像是作为非检测对象的非目标;
分配单元,被配置为将初始权重分配给被存储的样本图像;
特征产生单元,被配置为产生多个每一个都包括多个像素区域的特征区域,该特征区域不多于排列在每个样本图像中的特征区域的最大数量;
第一计算单元,被配置为给每个样本图像计算包括在每个特征区域中的不同权重的像素区域的加权和或加权和的绝对值,该加权和或绝对值被用作与每个特征区域对应的特征量;
概率计算单元,被配置为取决于每个样本图像是否是目标来计算与每个特征区域对应的特征量发生的概率,然后基于计算得到的概率将特征量量化为多个离散值中的一个值;
组合产生单元,被配置为产生多个特征区域的组合;
联合概率计算单元,被配置为根据每个组合来计算经量化的特征量在每个样本图像中被同时观察到的联合概率,并产生表格来存储已产生的组合、经量化的特征量、通过将计算得到的联合概率乘以初始权重所获得的多个数值和指出每个样本图像是目标或非目标的信息;
判定单元,被配置为参考所述表格,对于每个所述组合来判定表示目标样本图像的联合概率乘以初始权重所获得的数值与表示非目标样本图像的联合概率乘以初始权重所获得的数值的比率是否高于阈值,从而判定每个样本图像是否是目标;
第二计算单元,被配置为计算由对应样本图像的判定结果中使误差数量最少的一个组合造成的第一损失;
更新单元,被配置为当样本图像基于被选组合而被判定且关于任一样本图像的判定结果指出误差的时候更新该任一样本图像的权重以增加该权重;
第三计算单元,被配置为在所述更新单元基于所产生的组合中在对应样本图像的判定结果中使误差数量最少的一个子组合更新权重时,以及在另一特征区域被增加到该子组合中使该子组合中包括的特征区域的数量比所产生的组合中包括的特征区域的数量少一个时计算所得到的特征区域的新组合的第二损失;
选择单元,被配置为比较所述第一损失和所述第二损失,并选择第一损失和第二损失中较小损失的组合;和
第二存储单元,被配置为存储选择单元选择的所述组合和与选择单元选择的组合对应的一个表格,
其中,
该联合概率计算单元产生表格来存储已产生的组合、通过将计算得到的联合概率乘以更新的权重所获得的多个数值和指示每个样本图像是目标或非目标的信息;
该判定单元基于通过将计算得到的联合概率乘以更新的权重所获得的数值进行判定;
该选择单元从多个基于更新的权重所判定的组合中选择使与样本图像对应的判定结果中误差数最小的组合;和
该第二存储单元,重新存储由该选择单元所选择的组合,和与由该选择单元所选择的组合对应的一个表格。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005054780 | 2005-02-28 | ||
JP2005054780 | 2005-02-28 | ||
JP2005361921 | 2005-12-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1828632A true CN1828632A (zh) | 2006-09-06 |
CN100380396C CN100380396C (zh) | 2008-04-09 |
Family
ID=36931977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100515376A Expired - Fee Related CN100380396C (zh) | 2005-02-28 | 2006-02-28 | 目标检测装置、学习装置、目标检测系统及目标检测方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20060193520A1 (zh) |
CN (1) | CN100380396C (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794392A (zh) * | 2009-01-09 | 2010-08-04 | 索尼公司 | 对象检测设备、学习设备、对象检测方法和程序 |
CN102292745A (zh) * | 2009-01-23 | 2011-12-21 | 日本电气株式会社 | 图像签名提取设备 |
CN102349093A (zh) * | 2009-03-13 | 2012-02-08 | 日本电气株式会社 | 图像签名提取设备 |
CN102349091A (zh) * | 2009-03-13 | 2012-02-08 | 日本电气株式会社 | 图像签名匹配设备 |
CN102395998A (zh) * | 2009-04-14 | 2012-03-28 | 日本电气株式会社 | 图像签名提取设备 |
CN103105924A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 人机交互方法和装置 |
CN102165486B (zh) * | 2008-09-01 | 2015-05-13 | 日本电气株式会社 | 图像特征提取设备 |
CN105654109A (zh) * | 2014-11-28 | 2016-06-08 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN105654108A (zh) * | 2014-11-28 | 2016-06-08 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN107784315A (zh) * | 2016-08-26 | 2018-03-09 | 深圳光启合众科技有限公司 | 目标对象的识别方法和装置,及机器人 |
CN107846561A (zh) * | 2009-12-29 | 2018-03-27 | 构造数据有限责任公司 | 联网电视的视频片段识别方法及上下文定向内容显示方法 |
US10248888B2 (en) | 2014-11-28 | 2019-04-02 | Canon Kabushiki Kaisha | Classifying method, storage medium, inspection method, and inspection apparatus |
CN110197258A (zh) * | 2019-05-29 | 2019-09-03 | 北京市商汤科技开发有限公司 | 神经网络搜索方法、图像处理方法及装置、设备和介质 |
CN110378172A (zh) * | 2018-04-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 信息生成方法和装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4517633B2 (ja) * | 2003-11-25 | 2010-08-04 | ソニー株式会社 | 対象物検出装置及び方法 |
CN101187985B (zh) * | 2006-11-17 | 2012-02-01 | 东软集团股份有限公司 | 确定对象分类器分类边界的方法及装置 |
JP2009282699A (ja) * | 2008-05-21 | 2009-12-03 | Seiko Epson Corp | 画像における顔の器官の画像に対応する器官領域の検出 |
WO2010032296A1 (ja) * | 2008-09-17 | 2010-03-25 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US8170341B2 (en) * | 2009-01-23 | 2012-05-01 | Nec Corporation | Image signature extraction device |
US20100246688A1 (en) * | 2009-03-26 | 2010-09-30 | Apple Inc. | Blind noise analysis for video compression |
JP2010266983A (ja) * | 2009-05-13 | 2010-11-25 | Sony Corp | 情報処理装置及び方法、学習装置および方法、プログラム、並びに情報処理システム |
JP5424819B2 (ja) * | 2009-11-04 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US10417525B2 (en) | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
US9892324B1 (en) * | 2017-07-21 | 2018-02-13 | Pccw Vuclip (Singapore) Pte. Ltd. | Actor/person centric auto thumbnail |
CN109697460B (zh) | 2018-12-05 | 2021-06-29 | 华中科技大学 | 对象检测模型训练方法、目标对象检测方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5450504A (en) * | 1992-05-19 | 1995-09-12 | Calia; James | Method for finding a most likely matching of a target facial image in a data base of facial images |
IT1257073B (it) * | 1992-08-11 | 1996-01-05 | Ist Trentino Di Cultura | Sistema di riconoscimento, particolarmente per il riconoscimento di persone. |
US6128398A (en) * | 1995-01-31 | 2000-10-03 | Miros Inc. | System, method and application for the recognition, verification and similarity ranking of facial or other object patterns |
US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US5802208A (en) * | 1996-05-06 | 1998-09-01 | Lucent Technologies Inc. | Face recognition using DCT-based feature vectors |
JP3815704B2 (ja) * | 1997-10-28 | 2006-08-30 | 株式会社リコー | 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法 |
US6219639B1 (en) * | 1998-04-28 | 2001-04-17 | International Business Machines Corporation | Method and apparatus for recognizing identity of individuals employing synchronized biometrics |
US6226408B1 (en) * | 1999-01-29 | 2001-05-01 | Hnc Software, Inc. | Unsupervised identification of nonlinear data cluster in multidimensional data |
US6647139B1 (en) * | 1999-02-18 | 2003-11-11 | Matsushita Electric Industrial Co., Ltd. | Method of object recognition, apparatus of the same and recording medium therefor |
US6577757B1 (en) * | 1999-07-28 | 2003-06-10 | Intelligent Reasoning Systems, Inc. | System and method for dynamic image recognition |
JP2002032751A (ja) * | 2000-07-18 | 2002-01-31 | Olympus Optical Co Ltd | 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体 |
US6697504B2 (en) * | 2000-12-15 | 2004-02-24 | Institute For Information Industry | Method of multi-level facial image recognition and system using the same |
US7280697B2 (en) * | 2001-02-01 | 2007-10-09 | California Institute Of Technology | Unsupervised learning of object categories from cluttered images |
JP3965983B2 (ja) * | 2001-11-30 | 2007-08-29 | 松下電工株式会社 | 画像処理方法およびその装置 |
JP2006268825A (ja) * | 2005-02-28 | 2006-10-05 | Toshiba Corp | オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム |
-
2005
- 2005-09-28 US US11/236,619 patent/US20060193520A1/en not_active Abandoned
-
2006
- 2006-02-28 CN CNB2006100515376A patent/CN100380396C/zh not_active Expired - Fee Related
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102165486B (zh) * | 2008-09-01 | 2015-05-13 | 日本电气株式会社 | 图像特征提取设备 |
CN101794392A (zh) * | 2009-01-09 | 2010-08-04 | 索尼公司 | 对象检测设备、学习设备、对象检测方法和程序 |
CN101794392B (zh) * | 2009-01-09 | 2014-06-04 | 索尼公司 | 对象检测设备、学习设备、对象检测方法和程序 |
CN102292745A (zh) * | 2009-01-23 | 2011-12-21 | 日本电气株式会社 | 图像签名提取设备 |
CN102292745B (zh) * | 2009-01-23 | 2015-08-12 | 日本电气株式会社 | 图像签名提取设备 |
US9042656B2 (en) | 2009-01-23 | 2015-05-26 | Nec Corporation | Image signature extraction device |
CN102349093A (zh) * | 2009-03-13 | 2012-02-08 | 日本电气株式会社 | 图像签名提取设备 |
CN102349091A (zh) * | 2009-03-13 | 2012-02-08 | 日本电气株式会社 | 图像签名匹配设备 |
US8744193B2 (en) | 2009-03-13 | 2014-06-03 | Nec Corporation | Image signature extraction device |
CN102349091B (zh) * | 2009-03-13 | 2014-08-06 | 日本电气株式会社 | 图像签名匹配设备 |
CN102395998B (zh) * | 2009-04-14 | 2015-06-10 | 日本电气株式会社 | 图像签名提取设备 |
CN102395998A (zh) * | 2009-04-14 | 2012-03-28 | 日本电气株式会社 | 图像签名提取设备 |
US8861871B2 (en) | 2009-04-14 | 2014-10-14 | Nec Corporation | Image signature extraction device |
CN107846561A (zh) * | 2009-12-29 | 2018-03-27 | 构造数据有限责任公司 | 联网电视的视频片段识别方法及上下文定向内容显示方法 |
CN103105924A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 人机交互方法和装置 |
CN103105924B (zh) * | 2011-11-15 | 2015-09-09 | 中国科学院深圳先进技术研究院 | 人机交互方法和装置 |
US10248888B2 (en) | 2014-11-28 | 2019-04-02 | Canon Kabushiki Kaisha | Classifying method, storage medium, inspection method, and inspection apparatus |
CN105654108A (zh) * | 2014-11-28 | 2016-06-08 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN105654109B (zh) * | 2014-11-28 | 2019-03-05 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN105654109A (zh) * | 2014-11-28 | 2016-06-08 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN105654108B (zh) * | 2014-11-28 | 2019-04-12 | 佳能株式会社 | 分类方法、检查方法和检查装置 |
CN107784315A (zh) * | 2016-08-26 | 2018-03-09 | 深圳光启合众科技有限公司 | 目标对象的识别方法和装置,及机器人 |
CN110378172A (zh) * | 2018-04-13 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 信息生成方法和装置 |
CN110197258A (zh) * | 2019-05-29 | 2019-09-03 | 北京市商汤科技开发有限公司 | 神经网络搜索方法、图像处理方法及装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
US20060193520A1 (en) | 2006-08-31 |
CN100380396C (zh) | 2008-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1828632A (zh) | 目标检测装置、学习装置、目标检测系统及目标检测方法 | |
US20220198657A1 (en) | Method and system for selecting embryos | |
US20220343178A1 (en) | Method and system for performing non-invasive genetic testing using an artificial intelligence (ai) model | |
CN1276389C (zh) | 图形对照装置及其图形对照方法 | |
CN1738426A (zh) | 一种视频运动目标分割与跟踪方法 | |
CN1894703A (zh) | 模式识别方法、设备以及程序 | |
CN1700241A (zh) | 面部描述和识别的方法和装置 | |
CN1822024A (zh) | 一种人脸特征点定位方法 | |
CN104143081A (zh) | 基于嘴部特征的笑脸识别系统及方法 | |
CN1904906A (zh) | 地址识别装置和方法 | |
CN1571977A (zh) | 字符识别 | |
JP2012252447A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
CN113343989B (zh) | 一种基于前景选择域自适应的目标检测方法及系统 | |
CN1643540A (zh) | 比较图案 | |
CN109961093A (zh) | 一种基于众智集成学习的图像分类方法 | |
CN1091905C (zh) | 文字辨识系统数据库的组建方法 | |
JP4795864B2 (ja) | 特徴点検出装置および方法並びにプログラム | |
CN1282943C (zh) | 图像处理方法及装置 | |
CN1617161A (zh) | 一种基于互信息的指纹特征匹配方法 | |
CN1920852A (zh) | 一种确定一组不同特征的级联分类器的连接顺序和特征阈值的方法 | |
CN1308889C (zh) | 字符识别方法和装置 | |
CN1700240A (zh) | 基于随机采样的面部识别方法 | |
CN1437162A (zh) | 基于单个汉字字符的字体识别方法 | |
CN1226017C (zh) | 基于辐射模板的旋转人脸检测方法 | |
CN1828656A (zh) | 基于马尔科夫链的发电侧竞价决策信息获取及处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CI02 | Correction of invention patent application |
Correction item: Priority Correct: 2005.12.15 JP 2005-361921 False: Lack of priority second Number: 36 Page: The title page Volume: 22 |
|
COR | Change of bibliographic data |
Free format text: CORRECT: PRIORITY; FROM: MISSING THE SECOND ARTICLE OF PRIORITY TO: 2005.12.15 JP 2005-361921 |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080409 Termination date: 20160228 |
|
CF01 | Termination of patent right due to non-payment of annual fee |