CN102855489A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN102855489A
CN102855489A CN201210162704XA CN201210162704A CN102855489A CN 102855489 A CN102855489 A CN 102855489A CN 201210162704X A CN201210162704X A CN 201210162704XA CN 201210162704 A CN201210162704 A CN 201210162704A CN 102855489 A CN102855489 A CN 102855489A
Authority
CN
China
Prior art keywords
learner
weak
image
overall
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210162704XA
Other languages
English (en)
Inventor
山下润一
尾上直之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102855489A publication Critical patent/CN102855489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

校正单元使用校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者。分辨处理单元使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。在校正信息计算单元54中基于照明该目标的光源计算所述校正信息。本技术可以应用于例如分辨目标是否反映在输入图像中的情况等。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序,具体地涉及能够容易地防止分辨预定目标是否反映在输入图像中的分辨性能劣化的信息处理设备、信息处理方法和程序。
背景技术
执行总体学习者的学习的总体学习例如包括提升(boosting)或装袋(bagging),其中总体学习者利用作为多个弱学习者的输出的弱假定的多数表决(majority vote)执行识别。
此外,已经提出使用总体学习者分辨预定目标是否反映在通过总体学习获得的图像中的方法(目标分辨方法)(见日本专利登记No.4517633)。
在日本专利登记No.4517633中,仅仅通过非常简单的处理(如减法)获得的、以及作为输入图像中每两个像素的像素值之间的差异的像素间差异特征量用作图像特征量,并且可以通过减法计算的像素间差异特征量用于实现分辨目标的足够分辨性能。
此外,在日本专利登记No.4517633中,因为对于构成总体学习者的每个弱学习者设置用于获得像素间差异特性量的两个像素的位置,所以必需计算对应于构成总体学习者的弱学习者的数量的像素间差异特性量。
然而,像素间差异特性量可以通过如减法的非常简单的处理获得,并且对应于构成总体学习者的弱学习者的数量的像素间差异特性量可以高速地计算,使得目标分辨处理可以高速地执行。
发明内容
在总体学习中,用于总体学习者的学习的学习图像包括其中反映了目标的正图像和其中没有反映目标的负图像。例如,优选使用其中整体目标用照明目标而没有偏移的光适当地照明(如果可能)的图像,即,其中整体目标由来自各个方向的光均匀地照明而没有偏移的图像(以下称为适当照明图像),作为包括正图像和负图像的学习图像或者变为要使用总体学习者分辨的目标的输入图像。
同时,在相机捕获的图像中,照明目标的光通常偏移,使得目标具有其中脸部的左侧和右侧产生不同阴影的图像(以下称为偏移阴影图像),即使目标如在人脸中在一定程度上是双边对称的。
即使学习图像是偏移阴影图像,通过使用多个偏移阴影图像作为学习图像执行总体学习者的学习,平均照明作为学习图像的偏移阴影图像中的目标的光的偏移,使得可以获得使用适当照明图像作为学习图像执行学习的总体学习者。结果,当输入图像是偏移阴影图像时,在使用总体学习者分辨目标时,分辨目标的分辨性能可能劣化,而不管用于分辨目标的图像的特征量。
鉴于以上情形,本技术允许容易地防止分辨目标的分辨性能的劣化。
根据本技术一个方面的信息处理设备或用于使得计算机用作信息处理设备的程序,包括:校正单元,配置为使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及分辨单元,配置为使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
根据本技术另一方面的信息处理方法,包括:使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
根据本技术的另一方面,使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,并且所述校正信息基于照明该目标的光源计算。然后,使用其参数被校正的总体学习者,积分关于所述特征量从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
此外,信息处理设备可以是单独设备或可以是一个设备中包括的内部块。
此外,程序可以通过传输介质传输,或者可以记录在记录介质上并且提供。
根据本发明的一个方面,可能容易地防止分辨目标的分辨性能的劣化。
附图说明
图1是图示使用总体学习者执行目标分辨的分辨设备的配置示例的框图;
图2是图示执行检测词典存储单元20中存储的总体学习者的总体学习的学习设备的配置示例的框图;
图3是图示学习设备执行的总体学习者H(x)的总体学习处理的流程图;
图4是图示生成弱学习者ht(x)的弱学习者生成处理的流程图;
图5是图示获得剪切阈值Rt的方法的图;
图6是图示分辨处理的流程图;
图7是图示窗口图像分辨处理的流程图;
图8A和8B是图示输入图像(运动图像)和当对作为目标的输入图像执行分辨处理时的接收器操作特性(ROC)曲线的图;
图9是图示使用偏移阴影图像作为目标的分辨目标的分辨性能劣化的图;
图10是图示当输入图像不是适当照明图像时的处理方法的图,适当照明图像中整个目标被适当地照明;
图11是图示对其部分应用亮度转换滤波器的情况的图;
图12是图示对其应用本技术的信息处理设备的分辨设备的实施例的配置示例的框图;
图13是图示平均图像存储单元57中存储的平均图像的示例的图;
图14是图示本技术的原理的图;
图15是图示标准学习者的参数校正的图;
图16是图示通过光源估计单元52从校准图像中估计照明校准图像中反映的目标的光源的光源估计方法的图;
图17是图示通过光源估计单元52估计光源的另一光源估计方法的图;
图18是图示通过阴影区域识别单元53检测阴影边界的边界检测方法的图,在该阴影边界上由于来自校准图像中的光源的光而出现阴影;
图19是图示另一边界检测方法的图;
图20是图示通过校正信息计算单元54确定(计算)校正系数k’的方法的图;
图21是图示图像获取单元51中获取校准图像的获取方法的图;
图22是图示校准处理的流程图;
图23是图示校正信息计算单元54执行的校正系数确定处理的流程图;
图24是图示分辨设备执行的分辨处理的流程图;
图25是图示根据像素位置利用不同放大率k’执行放大的亮度转换滤波器、以及对其应用亮度转换滤波器的平均图像的图;以及
图26是图示对其应用本技术的计算机的实施例的配置示例的框图。
具体实施方式
以下,将参考附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同功能和结构的结构元件用相同参考标号表示,并且省略这些结构元件的重复说明。
在本技术实施例的描述之前,将在前级准备中描述总体学习和通过使用总体学习者的总体学习获得的目标分辨。
[使用总体学习执行目标分辨的分辨设备]
图1是图示使用总体学习者执行目标分辨的分辨设备的配置示例的框图。
在图1中,分辨设备具有分辨处理单元10和检测词典存储单元20。
对其执行目标分辨的目标的输入图像从外部提供到分辨处理单元10。
分辨处理单元10例如执行目标分辨,其使用总体学习者(的参数)作为检测词典存储单元20中存储的检测词典,分辨如人脸的预定目标是否反映在从外部提供(输入)的输入图像中,并且输出分辨结果。
检测词典存储单元20存储通过总体学习获得的总体学习者(的参数)作为用于检测(分辨)目标的检测词典。
在图1中,分辨处理单元10具有缩放单元11、扫描单元12和分辨单元13。
对缩放单元11提供作为对其执行目标分辨的目标的输入图像。
缩放单元11在分辨单元13的控制下,例如通过双线性插值,以缩小比率缩小输入图像,并且将通过缩小获得的缩小图像提供给扫描单元12作为对其缩放了输入图像的缩放图像。
扫描单元12根据分辨单元13的控制,通过对来自缩放单元11的缩放图像在预定大小(如20(水平)×20(垂直)像素)的窗口上执行扫描(如光栅扫描),在缩放图像上移动窗口的位置。
扫描单元12然后剪切缩放图像中的窗口内的图像(以下也称为窗口图像),并将该窗口图像提供到分辨单元13。
分辨单元13在控制缩放单元11和扫描单元12的同时,使用检测词典存储单元20中存储的总体学习者以及从扫描单元12提供的窗口图像,分辨预定目标(如人脸)是否反映在输入图像中,并且输出指示分辨结果的分辨结果信息。
也就是说,分辨单元13控制缩放单元11,使得输入图像以预定缩小比率缩小。
缩放单元11根据分辨单元13的控制,以预定缩小比率缩小输入图像,并且将获得的缩小图像提供给扫描单元12作为缩放图像。
此外,分辨单元13控制扫描单元12,使得窗口按照光栅扫描顺序在缩放单元11获得的缩放图像上移动。
根据分辨单元13的控制,扫描单元12从缩放图像的左上朝右以预定像素数量单位(如一个像素)重复地移动窗口,并且当窗口到达缩放图像的右端时,通过减少预定像素数量(如一个像素)再次从左端朝右移动窗口,直到窗口到达缩放图像的右下。
只要窗口移动时,扫描单元12然后从缩放图像中剪切窗口图像,该窗口图像是移动后位置处的窗口内的图像,并且将该窗口图像提供给分辨单元13。
分辨单元13然后执行窗口图像分辨处理,其分辨目标是否反映在从扫描单元12提供的窗口图像中。
当窗口到达缩放图像的右下时,分辨单元13然后控制缩放单元11,使得输入图像以比前一次更小的缩小比率缩小,并且从那时起重复执行相同处理,直到缩放图像到达(等于或小于)窗口大小。
如上所述,分辨单元13可以通过执行窗口图像分辨处理检测输入图像中存在的各种大小的目标,该窗口图像分辨处理分辨目标是否反映在从通过以各种缩小比率缩小输入图像获得的缩放图像中剪切的窗口图像中。
在窗口图像分辨处理中,分辨单元13从来自扫描单元12的窗口图像中提取(计算)特征量(如像素间差异特征量),并且将该特征量输入到构成检测词典存储单元20中存储的总体学习者的弱学习者,从而获得作为弱学习者关于该特征量的输出的弱假定。
分辨单元13然后顺序地积分从构成总体学习者的弱学习者输出的弱假定,并且基于积分值分辨目标是否反映在窗口图像中。
[执行总体学习的学习设备]
图2是执行检测词典存储单元20中存储的总体学习者的总体学习的学习设备的配置示例的框图。
在图2中,学习设备具有学习图像存储单元31、特征量提取单元32和学习单元33。
学习图像存储单元31存储用于总体学习的多个学习图像。
学习图像是与窗口尺寸相同的图像,并且在该多个学习图像中包括其中反映了目标的正图像和其中没有反映目标的负图像。
此外,指示正图像和负图像之间哪个正确的标签(正确应答标签)附接到每个学习图像。
例如,特征量提取单元32从学习图像存储单元31中存储的学习图像提取特征量,如作为两个像素的像素值之间的差异的像素间差异特征量。
学习单元33通过使用学习图像存储单元31中存储的多个学习图像,即,使用从多个学习图像提取的像素间差异特征量x,执行总体学习,来获取并输出识别目标存在于图像中的总体学习者H(x)(的参数)。
这里,总体学习者H(x)具有T个弱学习者h1(x),h2(x),……,hT(x),其使用像素间差异特征量x作为输入,输出指示目标是否反映在图像中的弱假定。
图1的分辨单元13从窗口图像提取(计算)像素间差异特征量x,并且将像素间差异特征量x输入构成总体学习者的弱学习者h1(x)到hT(x),以获得作为弱学习者h1(x)到hT(x)关于像素间差异特征量x的输出的弱假定h1(x),h2(x),…,hT(x)。
也就是说,与作为自变量的像素间差异特征量x相比,弱学习者ht(x)具有作为参数的一个阈值th,并且当满足x>th时输出+1作为弱假定ht(x),并且当不满足x>th时输出-1作为弱假定ht(x)。
分辨单元13然后通过采用从构成总体学习者的弱学习者ht(x)输出的弱假定的加权多数表决(majority vote),基于加权多数表决执行分辨目标是否反映在窗口图像中的窗口图像分辨处理。
也就是说,除了阈值th之外,弱学习者ht(x)具有可靠性αt作为参数。
分辨单元13通过使用可靠性αt作为权重,顺序地积分从构成总体学习者的各个弱学习者ht(x)输出的弱假定ht(x),并且基于获得的积分值Σ(αt×ht(x))(=α1h1(x)+α2h2(x)+...+αThT(x))分辨目标是否反映在窗口图像中,来执行窗口图像分辨处理。
也就是说,当通过弱假定ht(x)的可靠性αt加权的积分值Σ(αt×ht(x))大于0(当符号为正)时,分辨窗口图像是其中反应了目标的正图像。
另一方面,当积分值Σ(αt×ht(x))不大于0(当符号不为正)时,分辨窗口图像是其中没有反应目标的负图像。
学习单元33通过总体学习,获得阈值th、可靠性αt、以及作为用于获得像素间差异特征量x的两个像素的位置的像素位置,作为构成总体学习者的每个弱学习者ht(x)的参数,该像素间差异特征量x是弱学习者ht(x)的自变量。
当窗口的大小例如是20(水平)×20(垂直)像素时,窗口图像的大小也是20×20像素。用于从20×20的窗口图像中提取像素间差异特征量x的两个像素的像素位置的组合(像素位置对)的数量则是79,800=400×399/2。
此外,学习单元33还获得剪切长度Rt作为弱学习者ht(x)的参数。剪切长度Rt将稍后描述。
这里,如上所述,使用是否满足x>th而输出+1或-1作为弱假定ht(x)的弱学习者ht(x)称为树桩分类器(stump classifier)。
也就是说,树桩分类器使用图像的特征量x,将图像分为指示是否反应目标(如人脸)的两类,但是通过特征量x和阈值th之间的幅度关系识别图像。
作为+1的弱假定的类别是指示反应了目标的类别,并且作为-1的弱假定的类别是指示没有反应目标的类别。
此外,构成总体学习者的弱学习者不限于树桩分类器。
具有树桩分类器ht(x)作为弱学习者的总体学习者H(x)的总体学习例如可以通过作为提升(boosting)的一种的AdaBoost等执行。
[总体学习]
图3是图示通过图2的学习设备执行的总体学习者H(x)的总体学习处理的流程图。
图3的总体学习是采用AdaBoost的学习。然而,除了AdaBoost外,总体学习例如可以使用GentleBoost等执行。
这里,在学习设备的学习图像存储单元31(图2)中,存储N个学习图像,每个具有与扫描单元12(图1)中使用的窗口相同的大小,并且N个学习图像中的第i个学习图像指示为学习图像#i。此外,第i个学习图像的正确答案标签指示为yi。例如,当学习图像#1为正图像时,正确答案标签yi是+1,并且当学习图像#1是负图像时,正确答案标签yi是-1。
在总体学习的步骤S 11中,学习单元33将计数构成总体学习者的弱学习者ht(x)的数量的变量t初始化为1,并且处理进行到步骤S12。
在步骤S12,学习单元33将用于学习图像存储单元31中存储的各个学习图像#1到#N的第一弱学习者h1(x)的权重D1(1)到D1(N)初始化为例如1/N,并且处理进行到步骤S13。
这里,Dt(i)指示关于第i个学习图像#i的第t个弱学习者ht(x)的权重。
在步骤S13,学习单元33执行生成第t个弱学习者ht(x)的弱学习者生成处理,并且处理进行到步骤S14。
在步骤S14,学习单元33确定变量t是否等于作为构成总体学习者的弱学习者ht(x)的总数的预定总数T。
在步骤S14,当确定变量t不等于预定总数T时,即,当还没有生成具有与预定总数T相同数量的弱学习者h1(x)到hT(x)时,处理进行到步骤S15,并且学习单元33例如根据AdaBoost算法,将用于每个学习图像#i的第t个弱学习者ht(x)的权重Dt(i)更新为接着要获取的、用于每个学习图像#i的第(t+1)个弱学习者ht+1(x)的权重Dt+1(x)。
也就是说,学习单元33根据以下等式(1)更新权重Dt(i)。
Dt(i)=Dt(i)exp(-yiht(xi))---(1)
在等式(1)中,exp()指示使用讷皮尔数e作为基数的指数函数,并且yi指示第i个学习图像#i的正确答案标签。
此外,xi指示从第i个学习图像#i提取(计算)的像素间差异特征量,并且ht(xi)指示在紧接在前步骤S13中生成的第t个弱学习者关于像素间差异特征量xi的输入而输出的弱假定。
根据等式(1),当正确答案标签yi的符号匹配弱假定ht(xi)的符号时(当弱假定ht(xi)是正确答案时),权重Dt(i)更新为较低值,并且当正确答案标签yi的符号不匹配弱假定ht(xi)的符号时(当弱假定ht(xi)不是正确答案时),权重Dt(i)更新为较高值。
学习单元33然后根据等式(2)规格化更新的权重Dt(i),并且获得规格化的权重Dt(i)作为用于第(t+1)个弱学习者ht+1(x)的权重Dt+1(i)。
Dt+1(i)=Dt(i)/ΣiDt(i)---(2)
在等式(2)中,Σi指示通过从1到N改变变量i的Dt(i)的和(Dt(i)的总和)。
在如上所述在步骤S15中获得接着要在每个学习图像#i中获得的用于第(t+1)个弱学习者ht+1(x)的权重Dt+1(i)之后,处理进行到步骤S16,并且学习单元33将变量t递增1。
因此处理从步骤S16返回步骤S13,并且从此重复执行相同处理。
另一方面,在步骤S14,当确定变量t等于预定总数T时,即,当弱学习者h1(x)到hT(x)具有与预定总数T相同数量时,处理进行到步骤S17,并且学习单元33输出包括弱学习者h1(x)到hT(x)(的参数)的总体学习者H(x)作为检测词典,从而结束总体学习处理。
图4是图示通过图2的学习设备在图3的步骤S13中生成弱学习者ht(x)的弱学习者生成处理的流程图。
在步骤S21,学习单元33例如将可以从学习图像中选择的两个像素的位置的所有组合设为用于生成作为特征量的像素间特征量的两个像素的位置的组合(像素位置对)。
这里,可以从学习图像中选择的两个像素的位置的所有组合的数量是M。
在步骤S21,当设置作为可从学习图像中选择的两个像素的位置的所有组合的数量的M个像素位置对时,学习单元33将计数M个像素位置对的变量m初始化为1,并且处理进行到步骤S23。
在步骤S23,特征量提取单元32在学习图像存储单元31中存储的第一到第N个学习图像#1到#N的每个中的M个像素位置对中,提取第m个像素位置对的两个像素的像素值(例如,亮度)p1和p2,并且获得作为像素间差异特征量的特征量xi=p1-p2作为用于第t个弱学习者ht(x)的特征量,并且处理进行到步骤S24。
在步骤S24,学习单元33对指示作为第t个弱学习者ht(x)的参数的阈值的变量th设置xmin作为初始值,并且处理进行到步骤S25。
这里,例如作为由预定位数(如8位或16位)表示的像素间差异特征量获取的值的最小值等用作初始值xmin
在步骤S25,学习单元33在1到N个学习图像#1到#N中,通过将从学习图像#i获取的像素间差异特征量xi应用于弱学习者ht(x)获得弱假定ht(xi),该弱学习者ht(x)使其阈值作为变量th。
此外,学习单号33根据下面的等式(3),获得其弱假定ht(xi)满足ht(xi)≠yi的学习图像#i的权重Dt(i)的总和,作为像素位置对m和阈值th中的误差率εt(m,th)。
εt(m,th)=ΣDt(i)[ht(xi)≠yi]---(3)
这里,在等式(3)中,当满足ht(xi)≠yi时ht(xi)≠yi为1,并且当不满足ht(xi)≠yi时ht(xi)≠yi为0。
根据等式(3),仅仅通过将N个学习图像中作为弱学习者ht(x)的输出的错误学习图像ht(xi)(其中满足ht(xi)≠yi的学习图像)的权重Dt(i)相加,获得误差率εt(m,th)。
在步骤S25,当获得像素位置对m和阈值th中的误差率εt(m,th)时,处理进行到步骤S26,并且学习单元33确定变量th是否等于作为表示为预定位数的像素间差异特征量获得的值的最大值xmax
在步骤S26,当确定(指示阈值)变量th不等于最大值xmax时,即,当阈值th是小于最大值xmax的值时,处理进行到步骤S27,并且学习单元33将变量th递增1。
处理然后从步骤S27返回步骤S25,并且从此重复执行相同处理。
此外,在步骤S26,当确定阈值th等于最大值xmax时,处理进行到步骤S28,并且学习单元33确定变量m是否等于预定数量M。
在步骤S28,当确定变量m不等于预定数量M时,处理进行到步骤S29,并且学习单元33将变量m递增1。
处理然后从步骤S29返回步骤S23,并且从此重复执行相同处理。
此外,在步骤S28,当确定变量m等于预定数量M时,即,当在等于M的像素位置对m的每个中以及范围xmin≤th≤xmax中的阈值th的每个中获得第t个弱学习者ht(x)的误差率εt(m,th)时,处理进行到步骤S30,并且学习单元33获得在等于M的像素位置对m的每个中以及由xmin≤th≤xmax表示的范围中的阈值th的每个中的误差率中的最小误差率εt(mmin,thmin)。
当获得最小误差率εt(mmin,thmin)时,学习单元33确定阈值thmin(以下也称为最小阈值)和像素位置对mmin(以下也称为优化像素位置对),分别作为第t个弱学习者ht(x)的参数的阈值以及用于获得自变量x的像素间差异特征量的自变量x的像素位置对。
处理然后从步骤S30进行到步骤S31,学习单元33根据下面的等式(4),使用最小误差率ε(mmin,thmin),获得作为弱学习者ht(x)的参数的可靠性αt,并且处理进行到步骤S32。
αt=(1/2)ln((1-εt(mmin,thmin))/εt(mmin,thmin))---(4)
根据等式(4),当最小误差率εt(mmin,thmin)增加(减少)时,可靠性αt减少(增加)。此外,在等式(4)中,ln指示使用讷皮尔数作为基数的对数。
在步骤S32,学习单元33获得作为第t个弱学习者ht(x)的参数的剪切长度Rt,并且处理返回(图3的)步骤S14。
图5是图示在图4的步骤S32中获得剪切阈值Rt的方法的图。
通过总体学习获得的总体学习者H(x)包括T个弱学习者h1(x),h2(x),...,hT(x),并且存储在检测词典存储单元20(图1)中。
图1的分辨单元13执行窗口图像分辨处理,其使用检测词典存储单元20中存储的总体学习者H(x),分辨目标是否反映在从扫描单元12提供的窗口图像中。
也就是说,在窗口图像分辨处理中,从窗口图像中提取的特征量x(本技术中的像素间差异特征量)应用到总体学习者H(x),并且基于作为总体学习者H(x)关于特征量x的输出的识别值H(x),分辨目标是否反映在窗口图像中。
作为总体学习者H(x)的输出的识别值H(x)是作为构成总体学习者H(x)的弱学习者ht(x)的输出的弱假定的积分值(加权多数表决)的符号,并且表示为以下等式(5)。
H(x)=sgn{Σtαtht(x)}---(5)
在等式(5)中,Σt指示加权值αtht(x)的和,通过将变量t从1变为T来加权弱假定ht(x)的可靠性αt。此外,sgn指示括号{}内的符号(0的符号被认为是正和负的任一(例如负))。
当等式(5)的识别值H(x)为正时,分辨目标反映在窗口图像中,当识别值不为正时,目标没有反映在窗口图像中。
在窗口图像分辨处理中,在获得等式(5)的识别值H(x)时,在变量t从1顺序变为T的同时,获得并积分弱假定ht(x)的加权值αtht(x)。
也就是说,通过重复获得弱假定ht(x),并且将弱假定ht(x)的加权值αtht(x)积分到已经获得的弱假定h1(x)到ht-1(x)的加权值α1h1(x)到αt-1ht-1(x)的积分值,获得等式(5)的识别值H(x)。
图5图示t个弱假定h1(x)到ht(x)的(加权值α1h1(x)到αtht(x)的)积分值(以下也称为t个弱假定的积分值Σαtht(x))的变量t的改变示例。
此外,图5图示5个窗口图像#1、#2、#3、#4和#5的每个中的t个弱假定的积分值Σht(x)。
在5个窗口图像中,窗口图像#1到#4是正图像,并且剩余的窗口图像#5是负图像。
此外,图5中还图示了剪切阈值Rt
不管作为正图像的窗口图像#1到#4中的变量t的数量(积分弱假定的数量),t个弱假定的积分值Σαtht(x)等于或高于剪切阈值Rt
另一方面,当变量t变为作为负图像的窗口图像#5中的某一值时,t个弱假定的积分值Σαtht(x)小于剪切阈值Rt
当获得等式(5)的识别值H(x)时,在将变量t从1变为T的同时,顺序获得弱假定ht(x),并且积分弱假定ht(x)的加权值αtht(x)以获得t个弱假定的积分值Σαtht(x)。然而,当t个弱假定的积分值Σαtht(x)小于(或者等于或小于)剪切阈值Rt时,终止(停止)弱假定ht(x)的(加权值αtht(x)的)积分。
此外,当终止弱假定ht(x)的积分时,分辨目标没有反映在窗口图像中(窗口图像是负图像)。
使用学习单元33中的N个学习图像中的正图像,获得与t个弱假定的积分值Σαtht(x)相比的剪切阈值Rt
也就是说,当L个正图像包括在N个学习图像中,并且从L个正图像中的第j个正图像提取的像素间差异特征量表示为xj时,学习单元33获得L个正图像的每个#j中的t个弱假定的积分值Σαtht(xj)。
学习单元33然后获得各个L个正图像#j中的t个弱假定的积分值Σαtht(xj)的最小值作为剪切阈值Rt
具体地,学习单元33例如根据下面的等式(6)获得剪切阈值Rt
Rt=min{Σiαihi(x1),Σiαihi(x2),...,Σiαihi(xL),0}---(6)
在等式(6)中,Σi指示当变量i从1变为t时弱假定hi(xj)的(加权值αihi(xj)的)和。此外,min{}指示括号{}内的值的最小值。
根据等式(6),获得L个正图像的每个#j中的t个弱假定的积分值Σαihi(xj)=α1h1(xj)+α2h2(xj)+...+αtht(xj)的最小值作为剪切阈值Rt
此外,在等式(6)中,当L个正图像的每个#j中的t个弱假定的积分值Σαihi(xj)=α1h1(xj)+α2h2(xj)+...+αtht(xj)的最小值大于0时,剪切阈值Rt为0。
如等式(6)中获得的剪切阈值Rt因此限制为等于或小于0的值。
此外,限制剪切阈值Rt的方法(除了限制剪切阈值Rt的值以外,还包括是否限制剪切阈值Rt)取决于总体学习方法(类别)。
[分辨处理]
图6是图示使得图1的分辨设备分辨目标是否反映在输入图像中的目标分辨处理(分辨处理)的流程图。
以下,例如采用人脸作为目标。
在该情况下,在步骤S51,缩放单元11等待输入图像从外部提供,缩小来自外部的输入图像,并且将通过缩小获得的图像提供给扫描单元12作为从输入图像缩放的缩放图像,并且处理进行到步骤S52。
这里,在缩放单元11中,当提供来自外部的输入图像后第一次执行步骤S51时,以缩小比率1缩小输入图像。在该情况下,其中大小没有缩小的输入图像因此作为缩放图像从缩放单元11提供到扫描单元12。
在步骤S52,扫描单元12在来自缩放单元11的缩放图像的左上位置中设置预定大小(如20×20像素)的窗口,并且处理进行到步骤S53。
在步骤S53,扫描单元12从缩放图像中剪切窗口内的图像,并且将剪切图像提供到分辨单元13作为窗口图像,并且处理进行到步骤S54。
在步骤S54,分辨单元13执行窗口图像分辨处理,其使用检测词典存储单元20中存储的总体学习者分辨目标是否反映在来自扫描单元12的窗口图像中,并且处理进行到步骤S55。
这里,稍后将描述分辨单元13执行的窗口图像分辨处理。然而,在窗口图像分辨处理中分辨窗口图像是其中反应了人脸的目标的正图像还是其中没有反应人脸的负图像。
在步骤S55,分辨单元13分辨窗口是否位于缩放图像的右下位置。
在步骤S55,当分辨窗口没有位于缩放图像的右下位置时,处理进行到步骤S56,并且分辨单元13控制扫描单元12,使得窗口移动。
扫描单元12根据分辨单元13的控制,以光栅扫描顺序将缩放图像上的窗口移动到下一位置,并且处理从步骤S56返回步骤S53。
在步骤S53中,扫描单元12从缩放图像中剪切移动后窗口内的图像,并且将剪切图像提供到分辨单元13作为窗口图像,并且从此重复执行相同处理。
此外,在步骤S55中,当确定窗口位于缩放图像的右下位置时,处理进行到步骤S57,并且分辨单元13确定缩放图像的大小是否匹配窗口的大小。
在步骤S57,当确定缩放图像的大小不匹配窗口的大小时,即,当缩放图像的大小大于窗口的大小时,处理进行到步骤S58,分辨单元13控制缩放单元11,使得输入图像以小于前一次的缩小比率的缩小比率(进一步缩小输入图像的缩小比率)缩小,并且处理返回步骤S51。
在步骤S51,缩放单元11根据分辨单元13的控制缩小输入图像,并且将具有从前一次进一步缩小的大小的获得图像提供给扫描单元12作为缩放图像,并且从此重复执行相同处理。
此外,在步骤S57,当确定缩放图像的大小匹配窗口的大小时,即,当将输入图像缩小到缩放单元11中相同大小的窗口时,处理进行到步骤S59,分辨单元13从输入图像中检测对应于分辨为正图像的窗口图像的输入图像上的区域作为目标区域,在目标区域中目标反应在到目前为止执行的步骤S54的窗口图像分辨处理中,并且处理进行到步骤S60。
在步骤S60,分辨单元13确定输入图像中是否存在目标区域,即,确定在步骤S59中是否从输入图像中检测到至少一个目标区域。
在步骤S60,当确定输入图像中不存在目标区域时,即,当在从输入图像中获得的窗口图像中不存在分辨为正图像的窗口图像,使得在窗口图像分辨处理中人脸没有反映在输入图像中时,处理进行到步骤S61,分辨单元13例如输出指示目标不存在的参数等作为指示输入图像中目标的存在的分辨结果的分辨结果信息,并且分辨处理因此结束。
此外,在步骤S60,当确定在输入图像中存在目标区域时,即,当确定在输入图像中存在至少一个目标区域时,处理进行到步骤S62,并且分辨单元13分辨输入图像中存在的目标区域中是否存在相互重叠的目标区域。
在步骤S62,当确定输入图像中存在的目标区域中存在相互重叠的目标区域时,即,当输入图像中存在多个目标区域并且该多个目标区域中存在相互重叠的目标区域时,处理进行到步骤S63,并且分辨单元13选择输入图像中的相互重叠的目标区域中的任何两个相互重叠的目标区域,并且排除该两个相互重叠的目标区域中的一个,即,例如具有较小评估值s的一个,该评估值s将稍后描述并且在窗口图像分辨处理中从目标区域获得。
处理然后从步骤S63返回步骤S62,并且步骤S62和S63的处理重复执行,直到在步骤S62中确定在输入图像中存在的目标区域中不存在相互重叠的目标区域。
当在步骤S62中确定在输入图像中存在的目标区域中不存在相互重叠的目标区域时,处理进行到步骤S61,分辨单元13例如输出指示目标存在的参数等、或者其中显示用框围绕的目标区域的输入图像,作为指示输入图像中目标存在的分辨结果的分辨结果信息,并且分辨处理结束。
图7是图示图6的步骤S54中执行的窗口图像分辨处理的流程图。
在步骤S71,分辨单元13将计数构成检测词典存储单元20中存储的总体学习者H(x)的T个弱学习者h1(x),h2(x),...,hT(x)的变量t初始化为1。
此外,在步骤S71,分辨单元13将评估值s初始化为0,该评估值s评估窗口图像以分辨在来自扫描图像12的窗口图像中是否反映了目标,并且处理进行到步骤S72。
在步骤S72,分辨单元13从来自扫描单元12的窗口图像提取应用到第t个弱学习者ht(x)的像素间差异特征量x。
这里,作为弱学习者ht(x)的参数的像素位置对m指示窗口图像上的两个像素的像素位置P1和P2,它们用于获得像素间差异特征量x。
分辨单元13从窗口图像提取指示作为弱学习者ht(x)的参数的像素位置对m的各个像素位置P1和P2的像素值p1和p2,并且通过像素值平p1和p2之间的减法获得像素间差异特征量x=p1-p2
处理然后从步骤S72进行到步骤S73,分辨单元13将紧接的在前步骤S72中获得的像素间差异特征量x应用于第t个弱学习者ht(x),并且通过计算弱学习者ht(x)获得弱假定ht(x),并且处理进行到步骤S74。
这里,在步骤S73,比较弱学习者ht(x)的阈值th和像素间差异特征量x以计算弱学习者ht(x)。当满足x>th时,获得+1作为弱假定ht(x),并且当不满足x>th时,获得-1作为弱假定ht(x)。
在步骤S74,分辨单元13获得弱假定ht(x)的加权值αtht(x)。此外,分辨单元13通过将弱假定ht(x)的加权值αtht(x)加到评估值s来更新评估值s,并且处理从步骤S74进行到步骤S75。
这里,步骤S74中获得的更新评估值s是参考图5描述的t个弱假定的积分值Σαtht(x),并且步骤S74中获得的评估值s的更新也是用于获得作为等式(5)的总体学习者H(x)的输出的识别值H(x)的弱假定ht(x)的(加权值αtht(x)的)积分。
在步骤S75,分辨单元13确定评估值s是否是大于作为第t个弱学习者ht(x)的参数的剪切阈值Rt的值。
在步骤S75,当确定评估值s是大于剪切阈值Rt的值时,处理进行到步骤S76,并且分辨单元13确定变量t是否等于构成总体学习者H(x)的弱学习者ht(x)的数量T。
在步骤S76,当确定变量t不等于构成总体学习者H(x)的弱学习者ht(x)的数量T时,处理进行到步骤S77,并且分辨单元13将变量t递增1。
处理然后从步骤S77返回步骤S72,并且从此重复执行相同处理。
此外,在步骤S76,当确定变量t等于构成总体学习者H(x)的弱学习者ht(x)的数量T时,即,当对构成总体学习者H(x)的T个弱学习者ht(x)的全部弱假定ht(x)执行用于获得识别值H(x)的、表示为等式(5)的右侧的和的积分时,处理进行到步骤S78,并且分辨单元13确定评估值s是否大于阈值0。
在步骤S78,当确定评估值s不大于阈值0时,即,当作为关于构成总体学习者H(x)的T个弱学习者ht(x)的所有弱假定ht(x)的积分值Σtαtht(x)的(等式(5)的右侧的Σαtht(x)的)符号的识别值H(x)不为正时,处理进行到步骤S79,并且分辨单元13分辨该窗口图像为负图像,并且处理返回(图6的)步骤S55。
此外,在步骤S75,当还确定评估值s是不大于剪切阈值Rt的值时,处理进行到步骤S79,分辨单元13分辨该窗口图像为负图像,并且处理返回(图6的)步骤S55。
相应地,当评估值s(即,t个弱假定的积分值Σtαtht(x))是不大于剪切阈值Rt的值时,停止步骤S74中执行的评估值s的更新,即,用于获得作为等式(5)的总体学习者H(x)的输出的识别值H(x)的弱假定ht(x)的积分。
当t个弱假定的积分值Σtαtht(x)是不大于剪切阈值Rt的值时,窗口图像是正图像的可能性非常低,因此通过当t个弱假定的积分值Σαtht(x)变为不大于剪切阈值Rt的值时停止弱假定ht(x)的积分,可能高速地(在短时间内)执行分辨处理(图6)。
另一方面,在步骤S78,当确定评估值s大于阈值0时,即,当作为关于构成总体学习者H(x)的T个弱学习者ht(x)的所有弱假定ht(x)的积分值Σtαtht(x)的(等式(5)的右侧的Σtαtht(x)的)符号的识别值H(x)为正时,处理进行到步骤S80,并且分辨单元13分辨该窗口图像为正图像,并且处理返回(图6的)步骤S55。
图8是图示当在图1的分辨设备中对输入图像执行分辨处理时的输入图像(运动图像)和ROC曲线的图。
图8A和图8B的输入图像都是其中相同人脸反映为目标的正图像。
然而,图8A的输入图像中的整个目标用尽可能少的偏移照明,并且图8A的输入图像因此是整个目标适当地照明的图像(适当照明图像)。
另一方面,外部光入射到(朝向)图8B的输入图像中的右侧,使得图8B的输入图像是这样的图像,其中人脸目标的右侧亮而左侧暗(左侧(而不是右侧)出现阴影)(偏移阴影图像)。
当ROC曲线靠近左上角时,ROC曲线具有较高(较好)的分辨目标的分辨性能。
在图8中,图8A的输入图像的ROC曲线接近左上角。然而,图8B的输入图像的ROC曲线稍微远离左上角。
也就是说,在作为图8B的输入图像的偏移阴影图像中,由于外部光产生的人脸左侧的阴影,分辨目标的分辨性能劣化。
图9是图示在图1的分辨设备中使用偏移阴影图像作为目标分辨目标的分辨性能劣化的图。
图9图示作为其中反映了人脸目标的正图像的两个输入图像#1和#2(从其剪切的窗口图像)。
然而,输入图像#1是其中整个人脸目标适当照明的适当照明图像,并且输入图像#2是其中人脸目标的右侧(而不是左侧)出现阴影的偏移阴影图像。
在图9中,从输入图像的左侧的像素位置P1的像素值p1和输入图像的右侧的像素位置P2的像素值p2获得的像素间差异特征量x=p1-p2,与目标分辨中的弱学习者ht(x)的阈值th比较。
在作为其中人脸的目标的右侧(而不是左侧)出现阴影的偏移阴影图像的输入图像#2中,与作为适当照明图像的输入图像#1中获得的值相比,与弱学习者ht(x)的阈值th比较的像素间差异特征量x=p1-p2是显著不同的值,使得弱学习者ht(x)的弱假定ht(x)可能被不利影响,并且分辨目标的分辨性能可能劣化。
图10是图示当输入图像不是其中适当照明整个目标的适当照明图像时的处理方法的图。
图10中整个输入图像为暗。
在全暗的输入图像中,通过对整个输入图像应用将亮度转换为k倍亮度的滤波器,可能使得输入图像的亮度分布变为适当范围内的亮度分布,其中k是等于或大于1的预定数字。
因此,通过使用亮度转换滤波器对作为具有适当亮度分布的输入图像的适当照明图像执行分辨处理,可能防止分辨性能劣化。
这里,k倍像素值p从亮度转换滤波器输出。输入到亮度转换滤波器的输入值Input和从亮度转换滤波器输出的输出值Output之间的关系表示为Output=k×Input。
此外,当输入图像太亮时,使用将亮度转换为k倍亮度的亮度转换滤波器,输入图像转换为具有适当亮度分布的适当照明图像,其中k是等于或小于1的预定数字。
相应地,当整个输入图像暗(或太亮)时,通过对整个输入图像应用亮度转换滤波器以将输入图像转换为具有适当亮度分布的图像,可能防止分辨性能劣化。然而,当输入图像是部分暗时,必需只对暗部分应用亮度转换滤波器以便防止分辨性能劣化。
也就是说,例如当输入图像是其中人脸反映为通过来自右侧的光(外部光)照明的目标的偏移阴影图像时,如图8B所示,人脸的右侧亮,而左侧暗,因此必需只对出现阴影的左侧部分应用将像素值p转换为k倍像素值的亮度转换滤波器,其中k是等于或大于1的预定数字。
图11是图示在通过图1的分辨设备执行的图6的分辨处理中部分应用亮度转换滤波器的情况的图。
当在通过图1的分辨设备执行的图6的分辨处理中部分应用亮度转换滤波器时,在缩放输入图像然后从缩放图像中剪切窗口图像之后执行窗口图像分辨处理(图6的步骤S54)之前,必需执行对窗口图像部分应用亮度转换滤波器的部分滤波处理。
因此,必需对从一个输入图像生成的所有缩放图像中剪切的所有窗口图像执行部分滤波处理,并且分辨处理中需要执行的部分滤波处理的处理成本增加。
[对其应用本技术的分辨设备的实施例]
图12是图示对其应用本身技术的信息处理设备的分辨设备的实施例的配置示例的框图。
以下,在附图中,对应于图1的部分的部分用相同参考标号表示,并且省略该部分的重复说明。
图12的分辨设备具有与图1的分辨处理单元10和检测词典存储单元20共同的分辨处理单元10和检测词典存储单元20。
然而,图12的分辨设备与图1的分辨设备的不同在于新布置了图像获取单元51、光源估计单元52、阴影区域识别单元53、校正信息计算单元54、校正信息存储单元55、校正单元56和平均图像存储单元57。
在图12的分辨设备中,校正检测词典存储单元20中存储的总体学习者H(x)的参数,使得可以获得与这样的情况相同的效果,其中对从输入图像生成的所有缩放图像中剪切的所有窗口图像执行部分滤波处理。
图像获取单元51例如包括相机等,捕获图像,并且将捕获图像作为输入图像提供给分辨处理单元10、光源估计单元52和阴影区域识别单元53。
这里,光源估计单元52到平均图像存储单元57用作校准设备,其执行作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的校准。
例如,使用其中反映了人脸的目标的正图像作为用于校准的输入图像来执行校准。
用于校准的输入图像(以下称为校准图像)提供给图像获取单元51、光源估计单元52和阴影区域识别单元53。
光源估计单元52从校准图像估计照明校准图像中反映的目标(人脸)的光源,并且将估计结果提供给阴影区域识别单元53。
阴影区域识别单元53基于来自光源估计单元52的光源的估计结果,在来自图像获取单元51的校准图像中识别由于光源而出现阴影的阴影区域,并且将阴影区域(指示阴影区域的信息)提供给校正信息计算单元54。
也就是说,例如阴影区域识别单元53基于来自光源估计单元52的光源的估计结果,在来自图像获取单元51的校准图像(从校准图像中剪切的窗口图像)中检测作为由于来自光源的光而出现阴影的边界的阴影边界。
此外,阴影区域识别单元53在来自图像获取单元51的校准图像中的通过阴影边界划分的两个区域中,识别与从来自光源估计单元52的光源的估计结果获得的光源的位置(方向)相反侧的区域,作为由于光源而出现阴影的阴影区域,并且将阴影区域提供给校正信息计算单元54。
校正信息计算单元54基于来自光源估计单元52的估计结果,并且还基于根据光源的估计结果在阴影区域识别单元53中获得的阴影区域,根据需要使用平均图像存储单元57中存储的平均图像,计算用于校正作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的参数的校正信息,并且将校正信息提供给校正信息存储单元55。
校正信息存储单元55存储来自校正信息计算单元54的校正信息。
校正单元56通过使用校正信息存储单元55中存储的校正信息,根据需要参考平均图像存储单元57中存储的平均图像,校正作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的参数,并且将校正后的检测词典提供给分辨处理单元10。
然后,在图12中的分辨处理单元10中执行目标分辨处理,其使用校正后的检测词典(即,校正后的总体学习者H(x))分辨目标(人脸)是否反映在从图像获取单元51提供的输入图像中。
平均图像存储单元57存储平均图像,其中平均多个正图像,即,用于总体学习的学习图像中包括的正图像(具有正确答案标签yi=+1的图像)。
此外,在图12的分辨设备中,可能根据需要在构成分辨设备的每个块中,参考作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的参数或平均图像存储单元57中存储的平均图像。
图13是图示平均图像存储单元57中存储的平均图像的示例的图。
平均图像用于根据需要使用校正信息(并计算校正信息)校正总体学习者H(x)的参数。
[本技术的原理]
图14是图示本技术的原理的图。
也就是说,图14的A图示从输入图像中剪切的窗口图像,并且图14的B图示图13所示的平均图像。
在图14的A的窗口图像中,例如,当左半比右半暗并且因此是阴影区域时,可能需要执行部分滤波处理,其使得图14的A的窗口图像的左半的阴影区域(的像素值)乘以k,使得在窗口图像分辨处理(图7)之前左半具有与右半相同的亮度分布,以便防止分辨性能的劣化。
然而,对经历部分滤波处理的窗口图像执行使用总体学习者H(x)的窗口图像分辨处理,该部分滤波处理如上所述使得左半乘以k,相当于执行使用总体学习者H(x)的窗口图像分辨处理,该总体学习者H(x)通过使用这样的图像执行总体学习获得,该图像中对应于窗口图像的阴影区域的学习图像的左半乘以1/k。
也就是说,例如,对经历部分滤波处理的窗口图像执行使用总体学习者H(x)窗口图像分辨处理,该部分滤波处理使得图像值乘以k(=2),相当于执行使用总体学习者H(x)的窗口图像分辨处理,该总体学习者H(x)通过使用经历部分滤波处理的学习图像执行总体学习获得,该部分滤波处理使得像素值乘以1/k(=1/2)。
相应地,在本技术中,通过将通过使用学习图像执行总体学习获得的总体学习者(以下也称为标准学习者)的参数校正为这样的总体学习者的参数,该总体学习者通过使用经历部分滤波处理的学习图像执行总体学习获得,该部分滤波处理使得像素值乘以1/k(以下也称为滤波后学习者),获得与对窗口图像执行部分滤波处理的情况相同的效果,而不需要对窗口图像执行部分滤波处理。
如上所述,在本技术中,将标准学习者的参数校正为滤波后学习者的参数。然而,使用平均图像近似地执行该校正。
也就是说,在本技术中,如图14的B所示,通过对平均图像执行使得像素值乘以1/k的部分过滤处理,并且根据需要使用经历部分滤波处理的平均图像,校正标准学习者的参数,该平均图像近似学习图像而不是学习图像,并且其中学习图像中包括的正图像被平均。
图15是图示标准学习者的参数校正的图。
也就是说,例如图15是图示获得与以下情况相同效果的标准学习者的参数的校正的图,该情况中执行使得窗口图像的右半乘以k的部分滤波处理。
例如,当因为右半是阴影区域所以执行使得窗口图像的右半乘以k(≥1)的部分滤波处理时,通过执行使得近似于学习图像的平均图像的右半(对应于阴影区域的区域)乘以k’=1/k(其为等于或小于1的常数)的部分滤波处理,可能获得与使得窗口图像的右半乘以k的部分滤波处理相同效果。
这里,在经历使得对应于阴影区域的平均图像的右半乘以k’=1/k的部分滤波处理的平均图像中,当像素位置对的两个像素位置P1和P2的任一是平均图像的左半中的像素位置时,在使得右半乘以k’=1/k的部分滤波处理前后,平均图像的像素位置P1和P2的像素值p1和p2不变。
因此,在执行使得右半乘以k’=1/k的部分滤波处理前后,其中像素位置对的两个像素位置P1和P2的任一是平均图像的左半中的像素位置的弱学习者ht(x)的自变量x的像素间差异特征量x不变。
如参考图7所述,根据弱学习者ht(x)的阈值th和弱学习者的自变量x的像素间差异特征量x是否满足x>th,执行弱学习者ht(x)的运算(弱假定ht(x)的计算),并且当在执行使得右半乘以k’=1/k的部分滤波处理前后像素间差异特征量x不变时,不必校正作为总体学习者H(x)的参数的阈值th。
另一方面,当像素位置对的两个像素位置P1和P2的一个像素位置P1是平均图像的左半(对应于阴影区域的区域)中的像素位置,并且另一像素位置P2是右半(与对应于阴影区域的区域不同的区域)中的像素位置时,像素位置P1的像素值不变,而像素位置P2的像素值在执行使得右半乘以k’=1/k的部分滤波处理前后改变。
也就是说,图15的A图示当像素位置对的两个像素位置P1和P2的像素位置P1是平均图像的左半中的像素位置,并且另一像素位置P2是右半中的像素位置时的平均图像。
当执行使得右半乘以k’=1/k的部分滤波处理前像素位置P1的像素值表示为p1并且像素位置P2的像素值表示为p2,并且执行使得右半乘以k’=1/k的部分滤波处理后像素位置P1的像素值表示为p1’并且像素位置P2的像素值表示为p2’时,在执行使得右半乘以k’=1/k的部分滤波处理后,像素位置P1的像素值p1’保持为p1,而像素位置P2的像素值p2’变为k’p2
因此,在执行部分滤波处理前后,其中像素位置对的两个像素位置P1和P2的一个像素位置P1是平均图像的左半中的像素位置,并且另一像素位置P2是右半中的像素位置的弱学习者ht(x)的自变量x的像素间差异特征量x改变。
也就是说,在执行部分滤波处理之前像素间差异特征量x为p1-p2,并且在执行部分滤波处理之后像素间差异特征量x为p1’-p2’=p1-k’p2
在执行部分滤波处理之前,根据弱学习者ht(x)的阈值th和像素间差异特征量x=p1-p2是否满足x=p1-p2>th,执行弱学习者ht(x)的运算。
另一方面,因为在执行部分滤波处理后像素间差异特征量为p1-k’p2,所以当弱学习者ht(x)的阈值th照原样使用时,不以与执行部分滤波处理之前相同的方式执行与p1-p2>th的比较(即,是否满足p1-p2>th)。
然而,当(1-k’)p2增加到p1-p2>th两侧时,该不等式可以变形为p1-k’p2>th+(1-k’)p2
在p1-k’p2>th+(1-k’)p2中,左侧p1-k’p2等于执行部分滤波处理后获得的像素间差异特征量x(=p1-k’p2)。
因为p1-k’p2>th+(1-k’)p2的比较相当于p1-p2>th的比较,所以可能通过使用thnew=th+(1-k’)p2作为阈值执行p1-k’p2>thnew的比较,执行相当于p1-p2>th比较的比较。
相应地,通过将弱学习者ht(x)的阈值th校正为阈值thnew=th+(1-k’)p2,并且在执行部分滤波处理之后获得的像素间差异特征量x=p1-k’p2中使用校正后阈值thnew执行弱学习者ht(x)的运算,可能执行相当于执行部分滤波处理之前获得的像素间差异特征量x=p1-p2中执行的p1-p2>th的比较的p1-k’p2>thnew的比较。
此外,在其中像素位置对的两个像素位置P1和P2的一个像素位置P1是平均图像的右半(对应于阴影区域的区域)中的像素位置、并且另一像素位置P2是左半(与对应于阴影区域的区域不同的区域)中的像素位置的弱学习者ht(x)中,通过将弱学习者ht(x)的阈值th校正为阈值thnew=th-(1-k’)p1,可能执行相当于p1-p2>th的比较的k’p1-p2>thnew的比较。
图15的B图示当像素位置对的两个像素位置P1和P2的像素位置P1和P2两者都是右半(对应于阴影区域的区域)中的像素位置时的平均图像。
与图15的A中相同的方式,当在执行使得右半乘以k’=1/k的部分滤波处理之前,像素位置P1的像素值和像素位置P2的像素值分别表示为p1和p2时,而且当在执行使得右半乘以k’=1/k的部分滤波处理之后,像素位置P1的像素值和像素位置P2的像素值分别表示为p1’和p2’时,在执行使得右半乘以k’=1/k的部分滤波处理后,像素位置P1的像素值p1’为k’p1,而像素位置P2的像素值p2’为k’p2
因此,在执行部分滤波处理前后,其中像素位置对的两个像素位置P1和P2都是右半中的像素位置的弱学习者ht(x)的自变量x的像素间差异特征量x改变。
也就是说,在执行部分滤波处理之前像素间差异特征量x为p1-p2,并且在执行部分滤波处理之后像素间差异特征量x为p1’-p2’=k’p1-k’p2
在执行部分滤波处理之前,根据弱学习者ht(x)的阈值th和像素间差异特征量x=p1-p2是否满足x=p1-p2>th,执行弱学习者ht(x)的运算。
另一方面,在执行部分滤波处理后,因为像素间差异特征量为kp1-k’p2,所以当弱学习者ht(x)的阈值th照原样使用时,不以与执行部分滤波处理之前相同的方式执行与p1-p2>th的比较(即,是否满足p1-p2>th)。
然而,当p1-p2>th两侧乘以k’时,该不等式可以变形为k’p1-k’p2>th×k’。
在k’p1-k’p2>th×k’中,左侧k’p1-k’p2等于执行部分滤波处理后获得的像素间差异特征量x(=k’p1-k’p2)。
因为k’p1-k’p2>th×k’的比较相当于p1-p2>th的比较,所以可能通过使用thnew=th×k’作为阈值执行k’p1-k’p2>thnew的比较,执行相当于p1-p2>th比较的比较。
相应地,在执行部分滤波处理之后获得的像素间差异特征量x=k’p1-k’p2中,通过将弱学习者ht(x)的阈值th校正为阈值thnew=th×k’,并且使用校正后阈值thnew执行弱学习者ht(x)的运算,可能执行相当于对执行部分滤波处理之前获得的像素间差异特征量x=p1-p2执行的p1-p2>th的比较的k’p1-k’p2>thnew的比较。
如上所述在窗口图像的一部分是阴影区域的情况下,当用于获得弱学习者ht(x)的自变量x的像素间差异特征量x的像素位置对的两个像素位置P1和P2的至少一个在阴影区域内时,如上所述,通过校正弱学习者ht(x)的阈值th、并且使用校正后阈值thnew执行弱学习者ht(x)的运算,可能获得与执行使得窗口图像的阴影区域乘以k的部分滤波处理的情况相同的效果。
用于获得弱学习者ht(x)的自变量x像素间差异特征量x的像素位置对的两个像素位置P1和P2以及阈值th是弱学习者ht(x)的参数,并且存储在检测词典存储单元20(图12)中。
此外,平均图像存储在平均图像存储单元57中。
当确定对其执行(或应当执行)部分滤波处理的阴影区域、以及用于确定在窗口图像中通过部分过滤处理阴影区域(的像素值)乘以哪个因子的放大倍率k时,可能获得在构成总体学习者(标准学习者)H(x)的弱学习者ht(x)中其阈值被校正(或应当被校正)的弱学习者、以及校正后的阈值thnew
也就是说,可能基于阴影区域获得其中用于获得像素间差异特征量x的像素位置对的两个像素位置P1和P2的至少一个在阴影区域内的弱学习者ht(x),作为其阈值th应当被校正的弱学习者ht(x)。
如上所述,基于放大倍率k的倒数k’=1/k,在其中像素位置对的两个像素位置P1和P2的至少一个在阴影区域内的弱学习者ht(x)中,根据等式thnew=th+(1-k’)p2或者等式thnew=th-(1-k’)p1,由此可以获得阈值th的校正后阈值thnew,并且在其中像素位置对的两个像素位置P1和P2都在阴影区域内的弱学习者ht(x)中,根据等式thnew=th×k’,可以获得阈值th的校正后阈值thnew
这里,因为用于确定通过部分过滤处理窗口图像的阴影区域乘以哪个因子的放大倍率k的倒数k’=1/k是用于将阈值th校正为阈值thnew的系数,所以以下也可以称为校正系数。
在图12的分辨设备中,校正系数k’在系数信息计算单元54中确定(计算),并且与阴影区域识别单元53中获得的阴影区域一起存储在校正信息存储单元55中作为校正信息。
在校正单元56中,因此使用校正信息存储单元55中存储的校正信息将作为检测词典存储在检测词典存储单元20中的总体学习者(标准学习者)校正为滤波后学习者。
也就是说,在校正单元56中,如参考图15描述的,将构成作为检测词典存储单元20中存储的检测词典的总体学习者(标准学习者)的每个弱学习者ht(x)的阈值th校正为阈值thnew
校正单元56将作为其中每个弱学习者ht(x)的阈值th被校正为阈值thnew的总体学习者的滤波后学习者(的参数)提供给分辨处理单元10。分辨处理单元10使用来自校正单元56的滤波后学习者,对从图像获取单元51提供的输入图像执行目标分辨。
此外,只要输入图像从图像获取单元51提供给分辨处理单元10时,校正单元56就可以从检测词典存储单元20读取总体学习者(标准学习者),将总体学习者校正为滤波后学习者,并且将滤波后学习者提供给分辨处理单元10。然而,只要提供输入图像时,读取和校正来自检测词典存储单元20的总体学习者就可能是快速处理的障碍。
因此,例如紧接在电源接通之后或紧接在校正信息存储在校正信息存储单元55中之后,图12的分辨设备可以执行初始化处理。
在初始化处理中,校正单元56从检测词典存储单元20读取总体学习者(标准学习者),并将总体学习者校正为滤波后学习者,分辨处理单元10在未示出的存储器中展开滤波后学习者(的参数),因此可能从此开始在分辨处理单元10中使用存储器中展开的滤波后学习者高速地执行处理。
[光源估计单元52的处理]
图16是图示通过图12的光源估计单元52从校准图像中估计照明校准图像中反映的目标(人脸)的光源的光源估计方法的图。
也就是说,图16图示对其执行乘以k’=1/k的部分滤波处理的平均图像的区域,即,假设光源在某一方向(位置),对应于从输入图像剪切的窗口图像上出现的阴影区域的平均图像的区域(以下也称为滤波区域)。
图16的A图示假设光源在(目标的)右上方向的滤波区域,并且使用连接矩形平均图像的左上和右下的对角线作为边界线,平均图像的左下侧和右上侧的区域中的左下侧的区域是滤波区域。
图16的B图示假设光源在左上方向的滤波区域,并且使用连接矩形平均图像的左下和右上的对角线作为边界线,平均图像的右下侧和左上侧的区域中的右下侧的区域是滤波区域。
图16的C图示假设光源在右下方向的滤波区域,并且使用连接矩形平均图像的左下和右上的对角线作为边界线,平均图像的左上侧和右下侧的区域中的左上侧的区域是滤波区域。
图16的D图示假设光源在左下方向的滤波区域,并且使用连接矩形平均图像的左上和右下的对角线作为边界线,平均图像的左下侧和右上侧的区域中的右上侧的区域是滤波区域。
图16的E图示假设光源在下方向的滤波区域,并且使用将矩形平均图像划分为上和下两个区域的线作为边界线,平均图像的上和下侧的区域中的上侧的区域是滤波区域。
图16的F图示假设光源在上方向的滤波区域,并且使用将矩形平均图像划分为上和下两个区域的线作为边界线,平均图像的上和下侧的区域中的下侧的区域是滤波区域。
图16的G图示假设光源在右方向的滤波区域,并且使用将矩形平均图像划分为右和左两个区域的线作为边界线,平均图像的右和左侧的区域中的左侧的区域是滤波区域。
图16的H图示假设光源在左方向的滤波区域,并且使用将矩形平均图像划分为右和左两个区域的线作为边界线,平均图像的右和左侧的区域中的右侧的区域是滤波区域。
光源估计单元52假设对应于由于光源而出现的阴影区域的滤波区域,该光源假设存在于多个方向(例如,如图16的A到H所示的8个方向(位置))的每个中,并且获得如上面参考图15描述的其阈值th校正为阈值thnew的滤波后学习者。
此外,光源估计单元52使用假设在每个方向存在的光源中获得的滤波标识符,对窗口图像(以下也称为用于校准的窗口图像)执行窗口图像分辨处理(图7),该窗口图像的反映了目标的部分从来自图像获取单元51的校准图像中剪切。
此外,对多个校正系数k’执行滤波后学习者的计算(阈值th到阈值thnew的校正)和使用滤波后学习者的窗口图像分辨处理,其中校正系数k’=1/k在光源估计单元52中,在等于或小于1.0范围内(例如在0.1到1.0的范围内)每0.1等级(notch)进行改变。
光源估计单元52因此在假设的光源的方向上估计光源,以便获得分辨的滤波后学习者,使得用于校准的窗口图像为正图像。
这里,当存在多个分辨的滤波后学习者使得用于校准的窗口图像为正图像时,可能在假设的光源的方向上估计光源,以便获得具有在窗口图像分辨处理中获得的估计值s的积分值(指示弱假定ht(x)的可靠性αt的权重)中的最高积分值Σ(αt×ht(x))的滤波后学习者,例如作为指示存在目标的真实性的分数。
图17是图示利用图12的光源估计单元52估计光源的另一光源估计方法的图。
图17图示从图像获取单元51提供到光源估计单元52的校准图像。
光源估计单元52例如通过将水平和垂直部分的每个等分为3个区域,将校准图像划分为9块B#1、B#2、B#3、B#4、B#5、B#6、B#7、B#8和B#9,如图17所示。
此外,光源估计单元52例如获得在输入图像的外围侧(图像框侧)的块B#1到B#8的每个的直方图,并且例如检测块B#1到B#8中具有最频繁值(最大频率)的亮度(像素值)最高的块作为最亮块。
因此,光源估计单元52估计当从校准图像的中心(块#9)看时光源在存在最亮块的方向上。
也就是说,光源估计单元52估计当最亮块是块B#1时,光源在左上方向上,当最亮块是块B#2时,光源在上方向上,当最亮块是块B#3时,光源在右上方向上,当最亮块是块B#4时,光源在左方向上,当最亮块是块B#5时,光源在右方向上,当最亮块是块B#6时,光源在左下方向上,当最亮块是块B#7时,光源在下方向上,当最亮块是块B#8时,光源在右下方向上。
此外,光源估计单元52中估计光源的方法不限于参考图16和17描述的那些。
也就是说,从图像估计光源分布的逆问题称为逆照明(或呈现),并且通常具有三种方法,如基于在对象表面上观察的镜面反射分量的方法,基于漫射反射分量的方法,以及使用将某一对象投射到另一对象上的阴影(投射阴影)的方法,并且这些方法可以用作光源估计单元52中估计光源的方法。
此外,例如当目标是已知的对象时,如上面参考图16描述的估计光源的方法中估计光源的方向之后,光源估计单元52可以使用目标是已知的对象的事实进一步详细估计光源的方向。
使用光源估计单元52估计光源的方法不特别限定。然而,优选的是在防止分辨目标的分辨性能劣化方面估计光源的详细方向。
[阴影区域识别单元53的处理]
图18是图示通过图12的阴影区域识别单元53检测校准图像中由于来自光源的光而出现阴影的阴影边界的边界检测方法的图。
阴影区域识别单元53基于来自光源估计单元52的光源的估计结果,检测校准图像中用于校准的窗口图像上的阴影边界。
也就是说,在光源估计单元52中,例如当估计了光源(的方向),并且指示光源的光源的估计结果在右上方向上时,如上面参考图17所述,阴影区域识别单元53检测连接用于校准的矩形窗口图像的左上和右下的对角线作为阴影边界,如图18所示。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的左下侧的区域和右上侧的区域中的、在光源相对侧的左下侧的区域为阴影区域。
类似地,当光源的估计结果指示光源在左上方向时,阴影区域识别单元53检测连接用于校准的矩形窗口图像的左下和右上的对角线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的左上侧的区域和右下侧的区域中的、在光源相对侧的右下侧的区域为阴影区域。
当光源的估计结果指示光源在右下方向时,阴影区域识别单元53检测连接用于校准的矩形窗口图像的左下和右上的对角线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的左上侧的区域和右下侧的区域中的、在光源相对侧的左上侧的区域为阴影区域。
当光源的估计结果指示光源在左下方向时,阴影区域识别单元53检测连接用于校准的矩形窗口图像的左上和右下的对角线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的左下侧的区域和右上侧的区域中的、在光源相对侧的右上侧的区域为阴影区域。
当光源的估计结果指示光源在下方向时,阴影区域识别单元53检测将用于校准的矩形窗口图像等分为上和下两个部分的线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的上侧的区域和下侧的区域中的、在光源相对侧的上侧的区域为阴影区域。
当光源的估计结果指示光源在上方向时,阴影区域识别单元53检测将用于校准的矩形窗口图像等分为上和下两个部分的线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的上侧的区域和下侧的区域中的、在光源相对侧的下侧的区域为阴影区域。
当光源的估计结果指示光源在左方向时,阴影区域识别单元53检测将用于校准的矩形窗口图像等分为左和右两个部分的线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的右侧的区域和左侧的区域中的、在光源相对侧的右侧的区域为阴影区域。
当光源的估计结果指示光源在右方向时,阴影区域识别单元53检测将用于校准的矩形窗口图像等分为左和右两个部分的线作为阴影边界。阴影区域识别单元53因此识别通过阴影边界划分的用于校准的窗口图像的右侧的区域和左侧的区域中的、在光源相对侧的左侧的区域为阴影区域。
此外,阴影区域识别单元53中的检测阴影边界的边界检测方法(以及识别阴影区域的识别方法)不限于参考图18描述的方法。
也就是说,例如,当如上面参考图16所述在光源估计单元52中估计光源(的方向)时,阴影区域识别单元53检测当假设光源在通过光源的估计结果指示的方向时,图16的滤波区域的边界作为阴影边界,并且识别滤波区域作为阴影区域。
图19是图示另一边界检测方法的图。
图19的A是图示使用其用于校准的窗口图像的像素值二进制化为0或1的二进制化图像检测阴影边界的边界检测方法的图。
在图19的A中,在阴影区域识别单元53中,获得用于校准的窗口图像的像素值的直方图,并且基于直方图获得用于二进制化的二进制化阈值,例如,使得其像素值二进制化为0的像素的数量(基本)等于其像素值二进制化为1的像素的数量。
此外,阴影区域识别单元53通过使用二进制化阈值的阈值处理,二进制化用于校准的窗口图像的像素值,从而获得二进制化图像。
因此,阴影区域识别单元53将二进制化图像划分为其中具有像素值1的像素较多的区域和其中具有像素值0的像素较多的区域,并且例如检测垂直于由光源的估计结果指示的光源的方向的线性边界线作为阴影边界。
在该情况下,还可能识别二进制化图像中具有像素值0的像素较多的区域作为阴影区域。
图19的B是图示使用三维模型检测阴影边界的边界检测方法的图。
当光源估计单元52可以获得光源和目标之间的三维位置关系作为光源的估计结果时,阴影区域识别单元53可以使用用于校准的窗口图像中反映的目标的三维模型,基于光源和目标之间的三维位置关系,执行关于如何通过来自光源的光照明目标的三维模型的仿真。
因此,阴影区域识别单元53基于仿真结果,将用于校准的窗口图像划分为亮和暗区域,并且检测作为线性或非线性边界的阴影边界。
在该情况下,将用于校准的窗口图像的暗区域识别为阴影区域。
[校正信息计算单元54的处理]
图20是图示通过图12的校正信息计算单元54确定(计算)校正系数k’的方法的图。
用于更严格防止分辨目标的分辨性能劣化的适当的校正系数k’根据环境条件(如光源的强度、距离、方向等)变化。例如,校正信息计算单元54如下确定适当的校正系数k’。
也就是说,校正信息计算单元54基于来自阴影区域识别单元53的阴影区域,获得如上面参考图15描述的、用于获得像素间差异特征量x的像素位置对的两个像素位置P1和P2的至少一个在阴影区域内的弱学习者ht(x),作为其阈值th应当被校正的弱学习者ht(x)(以下也称为用于校正的弱学习者)。
此外,校正信息计算单元54例如使用在0.1到1.0的范围每0.1等级改变的多个校正系数k’的候选,执行用于校正的弱学习者ht(x)的阈值th的校正,并且在多个校正系数k’的候选的每个中获得滤波后学习者作为校正用于校正的弱学习者ht(x)的阈值th的总体学习者。
此外,校正信息计算单元54使用多个校正系数k’的候选的每个中获得的滤波后学习者,对通过阴影区域识别单元53从图像获取单元51提供的用于校准的窗口图像执行窗口图像分辨处理。
然后,校正信息计算单元54确定用于获得滤波后学习者的校正系数k’的候选作为校正系数k’,分辨滤波后学习者使得作为窗口图像分辨处理的结果用于校准的窗口图像为正图像。
这里,当被分辨使得用于校准的窗口图像为正图像的滤波后学习者的数量等于0或大于2时,例如,可以确定用于获得至少两个滤波后学习者的校正系数k’的候选中的中间值(中间者)作为校正系数k’。
在图20中,当使用用于校正的弱学习者ht(x)的阈值th由5个校正系数k’(如0.2,0.3,0.4,0.5和0.6)的候选的每个校正的滤波后学习者时,分辨用于校准的窗口图像是正图像,因此确定5个校正系数k’的候选中的中间值0.4作为校正系数k’。
此外,当被分辨使得用于校准的窗口图像为正图像的滤波后学习者的数量等于0或大于2,不同于用于获得至少两个滤波后学习者的校正系数k’的候选中的中间值时,例如,可以确定用于获得具有最高评估值s的滤波后学习者的校正系数k’的候选作为校正系数k’,该评估值s在窗口图像分辨处理中获得作为指示存在目标的真实性的分数。
[获取校准图像的方法]
图21是图示在图12的图像获取单元51中获取校准图像的获取方法的图。
图像获取单元51将相机中捕获的图像和其中显示人脸的目标的脸部框一起显示在显示设备(如TV(电视机))上,如图21所示,并且提示用户将脸部显示在脸部框内例如持续预定时间。
因此,图像获取单元51将脸部显示在脸部框内,并且获取相机中捕获的图像作为校准图像。此外,例如校准图像中的脸部框内的图像用作用于校准的窗口图像。
如上所述,图像获取单元51提示用户将脸部显示在脸部框内,并且获取脸部显示在脸部框内的图像作为校准图像,使得可能确定适当的校正系数k’。
这里,图12的分辨设备可以应用于例如TV或个人计算机(PC)、游戏机等,该TV或个人计算机(PC)具有根据人的存在和不存在在普通模式和电功率节省模式之间切换操作模式的功能,该游戏机根据相机中的捕获图像上人的位置执行各种处理。
在对其应用图12的分辨设备的TV中,例如,当执行诸如频道扫描等的初始化时,可以获取校准图像。此外,在对其应用图12的分辨设备的游戏机或PC中,当执行对游戏或PC的初始设置时,可以获取校准图像。
[校准处理]
图22是图示由图12的分辨设备执行的、作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的校准处理的流程图。
在步骤S101,图像获取单元51例如获取作为校准图像(用于校准的输入图像)的正图像,并且将该正图像提供给光源估计单元52和阴影区域识别单元53,如上面参考图21描述的,并且处理进行到步骤S102。
在步骤S102,光源估计单元52从来自图像获取单元51的校准图像中估计照明校准图像中反映的目标(人脸)的光源,并且将估计结果提供给阴影区域识别单元53,并且处理进行到步骤S103。
在步骤S103,阴影区域识别单元53从来自图像获取单元51的校准图像(对其根据需要缩放校准图像的缩放图像)、或者作为反映了目标(人脸)的窗口图像的用于校准的窗口图像中剪切图21的脸部框的部分,并且处理进行到步骤S104。
在步骤S104,阴影区域识别单元53例如基于来自光源估计单元52的光源的估计结果,在用于校准的窗口图像中检测由于来自光源的光而出现阴影的阴影边界。
此外,阴影区域识别单元53识别由用于校准的窗口图像中的阴影边界划分的两个区域中的、在从来自光源估计单元52的估计结果获得的光源的位置(方向)相对侧的区域,作为由于光源而出现阴影的阴影区域,并且将该区域提供给校正信息计算单元54,并且处理进行到步骤S105。
在步骤S105,校正信息计算单元54根据需要基于来自阴影区域识别单元53的阴影区域,使用平均图像存储单元57中存储的平均图像,执行校正系数确定处理,其确定用于将作为检测词典存储单元20中存储的检测词典的总体学习者H(x)的参数的弱学习者ht(x)的阈值th校正为阈值thnew的校正系数k’=1/k,并且处理进行到步骤S106。
在步骤S106,校正信息计算单元54将校正系数确定处理中获得的校正系数k’与来自阴影区域识别单元53的阴影区域一起输出到校正信息存储单元55作为校正信息,并且使得校正信息存储单元存储校正信息,由此完成校准处理。
图23是图示在图22的步骤S105中、通过校正信息计算单元54(图12)执行的校正系数确定处理的流程图。
在步骤S111,校正信息计算单元54将指示作为校正系数的候选的候选系数的变量k’设为0.1作为初始值,并且处理进行到步骤S112。
在步骤S112,校正信息计算单元54基于来自阴影区域识别单元53的阴影区域,如上面参考图15描述的,获得用于获得像素间差异特征量x的像素位置对的两个像素位置P1和P2的至少一个在阴影区域内的弱学习者ht(x),作为阈值th应当被校正的弱学习者ht(x)(用于校正的弱学习者)。
此外,在步骤S112,校正信息计算单元54,如上面参考图15描述的,通过使用候选系数k’作为校正系数,并且还根据需要使用平均图像存储单元57中存储的平均图像,执行用于校正的弱学习者ht(x)的阈值th的校正,来获得作为阈值th被校正为阈值(校正后阈值)thnew的总体学习者的滤波后学习者,并且处理进行到步骤S113。
在步骤S113,校正信息计算单元54使用在紧接在前步骤S112中获得的滤波后学习者,对阴影区域识别单元53中在图22的步骤S103中获得的用于校准的窗口图像执行窗口图像分辨处理(图7),并且处理进行到步骤S114。
在步骤S114,校正信息计算单元54确定候选系数k’是否等于1.0。
当在步骤S114中确定候选系数k’不等于1.0时,即,确定候选系数k’仍然小于1.0时,处理进行到步骤S115,并且校正信息计算单元54将候选系数k’递增预定值,例如0.1。
处理然后从步骤S115返回步骤S112,并且从此重复执行相同处理。
此外,当在步骤S114中确定候选系数k’等于1.0时,即,当使用在0.1到1.0的范围内每0.1等级改变的多个候选系数k’校正用于校正的弱学习者ht(x)的阈值th,并且使用作为在每个候选系数k’中校正用于校正的弱学习者的阈值th的总体学习者的滤波后学习者执行窗口图像分辨处理时,处理进行到步骤S116,并且校正信息计算单元54例如确定用于获得作至少一个滤波后学习者的至少一个候选系数k’中的中间值作为校正系数k’,分辨该至少一个滤波后学习者使得作为窗口图像分辨处理的结果用于校准的窗口图像是正图像,并且处理返回(图22的)步骤S106。
[分辨处理]
图24是图示图12的分辨设备执行的分辨处理的流程图。
在步骤S130中,校正单元56读取校正信息存储单元55中存储的校正信息,并且基于如上面参考图15描述的校正信息的阴影区域,获得用于获得像素间差异特征量x的像素位置对的两个像素位置P1和P2的至少一个在阴影区域内的弱学习者ht(x),作为阈值th应当被校正的弱学习者(用于校正的弱学习者)ht(x)。
此外,在步骤S130,校正单元56使用校正信息的候选系数k’,并且还根据需要使用平均图像存储单元57中存储的平均图像,校正弱学习者ht(x)的阈值th,获得作为其阈值th被校正为阈值thnew(校正后阈值)的总体学习者的滤波后学习者,并且将滤波后学习者提供给分辨处理单元10的分辨单元13(图1),如上面参考图15描述的。
处理然后从步骤S130进行到步骤S131,并且在步骤S131到步骤S143中分别执行与图6的步骤S51到步骤S63的那些相同的处理。
然而,在对应于图6的步骤S54的图24的步骤S 134的窗口图像分辨处理中,替代作为检测词典存储单元20中存储的检测词典的总体学习者(标准学习者),使用从校正单元56提供给分辨处理单元10(的分辨单元13)的滤波后学习者。
相应地,在图12的分辨单元中,校正单元56使用基于照明目标的光源计算的校正信息校正总体学习者的参数,分辨处理单元10使用校正后的参数的总体学习者(滤波后学习者),关于像素间差异特征量积分从弱学习者输出的弱假定,并且基于弱假定的积分值分辨目标是否反映在输入图像中,因此可能容易地防止分辨预定目标是否反映在输入图像中的分辨性能的劣化。
也就是说,例如,当输入图像是如图8B所示的人脸的右侧亮并且左侧有阴影的偏移阴影图像时,通过只对从输入图像剪切的窗口图像中的出现阴影的左侧部分部分地应用使得像素值p乘以k(>1)的亮度转换滤波,可能防止分辨性能的劣化。
然而,当如上面参考图11所述将亮度转换滤波部分应用于窗口图像时,可能必需在缩放输入图像并且然后从缩放图像中剪切窗口图像之后,在执行窗口图像分辨处理(图7)之前,执行对窗口图像部分应用亮度转换滤波的部分滤波处理。
因此,可能必需在一个输入图像中对从由输入图像生成的所有缩放图像中剪切的所有窗口图像执行部分滤波处理,从而增加可能对其执行分辨处理的部分滤波处理的处理成本。
另一方面,图12的分辨设备可以校正作为检测词典存储单元20中存储的总体学习者(标准学习者)H(x)的参数的弱学习者ht(x)的阈值th,以获得与对从由输入图像生成的所有缩放图像中剪切的所有窗口图像应用部分滤波处理的情况相同的效果,并且分辨处理中增加的处理成本仅应用于图24的步骤S 13中用于获得滤波后学习者的部分。
因此,在几乎不增加处理成本的同时可以容易地防止分辨性能的劣化,并且可以对光源的环境执行健壮的目标分辨。
此外,图12的分辨设备执行分辨处理(图24)必需的处理时间与图1的分辨设备执行分辨处理(图6)必需的处理时间几乎没有不同。
此外,在本实施例中,执行对应于部分滤波处理的弱学习者ht(x)的阈值th的校正,该部分滤波处理对平均图像部分应用将像素值放大常数值k’=1/k的亮度转换滤波。然而,除此以外,例如,可以执行对应于整体滤波处理的弱学习者ht(x)的阈值th的校正,该整体滤波处理对整体平均图像应用根据像素位置将像素值放大不同的放大倍率k’的亮度转换滤波。
图25是图示根据像素位置以不同放大倍率k’执行放大的亮度转换滤波、以及对其应用亮度转换滤波的平均图像的图。
在图25中,在亮度转换滤波中,在像素位置从左端移到右端的同时,放大倍率k’=1/k从1.0线性地变到0.0(近似于0的最小值),也就是说,对放大倍率k’应用梯度。
在像素位置从左端移到右端的同时,当通过对整体窗口图像应用利用线性增加的放大倍率k执行放大的亮度转换滤波将窗口图像转换为适当照明图像时,通过执行对应于整体滤波处理的弱学习者ht(x)的阈值th的校正,可能防止由于光源分辨目标的分辨性能劣化,该整体滤波处理对图25所示的整体平均图像应用将梯度应用于放大倍率k’的亮度转换滤波。
此外,不仅可以对静态图像而且可以对运动图像的输入图像执行获得滤波后学习者并分辨目标的图24的分辨处理。当光源的环境几乎不改变时,与执行图6的分辨处理的情况相比,用于运动图像的图24的分辨处理对窗口图像部分应用亮度转换滤波,使得可以高速地执行目标分辨,而不导致分辨性能影响光源。
这里,当图12的分辨设备例如应用于其使用位置固定的设备(如固定式游戏设备、TV、PC等)时,校正处理(图22)可以在多个不同时间执行,并且校正信息存储单元55(图22)可以存储执行校正处理的时间以及以对应方式通过校准处理获得的校正信息。
在该情况下,例如可以使用校正信息存储单元55中存储的校正信息中的、与最接近当前时间(执行分辨处理的时间)的时间对应关联的校正信息,执行分辨处理(图24)中弱学习者ht(x)的阈值th的校正(图24的步骤S130)。
如上所述,通过使用与最接近当前时间的时间对应关联的校正信息执行弱学习者ht(x)的阈值th的校正,即使在光源的环境由于时区而改变时,也可以防止分辨性能的劣化。
此外,指示执行校准处理时光源的估计结果的估计信息和通过校正处理获得的校正信息可以以对应方式存储在校正信息存储单元55(图12)中。
当多组估计信息和校正信息存储在校正信息存储单元55中时,可以通过在光源估计单元52中估计光源并且使用校正信息校正弱学习者ht(x)的阈值th,当执行分辨处理(图24)时,该校正信息的最新估计信息与光源的估计结果对应关联。
此外,在本实施例中在光源估计单元52(图12)中估计光源时,隐含假设光源只存在于某一方向上。然而,除此假设以外,可以执行通过能够更详细地估计光源的光源估计方法的估计,并且基于考虑光源可能存在于多个方向的每个中的光源的估计结果,可以获得校正信息。
此外,可以根据从作为分辨处理(图24)中的窗口图像分辨处理(图7)的目标的输入图像剪切的窗口图像的位置,使用不同的校正信息校正弱学习者ht(x)的阈值th。
也就是说,校准处理可以包括:例如在对应于作为校准图像的输入图像的图17所示的各个块B#1到B#9的中心的多个位置顺序显示参考图21描述的脸部框;使用用于校准的窗口图像获得校正信息,在该窗口图像中反映在对应于块B#1到B#9的中心的位置的脸部框中显示的脸部;以及将校正信息存储在校正信息存储单元55中。
分辨处理(图24)然后可以在每个块中使用校正信息存储单元55中存储的校正信息,将弱学习者ht(x)的阈值th校正为校正阈值thnew,并且例如可以使用各个块B#1到B#9中的校正阈值thnew中的、窗口图像占据最大面积的块中的校正阈值thnew,执行窗口图像分辨处理(图7)。
[对其应用本技术的计算机的描述]
上述系列处理可以通过硬件执行或可以通过软件执行。当该系列处理通过软件执行时,构成软件的程序安装在通用计算机等上。
图26图示其上安装执行上述系列处理的程序的计算机的实施例的配置示例。
该程序可以预先记录在作为内置在计算机中的记录介质的硬盘105上或只读存储器(ROM)103上。
可替代地,该程序可以存储(记录)在可移除记录介质111中。可移除记录介质111可以作为所谓的封装软件提供。这里,可移除记录介质111例如包括软盘、致密盘(CD)ROM、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。
此外,除了从可移除记录介质111将程序安装在计算机上外,程序可以通过通信网络或广播网络下载并安装到内置硬盘105上。也就是说,例如,程序可以通过用于数字卫星广播的人造卫星从下载站点无线地传输到计算机,并且可以以有线方式通过诸如局域网(LAN)或因特网的网络传输到计算机。
计算机具有内置中央处理单元(CPU)102,并且输入和输出接口110通过总线101连接到CPU 102。
当操作输入单元107的用户通过输入和输出接口110输入指令时,CPU102相应地执行ROM 103中存储的程序。可替代地,CPU 102将硬盘105中存储的程序加载到随机读取存储器(RAM)104并执行程序。
因此,CPU 102执行根据上述流程图的处理或根据上述框图配置的处理。例如,CPU 102然后通过输入和输出接口110从输出单元106输出处理结果,从通信单元108传输处理结果,或者根据需要将处理结果存储在硬盘105中。
此外,输入单元107包括键盘、鼠标、麦克风等。此外,输出单元106包括液晶显示器(LCD)、扬声器等。
在本说明书中,根据程序由计算机执行的处理不一定按照流程图中描述的顺序以时间序列执行。也就是说,根据程序由计算机执行的处理包括并行或单独执行的处理(例如,并行处理或使用对象的处理)。
此外,程序可以通过一个计算机(处理器)处理或者通过多个计算机分布式处理。此外,程序可以传输到远程计算机并在远程计算机中执行。
此外,本技术的实施例不限于上述实施例,而是可以在不偏离本技术的主体内容的范围内进行各种改变。
也就是说,尽管在本实施例中例如人脸用作要分辨的目标,但是本技术也可应用于分辨不同于人脸的目标的目标分辨。
此外,图像的特征量不限于像素间差异特征量。
此外,本技术可以配置如下。
(1)一种信息处理设备,包括:
校正单元,配置为使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
分辨单元,配置为使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
(2)如(1)所述的信息处理设备,还包括:
校正信息计算单元,配置为计算所述校正信息。
(3)如(1)或(2)所述的信息处理设备,其中所述特征量是作为输入图像的两个像素位置之间的差异的像素间差异特征量。
(4)如(3)所述的信息处理设备,其中,在用于获得总体学习者的总体学习中,在构成总体学习者的每个弱学习者中,获得具有用于获得所述特征量的两个像素位置的像素位置对、具有弱学习者的最小错误率作为用于与弱学习者的特征量比较的阈值的像素位置对、以及阈值,作为总体学习者的参数,并且所述校正单元校正所述阈值。
(5)如(4)所述的信息处理设备,还包括:
光源估计单元,配置为从输入图像估计照明所述目标的光源;以及
阴影区域识别单元,配置为基于光源的估计结果识别其上由于输入图像中的光源而出现阴影的阴影区域,
其中,所述校正信息计算单元获得校正构成总体学习者的多个弱学习者中的这样的弱学习者的阈值的校正系数,该弱学习者的用于获得像素间差异特性量的像素位置对的至少一个像素位置在所述阴影区域内,所述校正信息计算单元输出校正系数和阴影区域作为所述校正信息。
(6)如(5)所述的信息处理设备,其中所述校正单元使用所述校正系数校正构成总体学习者的多个弱学习者中的这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对的至少一个像素位置在所述阴影区域内。
(7)如(6)所述的信息处理设备,其中使用多个学习图像执行总体学习,所述学习图像包括其中反映了目标的正图像和其中没有反映目标的负图像,并且所述校正单元通过将减法值乘以一个像素位置的像素值获得的乘法值,校正这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对中,一个像素位置在所述阴影区域内,并且另一个像素位置在所述阴影区域外,所述减法值通过在平均了学习图像中包括的正图像的平均图像中从1减去作为等于或小于1的整数的所述校正系数获得。
(8)如(6)或(7)所述的信息处理设备,其中所述校正单元校正这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对的两个像素位置在要乘以作为等于或小于1的整数的所述校正系数的阴影区域内。
(9)一种信息处理方法,包括:
使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
(10)一种使得计算机用作包括以下的单元的程序:
校正单元,配置为使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
分辨单元,配置为使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
本领域的技术人员应该理解,取决于设计要求和其他因素,可以出现各种修改、组合、子组合和替代,只要它们在所附权利要求或其等价物的范围内。
本申请包含涉及于2011年5月23日向日本专利局提交的日本优先权专利申请JP 2011-114378中公开的主题内容,在此通过引用并入其全部内容。

Claims (10)

1.一种信息处理设备,包括:
校正单元,配置为使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
分辨单元,配置为使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
2.如权利要求1所述的信息处理设备,还包括:
校正信息计算单元,配置为计算所述校正信息。
3.如权利要求1所述的信息处理设备,其中所述特征量是作为输入图像的两个像素位置之间的差异的像素间差异特征量。
4.如权利要求3所述的信息处理设备,其中,在用于获得总体学习者的总体学习中,在构成总体学习者的每个弱学习者中,获得具有用于获得所述特征量的两个像素位置的像素位置对、具有弱学习者的最小错误率作为用于与弱学习者的特征量比较的阈值的像素位置对、以及阈值,作为总体学习者的参数,并且所述校正单元校正所述阈值。
5.如权利要求4所述的信息处理设备,还包括:
光源估计单元,配置为从输入图像估计照明所述目标的光源;以及
阴影区域识别单元,配置为基于光源的估计结果识别其上由于输入图像中的光源而出现阴影的阴影区域,
其中,所述校正信息计算单元获得校正构成总体学习者的多个弱学习者中的这样的弱学习者的阈值的校正系数,该弱学习者的用于获得像素间差异特性量的像素位置对的至少一个像素位置在所述阴影区域内,所述校正信息计算单元输出校正系数和阴影区域作为所述校正信息。
6.如权利要求5所述的信息处理设备,其中所述校正单元使用所述校正系数校正构成总体学习者的多个弱学习者中的这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对的至少一个像素位置在所述阴影区域内。
7.如权利要求6所述的信息处理设备,其中使用多个学习图像执行总体学习,所述学习图像包括其中反映了目标的正图像和其中没有反映目标的负图像,并且所述校正单元通过将减法值乘以一个像素位置的像素值获得的乘法值,校正这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对中,一个像素位置在所述阴影区域内,并且另一个像素位置在所述阴影区域外,所述减法值通过在平均了学习图像中包括的正图像的平均图像中从1减去作为等于或小于1的整数的所述校正系数获得。
8.如权利要求7所述的信息处理设备,其中所述校正单元校正这样的弱学习者的阈值,该弱学习者的用于获得像素间差异特性量的像素位置对的两个像素位置在要乘以作为等于或小于1的整数的所述校正系数的阴影区域内。
9.一种信息处理方法,包括:
使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
10.一种使得计算机用作包括以下的单元的程序:
校正单元,配置为使用用于校正总体学习者的参数的校正信息来校正总体学习者的参数,所述总体学习者具有接收从输入图像提取的特征量、并且输出指示预定目标是否反映在输入图像中的弱假定的多个弱学习者,所述校正信息基于照明该目标的光源计算;以及
分辨单元,配置为使用其参数被校正的总体学习者,关于所述特征量积分从所述弱学习者输出的所述弱假定,并且基于所述弱假定的积分值分辨所述目标是否反映在输入图像中。
CN201210162704XA 2011-05-23 2012-05-23 信息处理设备、信息处理方法和程序 Pending CN102855489A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011114378A JP2012243179A (ja) 2011-05-23 2011-05-23 情報処理装置、情報処理方法、及び、プログラム
JP2011-114378 2011-05-23

Publications (1)

Publication Number Publication Date
CN102855489A true CN102855489A (zh) 2013-01-02

Family

ID=47219446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210162704XA Pending CN102855489A (zh) 2011-05-23 2012-05-23 信息处理设备、信息处理方法和程序

Country Status (3)

Country Link
US (1) US8948469B2 (zh)
JP (1) JP2012243179A (zh)
CN (1) CN102855489A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346601B (zh) * 2013-07-26 2018-09-18 佳能株式会社 对象识别方法和设备
JP6274876B2 (ja) * 2014-01-23 2018-02-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102407624B1 (ko) * 2015-10-06 2022-06-10 삼성전자주식회사 전자 장치의 영상 처리 방법 및 그 전자 장치
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11715012B2 (en) * 2018-11-16 2023-08-01 Uatc, Llc Feature compression and localization for autonomous devices
JP2022038652A (ja) * 2020-08-27 2022-03-10 株式会社リコー 情報処理装置、プログラム及び情報処理システム
US11600039B2 (en) * 2020-12-14 2023-03-07 Qualcomm Incorporated Mechanism for improved light estimation
JP2023172115A (ja) * 2022-05-23 2023-12-06 株式会社日立製作所 物体検知モデル学習装置、物体検知装置及び物体検知モデル学習方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005044330A (ja) * 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP4517633B2 (ja) * 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP5025893B2 (ja) * 2004-03-29 2012-09-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP2385484A1 (en) * 2010-05-06 2011-11-09 STMicroelectronics (Grenoble 2) SAS Object detection in an image

Also Published As

Publication number Publication date
US20120301860A1 (en) 2012-11-29
JP2012243179A (ja) 2012-12-10
US8948469B2 (en) 2015-02-03

Similar Documents

Publication Publication Date Title
CN102855489A (zh) 信息处理设备、信息处理方法和程序
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
US10255517B2 (en) Information processing apparatus and information processing method
CN111652223B (zh) 证件识别方法及装置
US8565495B2 (en) Iris deblurring method based on global and local iris image statistics
US8733650B1 (en) Decoding barcodes from images with varying degrees of focus
US8634656B2 (en) Recognizing objects by utilizing dictionary data and probability data determined by machine learning
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN112699808B (zh) 密集目标检测方法、电子设备及相关产品
US20080260244A1 (en) Device and method for identification of objects using color coding
US20100187311A1 (en) Blurring based content recognizer
CN107810505A (zh) 实时图像捕获参数的机器学习
KR101330636B1 (ko) 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법
JP7093427B2 (ja) オブジェクト追跡方法および装置、電子設備並びに記憶媒体
US10275868B2 (en) Object analyzing method and object analyzing system
Yao et al. Hierarchical shadow detection for color aerial images
US20120020514A1 (en) Object detection apparatus and object detection method
CN111080493A (zh) 一种菜品信息识别方法、装置及菜品自助结算系统
CN116309192B (zh) 基因测序图像对焦矫正方法及装置、设备、存储介质
CN111144156B (zh) 一种图像数据处理方法和相关装置
JP2012099070A (ja) 被写体検出方法および被写体検出装置
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
JP6511950B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107316023A (zh) 一种用于共享设备的人脸识别系统
CN113762382A (zh) 模型的训练及场景识别方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130102