CN102346858A - 图像处理设备和方法以及程序 - Google Patents

Abstract

本发明提供了一种图像处理设备、图像处理方法以及程序。该图像处理设备包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别由时间上连续的多个帧构成的输入图像的预定帧中的对象；以及设置部分，适合于响应于对象图像与学习图像之间的图像信息差异，设置要在对后帧执行的处理中使用的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别部分识别基于由设置部分设置的参数而执行了处理的后帧中的对象。

Description

图像处理设备和方法以及程序

技术领域

本发明涉及图像处理设备和方法以及程序，并且更具体地涉及能够检测对象的图像处理设备和方法以及程序。

背景技术

一种系统是可用的，其中可基于识别器来识别或检测输入图像中的对象，该识别器是通过使用关于预定对象或对象物体的学习图像进行学习而获得的。

在上述这种系统中，当将更大数量的学习图像用于学习时，可改进对象检测准确度。

例如在日本专利特许公开2010-61415号中提出并公开了用于即使在学习图像数量很小的情况下也改进对象检测准确度的技术。根据这一技术，生成多个识别器并在其中选择一些识别器，然后基于所选择的识别器生成最终的复合识别器。

发明内容

然而，在获得输入图像的环境不同于获得学习图像的环境的情况下，存在对象的检测准确度可能大大低于其期望值的可能。

例如，在获得学习图像的光照环境与获得输入图像的光照环境彼此不同的情况下，图像的颜色或亮度是不同的。因此，存在通过学习而获得的识别器不能有效地以高准确度检测输入图像中的对象的可能。

因此，希望提供图像处理设备及方法以及程序，通过该图像处理设备及方法以及程序，能够在不依赖于对象存在的环境的情况下以更高的准确度来检测对象。

根据本技术实施例，提供了一种图像处理设备，包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别由时间上连续的多个帧构成的输入图像的预定帧中的对象；以及设置部分，适合于响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别部分识别基于由设置部分设置的参数而执行了处理的后帧中的对象。

图像处理设备还可以包括处理部分，适合于对输入图像执行预定图像处理；设置部分响应于对象图像与学习图像之间的图像信息差异来设置要在处理部分对后帧执行的图像处理中使用的图像处理参数；处理部分基于由设置部分设置的图像处理参数对后帧执行图像处理；识别部分识别由处理部分执行了图像处理的后帧中的对象。

或者，图像处理设备可以被配置为使得设置部分响应于对象图像与学习图像之间的图像信息差异而设置要在识别部分对后帧执行的识别处理中使用的识别处理参数；识别部分基于由设置部分设置的识别处理参数来识别后帧中的对象。

再或者，图像处理设备还可以包括图像拾取部分，适合于拾取图像拾取对象的图像以获得输入图像；设置部分响应于预定帧中的对象图像与学习图像之间的图像信息差异来设置与图像拾取部分的图像拾取有关的图像拾取参数；图像拾取部分基于由设置部分设置的图像拾取参数来获取输入图像；识别部分识别由图像拾取部分获取的后帧中的对象。

根据本技术另一实施例，提供了一种用于图像处理设备的图像处理方法，该图像处理设备包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的对象，以及设置部分，适合于响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像，该图像处理方法包括：基于通过学习关于预定对象的学习图像而获得的学习结果，由识别部分识别输入图像的预定帧中的对象；以及响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别基于由该设置设置的参数而执行了处理的后帧中的对象。

根据本技术又一实施例，提供了一种程序，用于使得计算机执行：基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的对象；以及响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别基于由该设置设置的参数而执行了处理的后帧中的对象。

在该图像处理设备和方法以及程序中，基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的对象。然后，响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像。然后，识别基于所设置的参数而执行了处理的后帧中的对象。

利用该图像处理设备和方法以及程序，可不依赖于对象存在的环境而以更高的准确度来检测对象。

附图说明

图1是示出根据本发明的图像处理设备的配置的框图；

图2是示出由图1的图像处理设备进行的对象检测处理的流程图；

图3是示出输入图像示例的示意图；

图4是示出根据本发明的图像处理设备的另一配置的框图；

图5是示出由图4的图像处理设备进行的对象检测处理的流程图；

图6是示出根据本发明的图像拾取设备的配置的框图；

图7是示出由图6的图像拾取设备进行的对象检测处理的流程图；

图8是示出根据本发明的图像拾取设备的另一配置的框图；

图9是示出由图8的图像拾取设备进行的对象检测处理的流程图；以及

图10是示出计算机硬件配置示例的框图。

具体实施方式

在下文中，参照附图描述所公开的技术的实施例。应注意，描述以以下顺序给出：

1.第一实施例(响应于对象图像与平均学习图像之间的差异而设置图像处理参数的配置)

2.第二实施例(响应于对象图像与平均学习图像之间的差异而设置识别处理参数的配置)

3.第三实施例(响应于对象图像与平均学习图像之间的差异而设置图像拾取参数的配置)

4.第四实施例(响应于对象图像与平均学习图像之间的差异而设置图像处理参数、识别处理参数和图像拾取参数的配置)

<1.第一实施例>

图像处理设备的配置

图1示出应用了所公开的技术的图像处理设备的功能配置。

参考图1，图像处理设备11从输入给它的图像中检测对象(即对象物体)，该对象例如是人或者诸如脸或手的人体的部分，并且将结果输出到外部设备。

图像处理设备11包括学习部分31、存储部分32、图像输入部分33、图像处理部分34、识别部分35、输出部分36以及参数设置部分37。

学习部分31从输入的学习图像中提取学习图像的若干像素，作为学习图像上的预定对象的特征点。学习部分31例如使用导向滤波器(steerable filter)执行滤波处理以计算识别特征量，该识别特征量表示预定对象并且要被用在识别对象存在或不存在于输入图像上的处理中。然后，学习部分31基于输入的学习图像和识别特征量来执行例如使用AdaBoost算法或遗传算法(Genetic Algorithm，GA)的统计学习处理以生成识别器，该识别器用于在识别部分35中识别预定对象存在或不存在于输入图像上。

根据AdaBoost算法，将包括有要检测的对象的学习图像和不包括该对象的学习图像用作样本，以生成弱识别器(也被称为弱学习器)。将大量的这种弱识别器进行组合以构成强识别器。如果使用以此方式获得的强识别器，则可从任意图像检测对象。

此外，学习部分31基于识别特征量根据识别特征量的平均值生成平均学习图像，该平均学习图像是学习图像上的预定对象的平均图像。学习部分31将生成的识别特征量、识别器以及平均学习图像提供到存储部分32以便存储到存储部分32中。

图像输入部分33将从编辑设备或记录设备(未示出)提供的、要从其识别对象的图像作为输入图像提供到图像处理部分34。

图像处理部分34对由图像输入设备33提供给图像处理部分34的输入图像应用预定图像处理，并且将结果图像提供到识别部分35。

识别部分35对要从其识别对象的输入图像执行类似于学习部分31的处理，以计算表示输入图像上的预定对象的特征量。识别部分35读出存储部分32中存储的识别特征量和识别器，并且基于所计算的特征量中对应于识别特征量的特征量和识别器来识别或检测由图像处理部分34提供给识别部分35的输入图像上的预定对象。识别部分35将输入图像上的预定对象的识别结果提供到输出部分36和参数设置部分37。

输出部分36将由识别部分35提供给输出部分36的检测结果提供到显示设备等(未示出)。

参数设置部分37响应于由识别部分35识别预定对象而从存储部分32读出平均学习图像，并且将平均学习图像与由识别部分35识别的输入图像上的对象的区域相比较。参数设置部分37响应于比较结果而设置图像处理部分34进行的图像处理中所要使用的参数。

图像处理设备的对象检测处理

现在，参考图2的流程图描述由图像处理设备11进行的对象检测处理。当把由时间上连续的多个帧构成的图像(即运动画面图像)从编辑设备或记录设备(未示出)提供到图像处理设备11时，开始对象检测处理。应注意，图像处理设备11已预先学习了作为学习图像的人手图像。换言之，通过下述对象检测处理，已检测出输入图像中的人手。

参考图2，在步骤S11，图像输入部分33将从编辑设备或记录设备(未示出)提供的，且要从其识别对象的图像(即运动画面图像的第一帧)作为输入图像提供到图像处理部分34。

在步骤S12，图像处理部分34基于图像处理参数对由图像输入部分33提供给图像处理部分34的输入图像的第一帧执行预定图像处理，该图像处理参数是预先确定的用于图像处理的参数。然后，图像处理部分34将结果图像提供到识别部分35。

在步骤S13，识别部分35基于输入图像执行例如使用导向滤波器的滤波处理，以计算表示输入图像上的对象的特征量。此外，识别部分35读出存储部分32中存储的识别特征量和识别器。然后，识别部分35基于所计算的特征量中与读出的识别特征量相对应的那些特征量和识别器，识别由图像处理部分34提供给识别部分35的输入图像上的对象。识别部分35将输入图像上的对象的识别结果与输入图像一起提供到输出部分36和参数设置部分37。

应注意，作为用于识别对象的技术，可以使用基于由法国INRIA的N.Dalal等人提出的HOG(方向梯度直方图)以及SVM(支持向量机)(参考“Histograms of Oriented Gradients for Human Detection”，CVPR，2005)的识别对象的技术或类似技术。

图3示出输入图像的示例。

参考图3，上侧所示输入图像P(n)是时间上连续的多帧输入图像中的第n帧图像，并且这里假定n＝1。在作为第一帧输入图像的输入图像P(1)中，作为图像拾取对象的人张开他的手。同时，图3下侧所示另一输入图像P(n+1)是时间上晚于第n帧图像的第n+1帧图像，

关于上述这种输入图像P(1)，识别部分35基于关于人手的识别器和识别特征量来识别输入图像P(1)上的手。识别部分35将图3的输入图像P(1)上所示的围绕作为对象的人手的框架R(1)的显示信息作为输入图像P(1)上的手的识别结果与输入图像P(1)一起提供到输出部分36和参数设置部分37。

在步骤S14，输出部分36将由识别部分35提供给输出部分36的输入图像P(1)和识别结果提供到显示设备等(未示出)，该识别结果是框架R(1)的显示信息。结果，显示设备(未示出)显示这种图像，其中作为被识别的对象的手被如图3上侧所示的框架围绕。

在步骤S15，当从识别设备35提供输入图像和识别结果时，参数设置部分37从存储部分32读出平均学习图像，并且将识别部分35所识别的输入图像的对象的区域中，即框架R(1)的区域中的图像(在下文中将所描述的该区域中的图像称为对象图像)的图像信息与平均学习图像的图像信息相互比较。具体地，参数设置部分37在对象图像与平均学习图像之间针对每一像素比较亮度信息和颜色信息。

在步骤S16，参数设置部分37确定对象图像与平均学习图像之间的图像信息差异是否大于预定阈值。具体地，参数设置部分37确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异是否大于预先确定的各自的阈值。

这里，假定图3上侧所示的输入图像P(1)的对象图像(即手的区域中的图像)与平均学习图像相比足够暗。结果，如果在步骤S16确定图像信息差异大于预定阈值，或换言之，如果确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异二者均大于各自的阈值，则处理前进到步骤S17。

在步骤S17，参数设置部分37响应于图像信息差异而设置或更新图像处理部分34进行的图像处理中所要使用的图像处理参数，并且将图像处理参数提供到图像处理部分34。具体地，参数设置部分37设置图像处理参数，图像处理部分34利用该图像处理参数执行使得对象图像的亮度信息和颜色信息接近平均学习图像的亮度信息和颜色信息的图像处理。然后，参数设置部分37将所设置的图像处理参数提供到图像处理部分34。

在步骤S18，图像输入部分33确定是否要输入下一输入图像，即第二帧图像。

如果在步骤S18确定要输入下一输入图像，那么处理返回到步骤S11，使得对第二帧输入图像执行从步骤S11开始的各步骤的处理。

第二次，在步骤S11，图像输入部分33将由编辑设备、记录设备等(未示出)提供的图像(即运动画面图像的第二帧图像)作为输入图像提供到图像处理部分34。

第二次，在步骤S12，图像处理部分34基于图像处理参数来对由图像输入部分33提供的且在图3下侧示出的第二帧输入图像P(2)(即输入图像P(n+1)，其中n为n＝1)执行图像处理。然后，图像处理部分34将结果图像提供到识别部分35。

这里，由于图像处理参数由参数设置部分37在步骤S17处第一次设置或更新，因此图像处理部分34基于先前设置的图像处理参数来对第二帧输入图像P(2)执行图像处理。具体地，图像处理部分34基于新设置的图像处理参数对输入图像执行图像处理，使得第二帧输入图像P(2)上的对象图像的亮度信息和颜色信息分别接近存储在存储部分32中的平均学习图像的亮度信息和颜色信息。

具体地，参数设置部分37将图像处理参数设置为投影函数，该投影函数用于使得对象图像的亮度直方图的重心、最大值和最小值分别与平均学习图像的亮度直方图的重心、最大值和最小值相匹配。图像处理部分34使用设置的投影函数来对第二帧输入图像执行图像处理。

此外，参数设置部分37将图像处理参数设置为用于使得对象图像的平均颜色与平均学习图像的平均颜色相匹配的投影函数，并且图像处理部分34使用设置的投影函数来对第二帧输入图像执行图像处理。这里，可以响应于参数设置部分37设置的图像处理参数而另外对输入图像执行白平衡校正。应注意，在输入图像是灰度图的情况下，省略对颜色信息的处理。

这里，尽管图像处理部分34可以被配置为使得基于经更新的图像处理参数来对整个图像执行图像处理，但是也可以配置图像处理部分34，使得其从参数设置部分37获取坐标信息，该坐标信息表示作为框架R(n)区域中的对象图像的一部分的先前输入图像P(n)的对象图像的位置，并且使得其只对当前帧输入图像P(n+1)的对应于该坐标信息的区域(即图3的输入图像P(n+1)的由虚线指示的区域)来执行图像处理。这使得能够抑制图像处理中的数学运算量。

第二次，在步骤S13，识别部分35读出存储部分32中存储的识别特征量和识别器，并且基于读出的识别特征量和识别器来识别从图像处理部分34提供的第二帧输入图像上的对象。识别部分35将输入图像上的对象的识别结果与输入图像一起提供到输出部分36和参数设置部分37。

具体地，识别部分35识别输入图像P(2)上的手，并且将围绕输入图像P(2)上被识别的手的框架R(2)(未示出)的显示信息作为识别结果与输入图像P(2)一起提供到输出部分36和参数设置部分37。

第二次，在步骤S14，输出部分36将由识别部分35提供给输出部分36的输入图像P(2)和识别结果提供到显示设备等(未示出)，该识别结果是框架R(2)的显示信息。

第二次，在步骤S15，当从识别设备35提供输入图像和识别结果时，参数设置部分37读出平均学习图像，并且将输入图像上的对象图像的图像信息与平均学习图像的图像信息相互比较。

第二次，在步骤S16，参数设置部分37确定对象图像与平均学习图像之间的图像信息差异是否大于预定阈值。具体地，参数设置部分37确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异是否大于各自的阈值。

这里，如果假定输入图像P(2)的对象图像(即手的区域)与平均学习图像相比仍然足够暗，那么同样第二次在步骤S16确定图像信息差异大于预定阈值。换言之，确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异二者均大于各自的阈值。结果，处理第二次前进到步骤S17。

第二次，在步骤S17，参数设置部分37响应于图像信息差异而设置或更新图像处理部分34进行的图像处理所要使用的图像处理参数，并且将设置或更新的图像处理参数提供到图像处理部分34。具体地，参数设置部分37设置这样的图像处理参数：利用该图像处理参数执行用于使得对象图像的亮度信息和颜色信息二者分别接近平均学习图像的亮度信息和颜色信息的图像处理。然后，参数设置部分37将设置的图像处理参数提供到图像处理部分34。

以此方式，如果在步骤S16确定图像信息差异大于预定阈值，那么在步骤S17设置这样的图像处理参数：利用该图像处理参数执行用于使得对象图像的图像信息接近平均学习图像的图像信息的图像处理。然后，当在步骤S18确定要输入下一输入图像或下一帧时，随后重复步骤S11到S18的处理。

顺便提及，如果在步骤S16确定对象图像与学习图像之间的图像信息差异不大于预定阈值，或换言之，如果确定对象图像与平均学习图像之间的亮度信息差异或颜色信息差异不大于相应阈值，那么跳过步骤S17的处理并且处理前进到步骤S18。

然后，如果在步骤S18确定不要输入下一输入图像，即不再从编辑设备、记录设备等(未示出)提供图像，那么处理结束。

利用上述处理，当输入图像的预定帧的对象图像与平均学习图像之间的图像信息差异保持大于预定阈值时，设置图像处理参数，使得执行减小输入图像的下一帧的对象图像与平均学习图像之间图像信息差异的图像处理。结果，对于输入图像的下一帧，执行了使得下一帧上的对象图像的图像信息接近平均学习图像的图像信息的图像处理。结果，由于对象图像的图像信息与平均学习图像的图像信息之间差异减小，因此可提高对象的识别准确度。此外，由于执行了使得对象图像的图像信息接近平均学习图像的图像信息的图像处理，因此不必执行例如对具有对应于各种光照环境的亮度信息或颜色信息的学习图像的学习。以此方式，能够不依赖于对象存在的环境而以更高的准确度来检测对象。

在以上描述中，描述了这样一种配置，该配置用于通过执行使得输入图像上的对象图像的图像信息接近平均学习图像的图像信息的图像处理，降低对象图像的图像信息与平均学习图像的图像信息之间的差异。在下文中，描述这样的配置：该配置用于通过执行使得输入图像上的对象图像的图像信息接近平均学习图像的图像信息的识别处理，降低对象图像的图像信息与平均学习图像的图像信息之间的差异。

<2.第二实施例>

图像处理设备的配置

图4示出根据所公开技术的第二实施例的图像处理设备的功能配置示例，其中执行使得输入图像上的对象图像的图像信息接近平均学习图像的图像信息的识别处理。

参考图4，所示的图像处理设备111包括学习部分31、存储部分32、图像输入部分33、图像处理部分34、识别部分35、输出部分36以及参数设置部分131。

应注意，当图4图的像处理设备111的若干部件与图1图像处理设备11的若干部件通用时，为了避免冗长，在此省略对这种通用部件的重复描述。

具体地，图4图的像处理设备111与图1的图像处理设备11的区别在于前者包括参数设置部分131以代替参数设置部分37。

参数设置部分131响应于由识别部分35识别预定对象而从存储部分32读出平均学习图像，并且将读出的平均学习图像与输入图像上的由识别部分35识别的对象的区域相比较。参数设置部分131响应于比较结果而设置识别部分35进行的识别处理中所要使用的参数。

图像处理设备的对象检测处理

现在，参考图5的流程图描述图像处理设备111的对象检测处理。

应注意，图5流程图第一次进行的步骤S31到S36的处理(即对于第一帧输入图像的处理)基本上分别类似于图2的流程图第一次进行的步骤S11到S16的处理。因此，在此省略了对步骤S31到S36的处理的描述。

如果在步骤S36确定图像信息差异大于预定阈值，即，如果对象图像与平均学习图像之间的亮度信息差异和颜色信息差异二者均大于各自的阈值，那么处理前进到步骤S37。

在步骤S37，参数设置部分131响应于图像信息差异而设置识别部分35进行的识别处理中所要使用的识别处理参数，并且将识别处理参数提供到识别部分35。具体地，例如，参数设置部分131设置识别处理参数，该识别处理参数使得作为对象图像的特征量的亮度信息和颜色信息二者均接近作为要被识别部分35用于执行识别处理的特征量的亮度信息和颜色信息。然后，参数设置部分131将识别处理参数提供到识别部分35。

在步骤S38，图像输入部分33确定是否要输入下一输入图像，即第二帧输入图像。

如果在步骤S38确定要输入下一输入图像，那么处理返回到步骤S31，使得对第二帧输入图像执行从步骤S31开始的各步骤的处理。

第二次，在步骤S31，图像输入部分33将由编辑设备、记录设备等(未示出)提供给图像输入部分33的图像(即运动画面图像的第二帧图像)作为输入图像提供到图像处理部分34。

第二次，在步骤S32，针对从图像输入部分33提供到图像处理部分34的第二帧输入图像，图像处理部分34基于预先设置的图像处理参数来执行预定图像处理，并且将结果图像提供到识别部分35。

第二次，在步骤S32，识别部分35基于输入图像来识别从图像处理部分34提供到识别部分35的第二帧输入图像上的预定对象。识别部分35将输入图像上的对象的识别结果与输入图像一起提供到输出部分36和参数设置部分131。

这里，由于由参数设置部分131在步骤S37第一次设置识别处理参数，因此识别部分35基于设置的识别处理参数对第二帧输入图像执行识别处理。具体地，基于新设置的识别处理参数，识别部分35使得作为第二帧输入图像上的对象图像的特征量的亮度信息和颜色信息分别接近存储在存储部分32中的作为识别特征量的亮度信息和颜色信息，以对输入图像执行识别处理。

第二次，在步骤S34，输出部分36将由识别部分35提供给输出部分36的输入图像和识别结果提供到显示设备等(未示出)，该识别结果是围绕识别出的对象的框架的显示信息。

第二次，在步骤S35，当从识别设备35提供输入图像和识别结果时，参数设置部分131从存储部分32读出平均学习图像，并且将输入图像上的对象图像的图像信息与平均学习图像相互比较。

第二次，在步骤S36，参数设置部分131确定对象图像与平均学习图像之间的图像信息差异是否大于预定阈值。具体地，参数设置部分131确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异二者是否均大于各自的阈值。

如果这里确定对象图像与平均学习图像之间的亮度信息差异和颜色信息差异二者均大于各自的阈值，那么处理第二次前进到步骤S37。

第二次，在步骤S37，参数设置部分131响应于图像信息差异而设置识别部分35进行的识别处理中所要使用的识别处理参数，并且将设置的识别处理参数提供到识别部分35。

以此方式，如果在步骤S36确定图像信息差异大于预定阈值，那么在步骤S37设置识别处理参数，利用该识别处理参数执行用于使得作为对象图像的特征量的图像信息接近作为识别特征量的图像信息的识别处理。然后，当在步骤S38确定要输入下一输入图像或下一帧时，随后重复步骤S31到S38的处理。

顺便提及，如果在步骤S36确定对象图像与学习图像之间的图像信息差异不大于预定阈值，或换言之，如果确定对象图像与平均学习图像之间的亮度信息差异或颜色信息差异不大于相应阈值，那么跳过步骤S37的处理并且处理前进到步骤S38。

然后，如果在步骤S38确定不要输入下一图像，即不再从编辑设备、记录设备等(未示出)提供图像，那么处理结束。

利用上述处理，当输入图像的预定帧的对象图像与平均学习图像之间的图像信息差异保持大于预定阈值时，设置识别处理参数，使得执行减小输入图像的下一帧的对象图像与平均学习图像之间图像信息差异的识别处理。结果，对于输入图像的下一帧，执行了使得作为下一帧上的对象图像的特征量的图像信息接近作为识别特征量的图像信息的识别处理。结果，由于对象图像的图像信息与平均学习图像的图像信息之间差异减小，可提高对象的识别准确度。此外，由于执行了使得对象图像的图像信息接近平均学习图像的图像信息的图像处理，因此不必执行例如对具有对应于各种光照环境的亮度信息或颜色信息的学习图像的学习。以此方式，能够不依赖于对象存在的环境而以更高的准确度来检测对象。

应注意，尽管在以上描述中使得作为输入图像上的对象图像的特征量的图像信息接近作为识别特征量的图像信息，但是可以相反地使得作为识别特征量的图像信息接近作为输入图像上的对象图像的特征信息的图像信息。

此外，在以上描述中，检测从编辑设备或记录设备(未示出)提供的运动画面图像的对象的图像处理设备被配置为使得响应于运动画面图像的输入图像上的对象图像与平均学习图像之间的图像信息差异而设置或更新预定处理参数。然而，在以下描述中，描述包括图像拾取部分的图像拾取设备的配置，其中图像拾取部分用于对图像拾取对象进行图像拾取，该图像拾取设备用于响应于图像拾取部分所获得的图像上的对象图像与平均学习图像之间的图像信息差异而设置图像拾取部分的图像拾取参数。

<3.第三实施例>

图像拾取设备的配置

图6示出根据所公开技术的第三实施例的图像拾取设备的功能配置，其中响应于图像拾取部分所获得的图像上的对象图像与平均学习图像之间的图像信息差异而设置图像拾取部分的图像拾取参数。

参考图6，所示的图像拾取设备211包括学习部分31、存储部分32、图像处理部分34、识别部分35、图像拾取部分231、显示部分232以及参数设置部分233。

应注意，当图6的图像拾取设备211的若干部件与图1图像处理设备11的若干部件通用时，为了避免冗长，在此省略对这种通用部件的重复描述。

具体地，图6的图像拾取设备211与图1图像处理设备11的区别在于前者包括图像拾取部分231、显示部分232和参数设置部分233以代替图像输入部分33、输出部分36和参数设置部分37。

图像拾取部分231包括光学部分，该光学部分包括诸如透镜、光圈和机械快门的光学元件以及诸如CCD(电荷耦合装置)传感器或CMOS(互补金属氧化物半导体)传感器的光电元件。图像拾取部分231在控制部分(未示出)的控制下对光学系统执行对焦点位置或曝光的调整。此外，图像拾取部分231利用光电元件对经由光学部分提供给图像拾取部分231的入射光进行光电转换，以生成图像数据。图像拾取部分231将生成的图像数据作为输入图像提供到图像处理部分34。

在控制部分(未示出)的控制下，显示部分232将从图像处理部分经由识别部分35提供给显示部分232的输入图像作为通过图像(其为实时图像)来显示。用户可确认实时显示在显示部分232上的通过图像以确定要拾取的图像的构成，并可执行快门操作以拾取图像，然后将拾取的图像存储在记录介质(未示出)上。

参数设置部分233响应于由识别部分35识别预定对象而从存储部分32读出平均学习图像，并且将平均学习图像与由识别部分35识别出的输入图像上的对象的区域相比较。参数设置部分232响应于比较结果为图像拾取部分231进行的图像拾取设置图像拾取参数。

图像拾取设备的对象检测处理

现在，参考图7的流程图描述图像拾取设备211的对象检测处理。如果通过用户操作选择图像拾取模式，那么图像拾取设备211建立图像拾取设备211可拾取图像的图像拾取模式，并且开始对象检测处理。应注意，类似于图像处理设备11和图像处理设备111，图像拾取设备211预先学习人手图像作为学习图像。

应注意，图7的流程图的步骤S52到S56的处理基本上类似于图2的流程图的步骤S12到S16的处理，因此在此省略对这些处理的重复描述以避免冗长。

在步骤S51，图像拾取部分231获取响应于图像参数而生成的图像数据作为第一帧输入图像，并且将输入图像提供到图像处理部分34，该图像参数是响应于用户操作、自动曝光功能等而设置的。

应注意，在步骤S54，显示部分232显示从识别部分35提供给显示部分232的输入图像和识别结果，该识别结果是围绕识别出的对象的框架的显示信息。结果，用户可确认与通过图像一起显示在显示部分232上的识别出的对象。

现在，如果在步骤S56确定图像信息差异大于预定阈值，即，如果确定对象图像与平均学习图像之间的亮度信息差异大于预先确定的阈值，那么处理前进到步骤S57。

在步骤S57，参数设置部分233响应于图像信息差异而为图像拾取部分231设置图像拾取参数，并且将图像拾取参数提供到图像拾取部分231。具体地，参数设置部分233设置这样的图像拾取参数，利用该图像拾取参数使得输入图像上的对象图像的亮度信息接近平均学习图像的亮度信息，并且将图像拾取参数提供到图像拾取部分231。

在步骤S58，学习部分31确定是否要继续图像拾取模式以及是否要由图像拾取部分231获取第二帧的下一输入图像。

如果在步骤S58确定要继续图像拾取模式，那么处理返回到步骤S51以执行从步骤S51开始的各步骤的处理。

第二次，在步骤S51，图像拾取部分231将响应于图像拾取参数而生成的第二帧图像数据作为输入图像提供到图像处理部分34。

这里，由于图像拾取参数由参数设置部分233在步骤S57第一次设置，因此图像拾取部分231基于设置的图像拾取参数来调整光圈，获取这里生成的图像数据作为第二帧输入图像，并且将第二帧输入图像提供到图像处理部分34。具体地，图像拾取部分231基于设置的图像拾取参数而获取输入图像，使得第二帧输入图像上的对象图像的亮度信息可以接近平均学习图像的亮度信息。

然后，与第一次类似地，第二次执行从步骤S52开始的各步骤的处理。

如果以此方式在步骤S56确定图像信息差异大于预定阈值，那么在步骤S57设置图像拾取参数，利用该图像拾取参数，对象图像的图像信息接近平均学习图像的图像信息。然后，当在步骤S58确定要继续图像拾取模式时，重复步骤S51到S58的处理。

另一方面，如果在步骤S56确定对象图像与学习图像之间的图像信息差异不大于阈值，即如果确定对象图像与平均学习图像之间的亮度信息差异不大于其阈值，那么跳过步骤S57的处理并且处理直接前进到步骤S58。

然后，如果在步骤S58确定不要继续图像拾取模式，例如，如果由用户操作或在类似情况下发出了结束图像拾取模式的指令，那么处理结束。

利用上述处理，当输入图像的预定帧的对象图像与平均学习图像之间的图像信息差异保持大于预定阈值时，设置图像拾取参数，使得执行减小输入图像的下一帧的对象图像与平均学习图像之间图像信息差异的图像拾取。结果，对于输入图像的下一帧，执行了使得下一帧上的对象图像的图像信息接近平均学习图像的图像信息的图像拾取。结果，由于对象图像的图像信息与平均学习图像的图像信息之间差异减小，可提高对象的识别准确度。此外，由于执行了使得对象图像的图像信息接近平均学习图像的图像信息的图像处理，因此不必执行例如对具有对应于各种光照环境的亮度信息的学习图像的学习。以此方式，能够不依赖于对象存在的环境而以更高的准确度来检测对象。

在以上描述中，包括用于对图像拾取对象进行图像拾取的图像拾取部分的图像拾取设备被配置为使得响应于由图像拾取部分获取的输入图像上的对象图像与平均学习图像之间的图像信息差异而为图像拾取部分设置图像拾取参数。然而，响应于对象图像与平均学习图像之间的图像信息差异，可以除图像拾取参数之外还设置图像处理参数或识别处理参数。

<4.第四实施例>

图像拾取设备的配置

图8示出根据所公开技术的第四实施例的图像设备的功能配置示例，其中响应于图像拾取部分所获得的图像上的对象图像与平均学习图像之间的图像信息差异，除图像拾取部分的图像拾取参数之外还设置图像处理参数和/或识别处理参数。

参考图8，所示的图像拾取设备311包括学习部分31、存储部分32、图像处理部分34、识别部分35、图像拾取部分231、显示部分232以及参数设置部分331。

应注意，当图8的图像拾取设备311的若干部件与图6的图像拾取设备211的若干部件具有类似功能时，为了避免冗长，在此省略对类似功能的这种部件的重复描述。

具体地，图8的图像拾取设备311与图6的图像拾取设备211的区别在于前者包括参数设置部分331以代替参数设置部分233。

除类似于图6所示的参数设置部分233的功能之外，参数设置部分331还具有类似于图1所示的参数设置部分37的功能以及类似于图4所示的参数设置部分131的功能。具体地，参数设置部分331响应于由识别部分35识别预定对象而从存储部分32读出平均学习图像，并且将平均学习图像与由识别部分35识别出的对象的区域相比较。然后，参数设置部分331响应于比较结果而设置图像拾取参数、图像处理参数和识别处理参数。

图像拾取设备的对象检测处理

现在，参考图9的流程图描述图像拾取设备311的对象检测处理。

应注意，图9的流程图的步骤S71、S74到S76以及S78的处理基本上分别类似于图7的流程图的步骤S51、S54到S56以及S58的处理，因此在此省略对这些处理的重复描述以避免冗长。

此外，图9的流程图的步骤S72的处理基本上类似于图2的流程图的步骤S12的处理，并且图9的流程图的步骤S73的处理基本上类似于图5的流程图的步骤S33的处理。因此，在此省略对步骤S72和S73的处理的重复描述以避免冗长。

在步骤S77，参数设置部分331响应于图像信息差异而设置参数，该参数包括用于图像拾取部分231的图像拾取参数、用于图像处理部分34的图像处理参数和用于识别部分35的识别处理参数。然后，参数设置部分331将如此设置的这些参数提供到识别部分35。

利用上述处理，当输入图像的预定帧的对象图像与平均学习图像之间的图像信息差异保持大于预定阈值时，设置图像拾取参数、图像处理参数和识别处理参数，使得执行减小输入图像的下一帧的对象图像与平均学习图像之间图像信息差异的图像拾取、图像处理和识别处理。结果，对于输入图像的下一帧，执行了使得下一帧上的对象图像的图像信息接近平均学习图像的图像信息的图像拾取、图像处理和识别处理。结果，由于对象图像的图像信息与平均学习图像的图像信息之间差异减小，可提高对象的识别准确度。此外，由于执行了使得对象图像的图像信息接近平均学习图像的图像信息的图像处理，因此不必执行例如对具有对应于各种光照环境的亮度信息或颜色信息的学习图像的学习。以此方式，能够不依赖于对象存在的环境而以更高的准确度来检测对象。

应注意，尽管在以上描述中描述图像信息是亮度信息和/或颜色信息，但图像信息可以是任何信息，只要该信息被包括在输入图像和平均学习图像中并且可被比较。

此外，除人手以外，检测的目标物体的对象可以是任何对象并且可以是人本身、人脸、诸如狗或马的动物或者诸如汽车的无生命物体。

尽管上述一系列处理可通过硬件执行，但是另外也可以通过软件执行。在这一系列处理通过软件执行的情况下，将构成该软件的程序从程序记录介质安装到合并于硬件中的专用计算机中，或安装到例如通过安装各种程序等而能够执行各种功能的通用个人计算机中。

图10是示出根据程序来执行上文所述一系列处理的个人计算机配置示例的框图。

参考图10，在所示的计算机中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903通过总线904彼此连接。

此外，输入/输出接口905连接至总线904。包括键盘、鼠标、麦克风等的输入部分906以及包括显示单元、扬声器等的输出部分907连接至输入/输出接口905。此外，由硬盘、非易失性存储器等构成的存储部分908以及由网络接口等构成的通信部分909连接至输入/输出接口905。此外，用于驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质911的驱动器910连接至输入/输出接口905。

在以上述方式配置的计算机中，CPU 901通过输入/输出接口905和总线904将存储在例如存储部分908的程序加载到RAM 903中，并且执行该程序以执行上文所述的一系列处理。

要由计算机或CPU 901执行的程序被记录到可移动介质911中并且被作为可移动介质911提供，可移动介质911是由例如包括软盘的磁盘、诸如CD-ROM(光盘只读存储器)或DVD(数字多用光盘)的光盘、磁光盘、半导体存储器等构成的包介质(package medium)。或者，可以通过诸如局域网络、因特网或数字卫星广播的有线或无线传输介质来提供程序。

然后，通过将可移动介质911载入驱动器910中，可将程序通过输入/输出接口905安装到存储部分908中。或者，程序可由通信部分909通过有线或无线传输介质接收，并被安装到存储部分908中。或者，程序可以被预先安装在ROM 902或存储部分908中。

应注意，要由计算机执行的程序可以是以依照上文所述顺序的时间序列来执行其处理的程序，或者可以是并行执行或在诸如程序被调用时的适当时机执行其处理的程序。

根据本发明的一个实施例，提供一种图像处理设备，包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别由时间上连续的多个帧构成的输入图像的预定帧中的对象；以及设置部分，适合于响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别部分识别基于由设置部分设置的参数而执行了处理的后帧中的对象。

根据本发明的另一个实施例，提供一种用于图像处理设备的图像处理方法，该图像处理设备包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的对象，以及设置部分，适合于响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像，该图像处理方法包括：基于通过学习关于预定对象的学习图像而获得的学习结果，由识别部分识别输入图像的预定帧中的对象；以及响应于对象图像与学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，其中后帧在时间上晚于输入图像的预定帧，而对象图像是在预定帧中识别出的对象的区域中的图像；识别基于由该设置设置的参数而执行了处理的后帧中的对象。

尽管使用特定术语描述了本发明的优选实施例，但是这种描述只是为了说明的目的，并且应理解，可以在不脱离以下权利要求的精神或范围的情况下进行改变和变型。

本发明包括与2010年7月21日提交到日本专利局的日本优先权专利申请JP 2010-163588所公开的主题有关的主题，其全部内容通过引用合并于此。

Claims (6)

1.一种图像处理设备，包括：

识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别由时间上连续的多个帧构成的输入图像的预定帧中的所述对象；以及

设置部分，适合于响应于对象图像与所述学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，所述后帧在时间上晚于所述输入图像的所述预定帧，而所述对象图像是在所述预定帧中识别出的所述对象的区域中的图像；

所述识别部分识别基于由所述设置部分设置的所述参数而执行了所述处理的所述后帧中的所述对象。

2.根据权利要求1所述的图像处理设备，还包括处理部分，适合于对所述输入图像执行预定图像处理；

所述设置部分响应于所述对象图像与所述学习图像之间的所述图像信息差异来设置要在所述处理部分对所述后帧执行的图像处理中使用的图像处理参数；

所述处理部分基于由所述设置部分设置的所述图像处理参数对所述后帧执行所述图像处理；

所述识别部分识别由所述处理部分执行了所述图像处理的所述后帧中的所述对象。

3.根据权利要求1所述的图像处理设备，其中，所述设置部分响应于所述对象图像与所述学习图像之间的所述图像信息差异而设置要在所述识别部分对所述后帧执行的识别处理中使用的识别处理参数；

所述识别部分基于由所述设置部分设置的所述识别处理参数来识别所述后帧中的所述对象。

4.根据权利要求1所述的图像处理设备，还包括图像拾取部分，适合于拾取图像拾取对象的图像以获得所述输入图像；

所述设置部分响应于所述预定帧中的所述对象图像与所述学习图像之间的所述图像信息差异来设置与所述图像拾取部分的图像拾取有关的图像拾取参数；

所述图像拾取部分基于由所述设置部分设置的所述图像拾取参数来获取所述输入图像；

所述识别部分识别由所述图像拾取部分获取的所述后帧中的所述对象。

5.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：识别部分，适合于基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的所述对象，以及设置部分，适合于响应于对象图像与所述学习图像之间的图像信息差异来设置要用于对后帧执行的处理的参数，所述后帧在时间上晚于所述输入图像的所述预定帧，而所述对象图像是在所述预定帧中识别出的所述对象的区域中的图像，所述图像处理方法包括：

基于通过学习关于所述预定对象的所述学习图像而获得的所述学习结果，由所述识别部分识别所述输入图像的所述预定帧中的所述对象；以及

响应于对象图像与所述学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，所述后帧在时间上晚于所述输入图像的所述预定帧，而所述对象图像是在所述预定帧中识别出的所述对象的区域中的图像；

在所述识别步骤，识别基于通过所述设置步骤设置的所述参数而执行了所述处理的所述后帧中的所述对象。

6.一种程序，用于使得计算机执行：

基于通过学习关于预定对象的学习图像而获得的学习结果，识别输入图像的预定帧中的所述对象；以及

响应于对象图像与所述学习图像之间的图像信息差异，设置要用于对后帧执行的处理的参数，所述后帧在时间上晚于所述输入图像的所述预定帧，而所述对象图像是在所述预定帧中识别出的所述对象的区域中的图像；

在所述识别步骤，识别基于通过所述设置步骤设置的所述参数而执行了所述处理的所述后帧中的所述对象。

Images