CN102208107A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

一种图像处理设备、图像处理方法以及程序。该图像处理设备包括：参考背景存储单元，存储参考背景图像；估算单元，从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；背景差异图像生成单元，生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断单元，基于由背景差异图像生成单元生成的背景差异图像与由估算单元估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别单元，识别故障的类型；以及背景图像更新单元，以与故障的类型相对应的方式更新参考背景图像。

Description

图像处理设备、图像处理方法以及程序

技术领域

本发明涉及图像处理设备、图像处理方法以及程序。特别地，本发明涉及可以从输入图像中准确地提取作为前景图像的对象的图像处理设备、图像处理方法以及程序。

背景技术

用以从由摄像装置等拾取的输入图像提取作为前景图像和对象的动物身体区域的技术得以广泛传播。

在这些技术之中，广泛使用背景差异图像生成处理作为可以简单迅速地提取动物身体区域的方法。在背景差异图像生成处理中，预先拾取无运动参考背景图像以及针对每个像素获得在由摄像装置拾取的图像与参考背景图像之间的差异，以便专门提取动物身体区域。

日本待审查专利申请公开No.63-187889公开了如下这种技术：只提取存在于从摄像装置的图像拾取位置起的近侧的人以及把通过计算机图形(CG)等生成的图像与背景区域合成，以使得当在电视电话上显示人时，例如可以在电视电话的显示单元上专门显示人而不示出作为人的背景的他或她的生活环境。

更详细地，差异计算单元1针对每个像素计算预先拾取的参考背景图像f1的像素的像素值与然后拾取的图像f2的像素的像素值之间的差异，  如图1中所示。随后，当差值小于预定阈值时，差异计算单元1把像素值设置为零，即，删除背景以便生成专门留下动物身体区域的背景差异图像f3。

然而，如图2的输入图像f5中所示，在改变照明条件(诸如照明色温或亮度等)，或者改变摄像装置参数(诸如光圈、增益以及白平衡等)的情形中，也改变除了动物身体区域之外的区域。因此，如图2中所示，参考背景图像f1的像素的像素值与输入图像f5的像素的像素值之间的差值不小于预定阈值，因此未专门提取动物身体区域，相应地，有时生成如同也留下背景图像的图像f7一样的状态。

针对这种问题，提出了一种相对于照明条件等的变化而言稳定耐用的技术作为背景差异图像生成处理技术。在该技术中，获得目标像素的亮度与周边像素的亮度之间的增加/减小关系，通过使用关系的差值作为估算值来提取动物身体区域(参考Y.Sato、S.Kaneko以及S.Igarashi“Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image”，Institute of Electronics，Information and Communication Engineers Transactions，第J84-D-II卷，No.12，第2585-2594页，2001年12月)。根据该技术，由于临近像素之间亮度的关系即使通过照明变化的出现也几乎不改变，所以可以提取稳定耐用的背景差异图像。

作为用于处理逐步改变照明条件等的情形的技术，提出了采用高斯混合模型(GMM)的背景差异图像生成处理。美国专利申请公开No.6044166公开了即使在逐步改变照明条件时也实现稳定耐用的背景差异图像的生成处理的技术。在此技术中，执行在拾取的输入图像与参考背景图像之间  背景差异图像的生成处理，把多个帧的彼此相对应的像素值彼此相比较。在改变迅速的情形中，不更新参考背景图像的像素值，在改变是逐步的情形中，以预定比率改变参考背景图像的像素值以便接近拾取的输入图像的像素值。

进一步地，日本待审查专利申请公开No.2009-265827公开了用于处理照明条件变化的这种技术。在该技术中，初步获取由在不同照明条件等下获得的多个背景图像组成的背景图像组，把输入图像划分成进行对象存在预测的预测区域以及作为除了预测区域之外的区域的非预测区域，从背景图像组中选择特性最接近非预测区域中的图像特性的背景图像。

此外，作为用于自动确定迅速照明变化出现的情形的方法，公开了如下这种技术：当作为背景差异图像的前景的尺寸变得大于预定尺寸时，确定故障的出现(参考Toyama等人，“Wallflower：Principles and practice of background maintenance”，ICCV1999，科孚岛，希腊)。此技术基于如下这种前提：当迅速照明变化出现时，背景差异中出现故障，放大作为背景差异图像的前景图像。

发明内容

然而，在以上引用的文献“Robust Object Detection and Segmentation by Peripheral Increment Sign Correlation Image”的技术中，在对象的纹理较小的情形中，由于照明变化或像素噪声导致破坏临近像素之间的关系，从而，易于出现错误检测。

此外，在以上引用的文献“Wallflower：Principles and practice of background maintenance”的技术中，假定当前景的尺寸大于预定尺寸以及前景的尺寸达到例如整个屏幕的70％时，认为故障出现。在此情形中，当人占据屏幕的大面积时，例如，即使无故障出现也会错误地识别出故障出现。

美国专利申请公开No.6044166的技术能够处理逐步改变，但是该技术在迅速照明变化出现时无效，这是因为假定在迅速改变出现的区域中存在动物身体。

日本待审查专利申请公开No.2009-265827的技术能够通过基于作为前景的对象不存在的部分的信息估算可以是前景的背景来处理照明条件的迅速改变。然而，必须预先获取在不同照明条件下获得的多个背景图像。

期望即使在根据图像拾取状态而改变输入图像时也以高准确性专门提取作为前景图像的对象。

根据本发明实施例的图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估算装置，用于从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；背景差异图像生成装置，用于生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断装置，用于基于由背景差异图像生成装置生成的背景差异图像与由估算装置估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别装置，用于识别故障的类型；以及背景图像更新装置，用于以与故障的类型相对应的方式更新参考背景图像。

可以允许故障判断装置把对象与背景差异图像相比较，以便基于背景差异图像的区域与对象的区域的比率是否大于预定比率来判断是否出现故障。

图像处理设备可以进一步包括：改变量计算装置，用于计算参考背景图像和输入图像中的除了由估算装置估算出的对象的区域以外的区域中的彼此对应的像素之间的改变量。在改变量大于预定值的情形中，可以允许故障类型识别装置把故障类型识别为基于颜色改变的颜色故障，在改变量并未大于预定值的情形中，可以允许故障类型识别装置把故障类型识别为基于所述输入图像的图像拾取方向的偏移的偏移故障。

图像处理设备可以进一步包括：运动向量计算装置，用于比较输入图像和参考背景图像以便获得输入图像的图像拾取方向的偏移作为运动向量；运动补偿装置，用于基于运动向量针对参考背景图像执行运动补偿以便生成运动补偿背景图像；计算装置，用于计算输入图像中除了由估算装置估算出的对象的区域以外的区域与参考背景图像中的彼此对应的像素之间像素值的关系式；以及转换装置，用于基于关系式对参考背景图像的像素值进行转换以便生成像素值转换背景图像。当由故障类型识别装置识别出的故障类型是偏移故障时，可以允许背景图像更新装置用运动补偿背景图像替代参考背景图像以便更新参考背景图像，以及当由故障类型识别装置识别出的故障类型是颜色故障时，可以允许背景图像更新装置用像素值转换背景图像替代参考背景图像以便更新参考背景图像。

当故障判断装置判断未出现故障时，可以允许背景图像更新装置保持参考背景图像不变。

可以允许运动向量计算装置对参考背景图像中除了对象的区域以外的区域与输入图像中除了所述对象的区域以外的区域进行比较，以便获得图像的相应像素之间差异绝对值的和最小的运动向量。

可以允许对象检测装置包括：人检测装置，用于检测作为对象的人；动物检测装置，用于检测作为对象的动物；以及交通工具检测装置，用于检测作为对象的交通工具。

可以允许人检测装置包括：面部检测装置，用于从输入图像中检测人的面部图像；身体掩模估算装置，用于根据人的身体的存在位置和尺寸来估算身体掩模，人的身体是基于由面部检测装置检测到的面部图像估算出的。

根据本发明另一实施例，图像处理设备的图像处理方法，该图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估算装置，用于从输入图像中检测对象以及估算检测到的对象的概略形状和概略位置；背景差异图像生成装置，用于生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断装置，用于基于由背景差异图像生成装置生成的背景差异图像与由估算装置估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别装置，用于识别故障的类型；以及背景图像更新装置，用于以与故障的类型相对应的方式更新参考背景图像，该图像处理方法包括以下步骤：在参考背景存储装置中，存储参考背景图像；在估算装置中，从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；在背景差异图像生成装置中，基于输入图像与参考背景图像之间的差值来生成背景差异图像；在故障判断装置中，基于通过生成背景差异图像步骤的处理生成的背景差异图像与通过估算步骤的处理估算出的对象之间的比较来判断背景差异图像中是否出现故障；在故障类型识别装置中，识别故障的类型；以及在背景图像更新装置中，以与故障的类型相对应的方式更新参考背景图像。

根据本发明又一实施例，一种允许控制图像处理设备的计算机执行处理的程序，所述图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估算装置，用于从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；背景差异图像生成装置，用于生成基于输入图像与参考背景图像之间的差值获得的背景差异图像；故障判断装置，用于基于由背景差异图像生成装置生成的背景差异图像与由估算装置估算出的对象之间的比较来判断在背景差异图像中是否出现故障；故障类型识别装置，用于识别故障的类型；以及背景图像更新装置，用于以与故障的类型相对应的方式更新参考背景图像，所述处理包括以下步骤：在参考背景存储装置中，存储参考背景图像；在估算装置中，从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；在背景差异图像生成装置中，基于输入图像与参考背景图像之间的差值来生成背景差异图像；在故障判断装置中，基于通过生成背景差异图像步骤的处理生成的背景差异图像与通过估算步骤的处理估算出的对象之间的比较来判断在背景差异图像中是否出现故障；在故障类型识别装置中，识别故障的类型；以及在背景图像更新装置中，以与故障的类型相对应的方式更新参考背景图像。

根据本发明的实施例，存储参考背景图像，从输入图像中检测对象，估算检测到的对象的概略形状和概略位置，生成基于输入图像与参考背景图像之间的差值获得的背景差异图像，基于生成的背景差异图像与估算出的对象之间的比较来判断在背景差异图像中是否出现故障，识别故障的类型，以及以与故障的类型相对应的方式更新参考背景图像。

根据本发明实施例的图像处理设备可以是独立设备或者用于执行图像处理的部件。

根据本发明的实施例，即使在由于图像拾取状态而改变输入图像的情况下也可以用高准确性专门提取要作为前景图像的对象。

附图说明

图1示例了用于通过背景差异图像进行对象提取的相关领域处理；

图2示例了用于通过背景差异图像进行对象提取的相关领域处理；

图3是示出了根据本发明实施例的图像处理设备的配置示例的方框图；

图4是用于示例参考背景图像存储处理的流程图；

图5是用于示例背景差异图像提取处理的流程图；

图6是用于示例参考背景图像更新处理的流程图；

图7是用于示例对象检测处理的流程图；

图8示例了故障的类型；

图9是用于示例故障类型识别处理的流程图；

图10示例了故障类型识别处理；

图11是用于示例更新背景图像生成处理的流程图；

图12是用于示例颜色转换更新图像生成处理的流程图；

图13示例了颜色转换更新图像生成处理；

图14是用于示例运动补偿更新图像生成处理的流程图；

图15示例了运动补偿更新图像生成处理；以及

图16示例了通用个人计算机的配置示例。

具体实施方式

[图像处理设备的配置示例]

图3示例了根据本发明实施例的图像处理设备的硬件的配置示例。图3的图像处理设备11从拾取的输入图像中指定作为前景的对象的形状和位置并且专门提取对象的区域。

图像处理设备11包括图像拾取单元21、背景差异图像生成单元22、输出单元23、故障判断单元24、对象检测单元25、故障类型识别单元26、参考背景更新单元27、参考背景图像获取单元28、背景图像存储单元29以及工作模式切换单元30。

图像拾取单元21基本上在固定图像拾取方向、聚焦位置等的状态中拾取图像，以及把拾取的图像提供给背景差异图像生成单元22、故障判断单元24、对象检测单元25、参考背景更新单元27以及参考背景图像获取单元28。

背景差异图像生成单元22针对每个像素获得在从图像拾取单元21接收的拾取图像的像素的像素值与背景图像存储单元29中存储的背景图像的像素的像素值之间的差异绝对值。随后，背景差异图像生成单元22生成背景差异图像，其中把与像素间的差异绝对值高于预定值的像素相对应的像素的像素值设置为拾取图像的像素值，以及把与其它像素相对应的像素的像素值设置为零或最大像素值，背景差异图像生成单元22把背景差异图像提供给输出单元23和故障判断单元24。即，当假定背景图像存储单元29中存储没有对象的背景图像时以及当拾取图像中存在对象时，通过该处理理想地获得专门提取了对象区域像素值的图像作为背景差异图像。

输出单元23输出从背景差异图像生成单元22提供的背景差异图像以及例如把背景差异图像存储在存储介质(未示出)或者在显示单元(未示出)上显示背景差异图像。

对象检测单元25检测拾取图像中存在的对象并把对象的图像(由构建对象的像素组成的区域的信息)提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。更详细地，对象检测单元25包括分别检测人的图像、动物的图像以及交通工具的图像作为对象的人检测单元41、动物检测单元42以及交通工具检测单元43。对象检测单元25检测拾取的图像中人、动物以及交通工具的图像作为对象以及把对象区域的检测图像提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27作为对象掩模。

人检测单元41包括面部检测单元41a和身体估算单元41b。面部检测单元41a检测拾取图像中存在的人的面部图像。身体估算单元41b基于面部检测单元41a检测的面部图像的尺寸和位置来估算身体存在的区域。随后，人检测单元41通过合并面部图像的区域以及估算的身体区域来生成身体掩模作为检测结果。动物检测单元42包括动物特征量检测单元42a和动物身体估算单元42b。动物特征量检测单元42a提取例如动物的面部图像、四肢的图像以及图像的尺寸和位置作为特征量。动物身体估算单元42b基于四肢图像的特征量以及动物面部图像的位置来估算作为对象的动物的身体存在的区域以及区域的尺寸。随后，动物检测单元42通过合并动物面部图像的区域和估算的身体区域来生成动物身体掩模作为检测结果。交通工具检测单元43包括轮检测单元43a和交通工具主体估算单元43b。轮检测单元43a从图像中检测与交通工具的轮对应的区域的尺寸和位置的信息。交通工具主体估算单元43b基于轮区域的尺寸和位置的检测信息来估算交通工具主体区域的尺寸和位置。交通工具检测单元43通过合并交通工具主体的估算区域和轮的区域来生成交通工具主体掩模，作为检测结果。

图3的对象检测单元25检测作为要检测对象的示例的人、动物以及交通工具的图像，但是可以把对象检测单元25设置为检测其它对象。

故障判断单元24基于对象掩模和背景差异图像的尺寸来判断背景差异图像的尺寸是否远大于对象掩模的尺寸，以及基于此结果，判断背景差异图像生成单元22的背景差异图像生成处理中是否出现故障。随后，故障判断单元24把判断结果提供给故障类型识别单元26。

故障类型识别单元26基于故障判断单元24的故障判断结果、背景图像存储单元29中存储的参考背景图像、来自对象检测单元25的对象掩模以及拾取图像来识别故障的类型。识别结果包括未发生故障的结果。随后，故障类型识别单元26把识别的故障类型的信息提供给参考背景更新单元27。

更详细地，故障类型识别单元26包括故障类型决定单元61和颜色改变计算单元62。颜色改变计算单元62计算拾取图像中除了对象掩模的区域以外的区域的像素值的平均值并计算参考背景图像中除了对象掩模的区域以外的区域的像素值的平均值或者计算色调改变以及把计算结果提供给故障类型决定单元61作为颜色特征量的差值。当故障判断单元24判断结果示出故障的出现时，另外，当颜色特征量的差值大于预定阈值时，故障类型决定单元61将故障类型判定为由拾取图像内照明的较大改变或者白平衡的改变引起的颜色故障。另一方面，当故障判断单元24的判断结果示出故障的出现时，另外，当颜色特征量的差值不大于预定阈值时，故障类型决定单元61将故障类型判定为由拾取了拾取图像的图像拾取单元21的图像拾取范围的偏移引起的偏移故障。进一步地，当故障判断单元24的判断结果示出无故障出现时，故障类型决定单元61把示出无故障出现的信息判定为用于识别故障类型的信息。即，故障类型识别单元26基于故障判断结果、对象掩模、参考背景图像以及拾取的图像来识别以下三个类型之一：背景差异图像生成处理中无故障出现的类型、由颜色故障引起的故障出现的类型以及由偏移故障引起的故障出现的类型。

参考背景更新单元27根据对象掩模、背景图像存储单元29中存储的参考背景图像以及拾取图像的信息基于从故障类型识别单元26接收的故障类型的信息来更新参考背景图像，以及把更新的参考背景图像存储在背景图像存储单元29中。更详细地，参考背景更新单元27包括全局运动估算单元81、运动补偿转换单元82、选择单元83、特征量转换等式计算单元84以及颜色转换单元85。

全局运动估算单元81基于除了对象掩模的区域以外的拾取图像和参考背景图像的信息来估算示出图像拾取单元21的图像拾取方向的偏移的大小和方向的全局运动作为运动向量，并把运动向量提供给运动补偿转换单元82。运动补偿转换单元82基于运动向量根据背景图像存储单元29中当前存储的参考背景图像以及拾取图像来生成作为参考背景图像更新图像的运动补偿图像并把运动补偿图像提供给选择单元83。特征量转换等式计算单元84通过最小二乘法获得示出拾取图像的除了对象掩模以外的像素与在背景图像存储单元29中当前存储的参考背景图像的相应像素之间颜色改变的转换等式，并把获得的转换等式提供给颜色转换单元85。颜色转换单元85通过使用由特征量转换等式计算单元84获得的转换等式来转换背景图像存储单元29中存储的参考背景图像的每个像素的像素值以便生成作为参考背景图像更新图像的颜色转换图像，并把颜色转换图像提供给选择单元83。选择单元83基于从故障类型识别单元26提供的故障类型来选择从运动补偿转换单元82提供的运动补偿图像、从颜色转换单元85提供的颜色转换图像以及拾取图像中的一个。随后，选择单元83用选择的图像替换背景图像存储单元29中存储的参考背景图像以更新参考背景图像。

当初始记录参考背景图像时，参考背景图像获取单元28把从图像拾取单元21提供的图像视为参考背景图像以及允许背景图像存储单元29存储图像。

工作模式切换单元30控制图像处理设备11的工作模式以及切换参考背景图像存储模式、背景差异图像提取模式以及背景图像更新模式三种工作模式。此处，在图3中，从工作模式切换单元30只向图像拾取单元21、输出单元23以及参考背景图像获取单元28绘制标注工作模式切换单元30进行的操作开/关控制的箭头。然而，工作模式切换单元30实际上控制从图像拾取单元21至背景图像存储单元29的所有部件以在每个工作模式中开启或关闭部件。相应地，实际上应当向部件中的所有部件绘制箭头，但是该图示出了简化的配置以避免示出太复杂的配置。

[参考背景图像存储处理]

接下来参照图4的流程图描述参考背景图像存储处理。

在步骤S11中，为了把图像处理设备11转为参考背景图像存储模式，工作模式切换单元30控制开启该操作所需的图像拾取单元21、参考背景图像获取单元28以及背景图像存储单元29并关闭其余部件。此处，参考背景图像存储模式是基于在图像处理设备11的用户操作未示出的操作单元时生成的操作信号而设置的工作模式。相应地，在用户把图像拾取单元21设置为在如下这种状态中的前提下设置此工作模式：图像拾取单元21可以拾取要作为参考背景图像以及要在以下操作中从其中提取对象的图像。

在步骤S12中，图像拾取单元21在固定的图像拾取方向上拾取图像以及把拾取的图像提供给参考背景图像获取单元28作为拾取的图像。

在步骤S13中，参考背景图像获取单元28获取从图像拾取单元21提供的拾取图像作为参考背景图像以及把拾取的图像存储在背景图像存储单元29中。

通过上述处理，作为以下处理中的参考的背景图像被存储在背景图像存储单元29中。

[背景差异图像提取处理]

接下来参照图5的流程图描述背景差异图像提取处理。此处，此处理在通过上述参考背景图像存储处理把参考背景图像存储在背景图像存储单元29中的前提下进行的。

在步骤S21中，为了把图像处理设备11转为背景差异图像提取模式，工作模式切换单元30控制开启该操作所需的图像拾取单元21、背景差异图像生成单元22、输出单元23以及背景图像存储单元29以及关闭其余部件。

在步骤S22中，图像拾取单元21在与拾取参考背景图像的状态相同的状态中在固定的图像拾取方向上拾取图像，以及把拾取的图像提供给背景差异图像生成单元22。

在步骤S23中，背景差异图像生成单元22读出背景图像存储单元29中存储的参考背景图像。

在步骤S24中，背景差异图像生成单元22针对每个像素计算参考背景图像的像素的像素值与拾取图像的相应像素的像素值之间的差异以及把获得的差值与预定阈值相比较。随后，当差值小于预定阈值时，背景差异图像生成单元22把相应像素的像素值设置为零或最高像素值，当差值大于预定阈值时，背景差异图像生成单元22把相应像素的像素值设置为拾取图像的像素的像素值，以生成背景差异图像并把背景差异图像提供给输出单元23。

在步骤S25中，输出单元23在未示出的显示单元上显示背景差异图像或者把背景差异图像存储在未示出的存储介质中。

通过上述处理，在把图1的参考背景图像f2存储在背景图像存储单元29中以及拾取到图1的拾取图像f1的情形中，如背景差异图像f3所示理想地生成通过专门提取作为对象的人来获得的图像。

[参考背景图像更新处理]

接下来参照图6的流程图描述参考背景图像更新处理。

在步骤S41中，为了把图像处理设备11转为参考背景图像更新模式，工作模式切换单元30控制关闭该操作不需要的输出单元23和参考背景图像获取单元28并开启其余部件。

在步骤S42中，图像拾取单元21在与拾取参考背景图像的状态相同的状态中在固定的图像拾取方向上拾取图像，以及把拾取的图像提供给背景差异图像生成单元22、故障判断单元24、对象检测单元25、故障类型识别单元26以及参考背景更新单元27。

在步骤S43中，背景差异图像生成单元22读取出背景图像存储单元29中存储的参考背景图像。

在步骤S44中，背景差异图像生成单元22针对每个像素计算参考背景图像的像素的像素值与拾取图像的相应像素的像素值之间的差异以及把获得的差值与预定阈值相比较。随后，当差值小于预定阈值时，背景差异图像生成单元22把相应像素的像素值设置为零或最高像素值，当差值大于预定阈值时，背景差异图像生成单元22把相应像素的像素值设置为拾取图像的像素的像素值，以生成背景差异图像并把背景差异图像提供给故障判断单元24。

在步骤S45中，对象检测单元25执行对象检测处理以便检测作为对象的人、动物以及交通工具的存在/不存在。当对象检测单元25检测到人、动物以及交通工具的存在时，对象检测单元25把作为检测结果的对象掩模提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。

[对象检测处理]

此处，参照图7的流程图描述对象检测处理。

在步骤S61中，对象检测单元25针对拾取图像执行拉普拉斯滤波器处理或索贝尔滤波器处理以提取边缘图像。

在步骤S62中，人检测单元41控制面部检测单元41a以从边缘图像中基于部分的形状提取可以构成面部图像的部分。更详细地，面部检测单元41a从边缘图像中，基于构成面部的部分(诸如眼睛、鼻子、嘴部以及耳朵等)的形状检测和提取部分的框架。

在步骤S63中，人检测单元41控制面部检测单元41a以便允许面部检测单元41a判断是否提取了构成面部图像的部分。当在步骤S63中提取了部分时，人检测单元41在步骤S64中控制面部检测单元41a以便允许面部检测单元41a基于提取部分的尺寸、排列以及位置来识别面部图像的区域以及进一步识别矩形面部图像。即，在作为图8中示出的图像F1的包括人的拾取图像的情形中，例如，识别图8的图像F2中的面部图像(面部掩模)KM。此处，下面把图8中示出的矩形面部图像称作面部掩模KM。

在步骤S65中，人检测单元41控制身体估算单元41b以便允许身体估算单元41b基于识别出的矩形面部图像的位置来估算人身体的区域。即，在图8的图像F2的情形中，当识别出面部掩模KM时，身体估算单元41b基于面部掩模KM的方向、尺寸以及位置来估算身体区域的位置、尺寸以及形状。

在步骤S66中，基于通过把由身体估算单元41b估算的身体区域和面部掩模KM的区域相加获得的区域，人检测单元41生成包括拾取到作为对象的人的区域的人身体掩模M作为对象掩模。随后，人检测单元41把作为身体掩模M(表示检测到作为对象的人)的对象掩模提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。

此处，当判断出在步骤S63中未提取部分时，认为拾取图像中不存在人区域，从而跳过从步骤S64至S66的处理。

在步骤S67中，动物检测单元42控制动物特征量检测单元42a以便从边缘图像中提取可以构成动物的特征量。即，动物特征量是例如以下部分：诸如构成动物的面部图像的眼睛、鼻子、嘴以及耳朵、四肢、尾巴等，基于这些部分等的形状检测可以构成作为对象的动物的特征量。

在步骤S68中，动物检测单元42控制动物特征量检测单元42a以便判断是否提取了动物特征量。当在步骤S68中提取了动物特征量时，在步骤S69中，动物检测单元42控制动物身体估算单元42b以便允许动物身体估算单元42b基于检测的动物特征量在拾取图像中估算包括动物头部的身体区域的位置、尺寸以及形状。

在步骤S70中，动物检测单元42生成覆盖由动物身体估算单元42b估算的身体区域的范围内的区域以及包括动物头部的动物对象掩模。随后，动物检测单元42把表示检测到作为对象的动物的对象掩模提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。

此处，当判断出在步骤S68中未提取动物特征量时，认为拾取图像中不存在动物区域，从而跳过步骤S69和S70的处理。

在步骤S71中，交通工具检测单元43控制轮检测单元43a以便允许轮检测单元43a从边缘图像中检测作为交通工具特征量的轮图像。

在步骤S72中，交通工具检测单元43控制轮检测单元43a以便判断是否可以检测到轮图像。当在步骤S72中判断出可以检测到轮时，交通工具检测单元43在步骤S73中控制交通工具主体估算单元43b以便允许交通工具主体估算单元43b基于检测到的轮图像的尺寸和位置来估算交通工具机体区域的尺寸和位置。

在步骤S74中，交通工具检测单元43生成覆盖由交通工具主体估算单元43b估算的交通工具主体区域的范围内的区域的交通工具对象掩模。随后，交通工具检测单元43把表示检测到作为对象的交通工具的对象掩模提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。

此处，当在步骤S72中判断出未检测到轮时，认为拾取图像中不存在交通工具区域，从而跳过步骤S73和S74的处理。

即，当通过上述处理检测到作为对象的人、动物以及交通工具中的所有或者人、动物以及交通工具中的任何一个时，与检测到的对象相对应的对象掩模被生成并提供给故障判断单元24、故障类型识别单元26以及参考背景更新单元27。此处，在此示例中，人、动物以及交通工具被检测作为对象，但是可以检测除了这些之外的对象。

描述回到图6的流程图。

当在步骤S45中执行对象检测处理时，故障判断单元24在步骤S46中，基于是否从对象检测单元25提供对象掩模来判断是否检测到对象。当在步骤S45中未检测到对象时，结束参考背景图像更新处理。即，在此情形中，由于未检测到对象掩模以及难以判断参考背景图像的更新在以下处理中是否有必要，所以不更新参考背景图像并结束处理。另一方面，当在步骤S45中检测到对象掩模时，认为检测到对象并且处理前往步骤S47。

在步骤S47中，故障判断单元24计算通过对象检测处理检测到的对象掩模的面积Sb与背景差异图像的、作为差异结果的像素值非零的区域的面积之间的面积比。即，故障判断单元24计算对象掩模的面积Sb与背景差异图像的、作为差异结果的像素值非零的区域(即，实质上从背景差异图像中作为掩模获得的区域)之间的面积比R(＝S/Sb)。

在步骤S48中，故障判断单元24判断面积比R是否大于预定阈值。即，当对象是人以及图8的图像F1是输入图像时，对象掩模M的尺寸覆盖比人H(图8)的区域略大的范围，如图8的图像F2的对象掩模M所示。另一方面，当在理想状态中获得背景差异图像时，掩模图像如图8的图像F3中所示实质上只覆盖人H的区域。相应地，由于图像F3的人H的面积S小于如图8的图像F2中所示通过对象检测处理获得的对象掩模M的面积Sb，所以面积比R的值应当小于大于1的预定阈值。然而，当背景差异图像中出现某类故障时，在正常状况下应当只在人H的区域中获得的区域呈现在应当是背景的图像区域中。例如，如图8的图像F4中所示，被示出为故障区域Z1和Z2的区域呈现出来并且获得包括故障区域Z1和Z2的整个区域作为从背景差异图像获得的掩模区域的面积。作为结果，作为背景差异图像获得的区域的面积Sb变得非常大，结果是，面积比R的值在故障出现时非常小。相应地，当面积比R大于预定阈值时，可以判断背景差异图像生成处理中未出现故障。

当面积比R大于预定阈值时，故障判断单元24在步骤S48中判断未出现故障。随后，处理前往步骤S55，故障判断单元24通知故障类型识别单元26未出现故障。在此情形中，因为由于出现故障而不必更新参考背景图像，所以结束处理。

当面积比R在步骤S48中不大于预定阈值时，故障判断单元24判断故障出现，处理前往步骤S49。在步骤S49中，故障判断单元24通知故障类型识别单元26出现故障。

在步骤S50中，故障类型识别单元26判断出现故障以及执行故障类型识别处理以便识别故障的类型。因此，故障类型识别单元26识别出现的故障的类型。

[故障类型识别处理]

此处，参照图9的流程图描述故障类型识别处理。

在步骤S91中，颜色改变计算单元62计算拾取图像和参考背景图像中除了对象掩模以外的区域中的颜色特征量的改变以便判断故障是否基于颜色参数和照明条件(作为由图像拾取单元21拾取图像的图像拾取环境)的改变的存在/不存在。更详细地，颜色改变计算单元62针对拾取图像和参考背景图像中除了对象掩模以外的区域中的每个像素计算像素以及与该像素相邻的像素的平均值。更详细地，颜色改变计算单元62例如针对拾取图像和参考背景图像中的每个像素计算由像素、位于像素的竖直方向上的像素以及位于像素的水平方向上的像素组成的五个像素的平均值。进一步地，颜色改变计算单元62计算与拾取图像和参考背景图像的每个像素相邻的像素的平均值在整个图像中的平均值作为图像中每个图像中的颜色特征量，并把平均值提供给故障类型决定单元61。

在步骤S92中，故障类型决定单元61计算拾取图像的颜色特征量与参考背景图像的颜色特征量之间的差异绝对值并判断差异绝对值是否大于预定阈值。即，认为当图像拾取单元21拾取的环境中的颜色参数或照明条件改变时，颜色特征量改变。因此，认为拾取图像的颜色特征量与参考背景图像的颜色特征量之间的差异绝对值比预定阈值改变得更大。相应地，当颜色特征量的差异绝对值在步骤S92中大于预定阈值时，故障类型决定单元61在步骤S93中判断故障类型是由背景差异图像生成处理中颜色参数或照明条件的改变引起的故障，即，颜色故障。此处，在以上示例中通过使用每个像素的相邻像素的平均值来获得颜色特征量。然而，可以获得每个像素的颜色相位以及可以通过使用拾取图像和参考背景图像的颜色相位的改变来判断是否出现颜色故障。

另一方面，当拾取图像与参考背景图像的颜色特征量之间的差异绝对值在步骤S92中不大于预定阈值时，处理前往步骤S94。

在步骤S94中，故障类型决定单元61判断故障类型是由图像拾取单元21在背景差异图像生成处理中的图像拾取位置的偏移引起的故障，即，偏移故障。

通过上述处理，故障类型决定单元61获得颜色特征量的改变并且从而识别出故障是由图像拾取单元21拾取的环境的照明条件的改变引起的颜色故障或者由图像拾取单元21的图像拾取方向的偏移引起的偏移故障。

即，在图像拾取方向偏移或者照明条件改变不出现(如图8的图像F1相对于示出为图10的图像F11的参考背景图像所示)的情形中，当拾取包括人H的图像时，获得图10的图像F14中示出的对象掩模M。在此情形中，由于在除了对象掩模M以外的范围中不出现相对于参考背景图像的改变，所以例如图8的图像F4中所示的故障不出现。

另一方面，如图10的图像F12中所示，当在由图像拾取单元21拾取的图像的照明条件改变的状态中拾取包括人H的图像时，由于照明条件的改变而在除了对象掩模M以外的背景差异图像中呈现并非对象的背景部分。因此，当获得背景差异图像时，会出现图8的图像F4中示出的故障。

进一步地，如图10的图像F13中所示图像拾取单元21的图像拾取方向偏移，因此，背景以及作为对象的人偏移至左侧成为人H′(参考图像F13)。在此情形中，除了对象掩模M以外的范围中的图像中包括人H′，进一步地，如图像F16中所示作为背景的山偏移。作为结果，当获得背景差异图像时，图8的图像F4中示出的故障会出现。

在上述比较中在图像F12和F15中改变照明条件，以使得在除了对象掩模M以外的区域中颜色特征量的差异绝对值相对于参考背景图像F11大大改变。另一方面，在如图像F13和F16中所示图像拾取单元21的图像拾取方向仅位移的情形中，颜色特征量之间的差异绝对值不大大改变。可以基于这种特性差异识别故障类型。

此处，描述回到图6的流程图。

当在步骤S50中识别出故障类型时，在步骤S51中参考背景更新单元27执行更新背景图像生成处理，以便生与每个故障类型相对应的以及用于参考背景图像更新的更新背景图像。

[更新背景图像生成处理]

此处，参照图11的流程图描述更新背景图像生成处理。

在步骤S101中，参考背景更新单元27执行颜色转换更新图像生成处理以生成颜色转换更新图像。

[颜色转换更新图像生成处理]

此处，参照图12的流程图描述颜色转换更新图像生成处理。

在步骤S121中，参考背景更新单元27控制特征量转换等式计算单元84以便允许特征量转换等式计算单元84通过使用背景图像存储单元29中存储的参考背景图像以及拾取的图像中除了对象掩模以外的区域中的像素来计算特征量转换等式，并把特征量转换等式提供给颜色转换单元85。

此处，特征量转换等式例如是下面的等式(1)。

r_di＝ar_si+b…(1)

此处，例如r_di表示图13的上部中示出的拾取图像F21中除了对象掩模M的区域以外的区域中像素的像素值，r_si表示图13的下部中示出的参考背景图像F22中除了对象掩模M的区域以外的区域中像素的像素值。进一步地，a和b分别表示特征量转换等式的系数(线性近似系数)，i表示用于标识拾取图像F21和参考背景图像F22的相应像素的标识符。

即，表示成等式(1)的特征量转换等式如图13中所示用于把参考背景图像中除了对象掩模M的区域以外的区域的每个像素的像素值r_si转换成拾取图像的每个像素的像素值r_di。相应地，特征量转换等式计算单元84可以通过计算系数a和b来获得特征量转换等式。

更详细地，为了获得特征量转换等式，获得使通过把等式(1)变形获得的下面式(2)最小化的系数a和b是足够的。

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|r_{\mathrm{di}}-({\mathrm{ar}}_{\mathrm{si}}-b)|\·\·\·\left(2\right)$

此处，N是表示像素数量的变量。即，式(2)表示通过如下方式获得的值：针对所有像素，对通过把参考背景图像中除了对象掩模区域以外的区域的每个像素的像素值r_si代入到特征量转换等式中获得的值与拾取图像中除了对象掩模区域以外的区域的每个像素的像素值r_di之间的差进行积分。

因此，特征量转换等式计算单元84通过使用拾取的图像以及参考背景图像中除了对象掩模以外的区域中彼此相对应的各像素如下面的等式(3)中所示通过最小二乘法计算系数a和b。

$a=\frac{N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{si}}{r}_{\mathrm{di}}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{si}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{di}}}{n\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r_{\mathrm{si}}}^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{di}}\right)}^2}$

$b=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r_{\mathrm{di}}}^2\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{di}}-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{si}}{r}_{\mathrm{di}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{si}}}{n\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r_{\mathrm{si}}}^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_{\mathrm{si}}\right)}^2}\·\·\·\left(3\right)$

即，特征量转换等式计算单元84通过如等式(3)所表示的计算获得以上提到的系数a和b以便计算特征量转换等式。在以上示例中，通过采用线性近似函数获得特征量转换等式。然而，可以使用其它近似函数，只要函数使得参考背景图像的每个像素的像素值能够向拾取图像的除了对象掩模区域以外的每个像素的像素值转换。例如，可以通过采用多项式近似函数获得特征量转换等式。

在步骤S122中，颜色转换单元85通过使用获得的特征量转换等式来转换参考背景图像的所有像素的颜色以便生成颜色转换更新图像并把颜色转换更新图像提供给选择单元83。

通过上述处理，即使在由于照明条件的改变或者颜色参数(诸如白平衡)的改变而导致拾取的图像相对于参考背景图像改变的情况下，也可以在对应于改变的情况下更新参考背景图像并因此可以生成颜色转换更新图像。相应地，可以抑制由背景差异图像生成处理中的上述颜色故障引起的故障。

此处，描述回到图11的流程图。

在通过步骤S101中的颜色转换更新图像生成处理生成颜色转换更新图像之后，参考背景更新单元27在步骤S102中执行运动补偿更新图像生成处理以便生成运动补偿更新图像。

[运动补偿更新图像生成处理]

此处，参照图14的流程图描述运动补偿更新图像生成处理。

在步骤S141中，参考背景更新单元27控制全局运动估算单元81，以便通过在拾取的图像以及参考背景图像中除了对象掩模以外的区域的像素之间进行块匹配来获得全局运动作为运动向量V。随后，全局运动估算单元81把获得的运动向量V提供给运动补偿转换单元82。即，全局运动表明由平移、倾斜以及缩放中的一个在图像拾取单元21拾取要作为参考背景图像的图像之后出现的改变引起或者平移、倾斜以及缩放的组合的改变引起、在此示例中作为运动向量V获得的位移的大小。

通过用拾取的图像和参考背景图像中除了对象掩模区域以外的区域的像素值对拾取的图像和参考背景图像进行仿射变换中使用的参数来获得作为运动向量V获得的全局运动。更具体地，通过用于仿射变换以及示出为以下等式(4)的变换等式获得运动向量V。

$\left(\begin{array}{c}{x^{\text{'}}}_i\\ {y^{\text{'}}}_i\\ 0\end{array}\right)=V\left(\begin{array}{c}{x}_i\\ y_i\\ 0\end{array}\right)\·\·\·\left(4\right)$

此处，x′_i和y′_i是表示拾取的图像中除了对象掩模以外的区域中像素位置(x′_i，y′_i)的参数，i是用于标识每个像素的标识符。进一步地，x_i和y_i是表示参考背景图像中除了对象掩模以外的区域中像素位置(x_i，y_i)的参数。此处，拾取的图像上的像素(x′_i，y′_i)以及参考背景图像上的像素(x_i，y_i)具有相同标识符i，像素(x′_i，y′_i)和像素(x_i，y_i)是通过块匹配检测的像素。通过作为下面的等式(5)示出的行列式表示向量V。

$V=\left(\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ 0& 0& 1\end{array}\right)\·\·\·\left(5\right)$

此处，a₁至a₆分别是系数。

即，全局运动估算单元81基于通过如下这种方式检测的像素之间的关系用等式(4)通过最小二乘法计算系数a₁至a₆：通过使用拾取的图像以及参考背景图像中除了对象掩模以外的区域的像素执行的块匹配。通过这种处理，全局运动估算单元81获得表示由图像拾取单元21的图像拾取方向的偏移引起的偏移的运动向量V。换言之，通过针对起点设置在拾取的图像上各像素上以及终点设置在参考背景图像上通过块匹配识别出与拾取图像的像素相同的像素上的多个向量执行统计处理，获得作为示出偏移的全局运动的运动向量。

在步骤S142中，运动补偿转换单元82把表示拾取图像竖直方向的计数器y初始化为0。

在下文中，把运动补偿更新图像上的每个像素表示成g(x，y)，把参考背景图像上的每个像素表示成f(x，y)，把拾取的图像上的每个像素表示成h(x，y)。进一步地，把参考背景图像的像素f(x，y)上的运动向量V定义成运动向量V(vx，vy)。此处，通过上述等式(4)分别获得vx和vy。

在步骤S143中，运动补偿转换单元82把表示参考背景图像上水平方向的计数器x初始化为0。

在步骤S144中，运动补偿转换单元82判断根据与参考背景图像的像素f(x，y)对应的运动向量转换后的像素位置(x-vx，y-vy)是否是存在于参考背景图像内的坐标。

当在步骤S144中经转换的像素位置存在于参考背景图像内时，例如，运动补偿转换单元82在步骤S145中用参考背景图像的像素f(x-vx，y-vy)替代运动补偿更新图像的像素g(x，y)。

另一方面，当在步骤S144中经转换的像素位置不存在于参考背景图像中时，例如，运动补偿转换单元82在步骤S146中用拾取图像的像素h(x，y)替代转换之后运动补偿更新图像的像素g(x，y)。

运动补偿转换单元82在步骤S147中使计数器x递增1，处理前往步骤S148。

在步骤S148中，运动补偿转换单元82判断计数器x的值是否大于参考背景图像的水平方向上的像素数量。在计数器x的值不大于水平方向上的像素数量时，处理返回步骤S144。即，重复从步骤S144至S148的处理直到在步骤S148中计数器x的值大于参考背景图像的水平方向上的像素数量为止。

随后，当在步骤S148中计数器x的值大于参考背景图像的水平方向上的像素数量时，运动补偿转换单元82在步骤S149中使计数器y递增1。在步骤S150中，运动补偿转换单元82判断计数器y是否大于参考背景图像的竖直方向上的像素数量。当计数器y不大于像素数量时，例如，处理返回步骤S143。即，重复从步骤S143至S150的处理直到计数器y变得大于参考背景图像的竖直方向上的像素数量为止。

随后，当在步骤S150中判断出计数器y大于参考背景图像的竖直方向上的像素数量时，运动补偿转换单元82在步骤S151中把由像素g(x，y)组成的运动补偿更新图像输出到选择单元83。随后，结束处理。

即，对于参考背景图像的每个像素，在步骤S144中经转换的像素位置存在于参考背景图像内的情形例如是像素位置在图15的图像F52中在水平方向上的位置Q(参考背景图像右端的位置)左侧的范围内的情形。在此情形中，经转换的像素存在于原始参考背景图像中。因此，与偏移相对应的运动补偿更新图像的像素g(x，y)的每个像素被向与运动向量V相对应的位置移动的各个像素f(x-vx，y-vy)替代以及转换为如图15的图像F53中所示。

另一方面，对于参考背景图像的每个像素，在步骤S144中经转换的像素位置不存在于参考背景图像内的情形例如是像素位置在图15的图像F52中在水平方向上的位置Q(参考背景图像右端的位置)右侧的范围内的情形。在此情形中，经转换的像素不存在于原始参考背景图像中。因此，与位移相对应的运动补偿更新图像的像素g(x，y)的每个像素被拾取图像的位于相应位置上的像素h(x，y)替代以及转换为如图15的图像F54中所示。

对所有像素执行这些处理，因此，生成与图像拾取单元21在图像拾取方向上的偏移相对应以及图15的图像F55中示出的运动补偿更新图像。即，如图像F52中所示，获得运动补偿更新图像F55以使得由图像拾取方向的偏移引起的参考背景图像F51中的山脊线(图像F52中的虚线B2)对应于向左整体偏移的拾取图像成为由实线示出的脊线B1。

此处，描述返回图6的流程图。

在步骤S52中，参考背景更新单元27控制选择单元83以便允许选择单元83判断故障类型是否是颜色故障。当故障类型在步骤S52中是颜色故障时，例如，选择单元83在步骤S53中用从颜色转换单元85提供的颜色转换更新图像替代背景图像存储单元29中存储的参考背景图像并因此更新参考背景图像。

另一方面，当故障类型并非颜色故障时，即，当故障类型在步骤S52中是偏移故障时，选择单元83在步骤S54中用从运动补偿转换单元82提供的运动补偿转换更新图像替代背景图像存储单元29中存储的参考背景图像并因此更新参考背景图像。

在生成根据在拾取图像与参考背景图像之间的差异生成的背景差异图像的处理中，可以针对由拾取图像的颜色参数或照明条件的改变引起的颜色故障生成颜色转换更新图像，从而，可以通过上述处理更新参考背景图像。进一步地，可以针对由拾取图像的图像拾取方向的偏移引起的偏移故障生成运动补偿更新图像，从而，可以更新参考背景图像。此外，可以识别诸如颜色故障和偏移故障等的故障类型。作为结果，可以以与故障的类型相对应的方式更新参考背景图像，以使得可以通过生成背景差异图像来在高准确性的情况下专门提取构成前景的对象。

顺带提及，可以通过硬件或者软件执行上述一系列处理。在通过软件执行该系列处理的情形中，把构成软件的程序从存储介质安装到例如结合在专用硬件中的计算机中或者通用个人计算机中，这些计算机能够在安装各种程序时执行各种功能。

图16示例了通用个人计算机的配置示例。此个人计算机包括中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接到CPU 1001。只读存储器(ROM)1002和随机访问存储器(RAM)1003连接到总线1004。

输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接到输入/输出接口1005。输入单元1006由输入设备(诸如用户输入操作命令的鼠标和键盘)构成。输出单元1007把处理操作屏幕以及处理结果的图像输出到显示设备。存储单元1008由存储程序以及各种数据等的硬盘驱动器构成。通信单元1009由局域网(LAN)适配器等构成，以及通过以互联网为代表的网络执行通信处理。进一步地，驱动器1010连接到输入/输出接口1005。驱动器1010从和向可移除介质1011读取和写入数据，可移除介质1011是磁盘(包括软盘)、光盘(包括压缩光盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、或者半导体存储器。

CPU 1001根据ROM 1002中存储的程序或者从安装在存储单元1008中的可移除介质(磁盘、光盘、磁光盘或者半导体存储器)1011读取并从存储单元1008加载到RAM 1003上的程序来执行各种处理。RAM 1003任意存储在CPU 1001执行各种处理时所需的数据。

应该注意，用于描述要存储在存储介质中的程序的步骤包括以与本说明书的描述次序相对应的时序方式执行的处理，以及还包括并非必定以时序方式执行的处理，即，以并行方式或个别方式执行的处理。

进一步地，在本说明书中，系统表明由多个设备构成的整个设备。

本申请的主题与2010年3月30日提交日本专利局的日本优先权专利申请JP 2010-079184中公开的主题相关，其全部内容经引用而合并于此。

本领域技术人员应该理解，根据设计需要和其它因素，可以做出各种修改、组合、子组合和变换，只要它们在所附权利要求或其等同物的范围内。

Claims (11)

1.一种图像处理设备，包括：

参考背景存储装置，用于存储参考背景图像；

估算装置，用于从输入图像中检测对象并估算检测到的对象的概略形状和概略位置；

背景差异图像生成装置，用于生成基于所述输入图像与所述参考背景图像之间的差值获得的背景差异图像；

故障判断装置，用于基于由所述背景差异图像生成装置生成的所述背景差异图像与由估算装置估算出的所述对象之间的比较来判断在所述背景差异图像中是否出现故障；

故障类型识别装置，用于识别所述故障的类型；以及

背景图像更新装置，用于以与所述故障的类型相对应的方式更新所述参考背景图像。

2.如权利要求1所述的图像处理设备，其中，所述故障判断装置把所述对象与所述背景差异图像进行比较，以便基于所述背景差异图像的区域与所述对象的区域的比率是否大于预定比率来判断是否出现故障。

3.如权利要求1所述的图像处理设备，进一步包括：

改变量计算装置，用于计算所述参考背景图像和所述输入图像中的除了由所述估算装置估算出的所述对象的区域以外的区域的彼此对应的像素之间的改变量；其中

在所述改变量大于所述预定值的情形中，所述故障类型识别装置把故障类型识别为基于颜色改变的颜色故障，在所述改变量并未大于所述预定值的情形中，所述故障类型识别装置把故障类型识别为基于所述输入图像的图像拾取方向的偏移的偏移故障。

4.如权利要求3所述的图像处理设备，进一步包括：

运动向量计算装置，用于比较所述输入图像和所述参考背景图像以便获得所述输入图像的图像拾取方向的偏移作为运动向量；

运动补偿装置，用于基于所述运动向量针对所述参考背景图像执行运动补偿以便生成运动补偿背景图像；

计算装置，用于计算所述输入图像中除了由所述估算装置估算出的对象的区域以外的区域与所述参考背景图像中的彼此对应的像素之间像素值的关系式；以及

转换装置，用于基于所述关系式对所述参考背景图像的像素值进行转换以便生成像素值转换背景图像；其中

当由所述故障类型识别装置识别出的故障类型是所述偏移故障时，所述背景图像更新装置用所述运动补偿背景图像替代所述参考背景图像以便更新所述参考背景图像，以及

当由所述故障类型识别装置识别出的故障类型是所述颜色故障时，所述背景图像更新装置用所述像素值转换背景图像替代所述参考背景图像以便更新所述参考背景图像。

5.如权利要求4所述的图像处理设备，其中，当所述故障判断装置判断未出现故障时，所述背景图像更新装置保持所述参考背景图像不变。

6.如权利要求4所述的图像处理设备，其中，所述运动向量计算装置对所述参考背景图像中除了所述对象的区域以外的区域与所述输入图像中除了所述对象的区域以外的区域进行比较，以便获得使所述图像的对应像素之间差异绝对值的和最小的运动向量。

7.如权利要求1所述的图像处理设备，其中，所述对象检测装置包括：人检测装置，用于检测作为对象的人；动物检测装置，用于检测作为对象的动物；以及交通工具检测装置，用于检测作为对象的交通工具。

8.如权利要求7所述的图像处理设备，其中，所述人检测装置包括：面部检测装置，用于从所述输入图像中检测人的面部图像；以及身体掩模估算装置，用于根据人的身体的存在位置和尺寸来估算身体掩模，人的身体是基于由所述面部检测装置检测到的面部图像估算出的。

9.一种图像处理设备的图像处理方法，所述图像处理设备包括：

参考背景存储装置，用于存储参考背景图像；

估算装置，用于从输入图像中检测对象并估算所检测到的对象的概略形状和概略位置；

背景差异图像生成装置，用于生成基于所述输入图像与所述参考背景图像之间的差值获得的背景差异图像；

故障判断装置，用于基于由背景差异图像生成装置生成的所述背景差异图像与由所述估算装置估算出的对象之间的比较来判断在所述背景差异图像中是否出现故障；

故障类型识别装置，用于识别所述故障的类型；以及

背景图像更新装置，用于以与所述故障的类型相对应的方式更新所述参考背景图像，所述图像处理方法包括以下步骤：

在所述参考背景存储装置中，存储所述参考背景图像；

在所述估算装置中，从所述输入图像中检测所述对象并估算所检测到的对象的概略形状和概略位置；

在所述背景差异图像生成装置中，基于所述输入图像与所述参考背景图像之间的差值来生成所述背景差异图像；

在所述故障判断装置中，基于通过所述生成背景差异图像步骤的处理生成的所述背景差异图像与通过所述估算步骤的处理估算出的所述对象之间的比较来判断在所述背景差异图像中是否出现故障；

在所述故障类型识别装置中，识别所述故障的类型；以及

在所述背景图像更新装置中，以与所述故障的类型相对应的方式更新所述参考背景图像。

10.一种允许控制图像处理设备的计算机执行处理的程序，所述图像处理设备包括：

参考背景存储装置，用于存储参考背景图像；

估算装置，用于从输入图像中检测对象并估算所检测到的对象的概略形状和概略位置；

背景差异图像生成装置，用于生成基于所述输入图像与所述参考背景图像之间的差值获得的背景差异图像；

故障判断装置，用于基于由所述背景差异图像生成装置生成的所述背景差异图像与由所述估算装置估算出的对象之间的比较来判断在所述背景差异图像中是否出现故障；

故障类型识别装置，用于识别所述故障的类型；以及

背景图像更新装置，用于以与所述故障的类型相对应的方式更新所述参考背景图像，所述处理包括如下步骤：

在所述参考背景存储装置中，存储所述参考背景图像；

在所述估算装置中，从所述输入图像中检测对象并估算所检测到的对象的概略形状和概略位置；

在所述背景差异图像生成装置中，基于所述输入图像与所述参考背景图像之间的差值生成所述背景差异图像；

在所述故障判断装置中，基于通过所述生成背景差异图像步骤的处理生成的所述背景差异图像与通过所述估算步骤的处理估算出的所述对象之间的比较来判断在所述背景差异图像中是否出现故障；

在所述故障类型识别装置中，识别所述故障的类型；以及

在所述背景图像更新装置中，以与所述故障的类型相对应的方式更新所述参考背景图像。

11.一种图像处理设备，包括：

参考背景存储单元，被配置成存储参考背景图像；

估算单元，被配置成从输入图像中检测对象并估算所检测到的对象的概略形状和概略位置；

背景差异图像生成单元，被配置成生成基于所述输入图像与所述参考背景图像之间的差值获得的背景差异图像；

故障判断单元，被配置成基于由所述背景差异图像生成单元生成的所述背景差异图像与由所述估算单元估算出的对象之间的比较来判断在所述背景差异图像中是否出现故障；

故障类型识别单元，被配置成识别所述故障的类型；以及

背景图像更新单元，被配置成以与所述故障的类型相对应的方式更新所述参考背景图像。

Images