CN102208016A - 图像处理设备和方法、以及程序 - Google Patents

图像处理设备和方法、以及程序 Download PDF

Info

Publication number
CN102208016A
CN102208016A CN2011100762976A CN201110076297A CN102208016A CN 102208016 A CN102208016 A CN 102208016A CN 2011100762976 A CN2011100762976 A CN 2011100762976A CN 201110076297 A CN201110076297 A CN 201110076297A CN 102208016 A CN102208016 A CN 102208016A
Authority
CN
China
Prior art keywords
image
background image
background
reference background
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100762976A
Other languages
English (en)
Inventor
小柳津秀纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102208016A publication Critical patent/CN102208016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像处理设备和方法、以及程序。一种图像处理设备，包括：参考背景存储单元，用于存储参考背景图像；估计单元，用于从输入图像检测对象，并且估计所检测对象的大致位置和形状；背景差分图像生成单元，用于生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；计算单元，用于计算与除了由估计装置估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；转换单元，用于基于关系等式转换参考背景图像的像素值，并且生成像素值转换背景图像；以及背景图像更新单元，用于通过像素值转换背景图像执行替换并且更新参考背景图像。

Description

图像处理设备和方法、以及程序
技术领域
本发明涉及图像处理设备和方法、以及程序，更具体地，涉及用于从输入图像准确地提取包括前景图像的对象的图像处理设备和方法、以及程序。
背景技术
从由相机等拍摄的输入图像提取作为前景图像的对象的运动对象区域的技术已被广泛使用。
在这些技术中，在预先没有运动的情况下拍摄参考背景图像并且针对每个像素获得参考背景图像和由相机拍摄的图像之间的差分、以仅提取运动对象区域的背景差分图像生成处理，被广泛用作简单和快速地提取运动对象区域的方法。
例如，提出了这样的技术：仅提取当从相机的成像位置观看时位于前面的人并且将由计算机图形(CG)等生成的图像合成到背景区域，使得仅该人被显示在电视电话的显示单元上，而不拍摄当该人被显示在电视电话上时作为该人的背景的主要环境(参见日本未审查专利申请公开No.63-187889)。
具体地，如图1所示，差分计算单元1使用预先拍摄的参考背景图像f1和之后拍摄的图像f2针对每个像素计算像素值的差分。差分计算单元1关于小于预定阈值的差分，将像素值设置为零，即，删除背景，从而创建仅保留运动对象区域的背景差分图像f3。
然而，如由图2的输入图像f5所示的，如果亮度增加/减小并且发生诸如照明色温的照明状况改变或者诸如光圈、增益或白平衡的相机参数的改变，则除运动对象区域之外的区域也改变。为此，如图2所示地，参考背景图像f1和输入图像f5的像素之间的像素值的差分不变为小于阈值，并且不能仅提取运动对象区域。从而，获得还保留背景图像的图像f6。
为了解决该问题，获得目标像素和外围像素之间的亮度增加/减小关系并且将该关系的差分设置为估计值以提取运动对象区域的技术被提出作为背景差分图像生成处理技术(其相对于照明状况等的改变是健壮的)(参见Sato、Kaneko、Igarashi等人，Robust object detection and separation based on a peripheral increase sign correlation image，电子、信息和通信工程师学会杂志，Vol.J80-D-II，No.12，pp.2585-2594，2001年12月)。通过该技术，由于即使通过改变照明仍很难改变邻近像素之间的亮度的关系，所以可以提取健壮的背景差分图像。
作为处理光亮度状况等逐渐改变的情况的技术，提出了使用高斯混合模型(GMM)的背景差分图像生成处理。披露了一种技术，其中，执行生成所拍摄的输入图像和参考背景图像之间的背景差分图像的处理，比较多个帧之间的相应像素值，如果改变快，则不更新参考背景图像的像素值，并且如果变化慢，则参考背景图像的像素值被改变使得变为接近用预定比率拍摄的输入图像的像素值，使得即使当照明状况缓慢改变时，仍实现健壮的背景差分图像生成处理(参见美国未审查专利申请公开No.6044166)。
另外，提出了这样的技术，该技术预先获得具有不同照明状况等的多个背景图像组，划分其中预测主体存在的预测区域和其他非预测区域，并且从背景图像组中选择接近非预测区域的图像的特征的背景图像，以处理照明状况的改变(参见日本未审查专利申请公开No.2009-265827)。
作为自动确定快速照明变化发生的情况的方法，提出了这样的技术，该技术在背景差分图像的前景的大小变为等于或大于预定大小的情况下，确定恶化发生(参见Toyama等人，“Wallflower：Principles and practice of background maintenance”，ICCV1999，Corfu，Greece)。这基于当快速照明变化发生时，背景差分恶化并且作为背景差分图像的前景图像被放大的假设。
发明内容
然而，在Sato、Kaneko、Igarashi等人描述的技术，Robust object detection and separation based on a peripheral increase sign correlation image，Journal of Institute of Electronics，Information and Communication Engineers(电子、信息和通信工程师学会杂志)，Vol.J80-D-II，No.12，pp.2585-2594，12月20日中，关于具有很少纹理的对象，由于照明改变或像素噪声而导致邻近像素之间的关系崩溃，从而很容易发生错误。
在Toyama等人描述的技术，“Wallflower：Principles and practice of background maintenance”，ICCV1999，科孚岛，希腊中，当前景的大小大于预定大小时，例如，达到屏幕的70％，例如，当人占据屏幕的大部分时，即使恶化没有发生，也错误地确定恶化发生。
在美国未审查专利申请公开No.6044166描述的技术中，可以处理缓慢变化。然而，如果快速变化发生，则认为运动对象在该区域中存在。从而，关于快速照明变化该技术无效。
另外，在日本未审查专利申请公开No.2009-265827描述的技术中，从关于可能不存在前景对象的部分的信息中估计可以变为前景的背景，使得甚至处理照明状况的快速变化。然而，必须预先获取具有不同照明状况的多个背景图像。
即使当输入图像根据成像状态改变时，仍希望以高准确度仅提取变为前景图像的对象。
根据本发明的实施例，提供了一种图像处理设备，包括：参考背景存储装置，用于存储参考背景图像；估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；背景差分图像生成装置，用于生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；计算装置，用于计算与除了由估计装置估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；转换装置，用于基于关系等式转换参考背景图像的像素值，并且生成像素值转换背景图像；以及背景图像更新装置，用于通过像素值转换背景图像执行替换并且更新参考背景图像。
计算装置可以使用与除了由估计装置估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值，通过最小二乘法计算关系等式。
对象检测装置可以包括：人检测装置，用于检测人作为对象；动物检测装置，用于检测动物作为对象；以及车辆检测装置，用于检测车辆作为对象。
人检测装置可以包括：面部检测装置，用于从输入图像检测人的面部图像；以及身体遮罩估计装置，用于基于由面部检测装置检测的面部图像，从被估计人的身体出现的位置及身体大小估计身体遮罩。
根据本发明的另一实施例，提供了一种图像处理设备的图像处理方法，图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；背景差分图像生成装置，用于生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；计算装置，用于计算与除了由估计装置估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；转换装置，用于基于关系等式转换参考背景图像的像素值，并且生成像素值转换背景图像；以及背景图像更新装置，用于通过像素值转换背景图像执行替换并且更新参考背景图像，图像处理方法包括以下步骤：在参考背景存储装置中，存储参考背景图像；在估计装置中，从输入图像检测对象，并且估计所检测对象的大致位置和形状；在背景差分图像生成装置中，生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；在计算装置中，计算与除了由估计步骤估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；在转换装置中，基于关系等式转换参考背景图像的像素值并且生成像素值转换背景图像；以及在背景图像更新装置中，通过像素值转换背景图像执行替换并且更新参考背景图像。
根据本发明的又一实施例，存在一种程序，使用于控制图像处理设备的计算机执行下面的处理。其中，图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；背景差分图像生成装置，用于生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；计算装置，用于计算与除了由估计装置估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；转换装置，用于基于关系等式转换参考背景图像的像素值，并且生成像素值转换背景图像；以及背景图像更新装置，用于通过像素值转换背景图像执行替换并且更新参考背景图像。上述处理包括以下步骤：在参考背景存储单元中存储参考背景图像；在估计装置中，从输入图像检测对象并且估计所检测对象的大致位置和形状；在背景差分图像生成装置中，生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；在计算装置中，计算与除了由估计步骤估计的对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；在转换装置中，基于关系等式转换参考背景图像的像素值并且生成像素值转换背景图像；以及在背景图像更新装置中，通过像素值转换背景图像执行替换并且更新参考背景图像。
根据本发明的实施例，存储参考背景图像；从输入图像检测对象以估计所检测对象的大致位置和形状；生成背景差分图像，背景差分图像包括输入图像和参考背景图像之间的差分值；计算与除了所估计对象的区域之外的背景差分图像和参考背景图像对应的像素之间的像素值的关系等式；基于关系等式转换参考背景图像的像素值，以生成像素值转换背景图像；并且通过像素值转换背景图像执行替换以更新参考背景图像。
本发明的实施例的图像处理设备可以是独立设备或者图像处理块。
根据本发明的实施例，即使当输入图像根据成像状态改变时，仍可以以高准确度仅提取变为前景图像的对象。
附图说明
图1是示出在相关领域中通过背景差分图像提取对象的处理的示意图；
图2是示出在相关领域中通过背景差分图像提取对象的处理的示意图；
图3是示出根据本发明的实施例的图像处理设备的配置示例的框图；
图4是示出参考背景图像存储处理的流程图；
图5是示出背景差分图像提取处理的流程图；
图6是示出参考背景图像更新处理的流程图；
图7是示出对象检测处理的流程图；
图8是示出恶化类型的示意图；
图9是示出恶化类型指定处理的流程图；
图10是示出恶化类型指定处理的示意图；
图11是示出更新背景图像生成处理的流程图；
图12是示出色彩转换更新图像生成处理的流程图；
图13是示出色彩转换更新图像生成处理的示意图；
图14是示出运动补偿更新图像生成处理的流程图；
图15是示出运动补偿更新图像生成处理的示意图；以及
图16是示出通用个人计算机的配置示例的示意图。
具体实施方式
图像处理设备的配置示例
图3是示出根据本发明的实施例的图像处理设备的硬件的配置示例的框图。图3的图像处理设备11指定前景的对象的位置和形状，并且从所拍摄的输入图像仅提取对象的区域。
图像处理设备11包括成像单元21、背景差分图像生成单元22、输出单元23、恶化确定单元24、对象检测单元25、恶化类型指定单元26、参考背景更新单元27、参考背景图像获取单元28、背景图像存储单元29、以及操作模式切换单元30。
成像单元21在成像方向、聚焦位置等基本固定的状态下形成图像并且将所拍摄图像提供给背景差分图像生成单元22、恶化确定单元24、对象检测单元25、参考背景更新单元27和参考背景图像获取单元28。
背景差分图像生成单元22获得来自成像单元21的所拍摄图像和存储在背景图像存储单元29中的背景图像的像素之间的像素值的差分的绝对值。背景差分图像生成单元22生成背景差分图像，其中，将所拍摄图像的像素值设置为具有大于预定值和零的差分的绝对值的高像素或者将最大像素值设置为其他像素，并且将背景差分图像提供给输出单元23和恶化确定单元24。即，通过该处理，如果没有对象的背景图像被存储在背景图像存储单元29中，理想地，如果对象出现在所拍摄图像中，则仅获得对象的区域的像素值被提取的图像作为背景差分图像。
输出单元23输出从背景差分图像生成单元22提供的背景差分图像，并且例如在记录介质(未示出)上记录背景差分图像或者在显示单元(未示出)等上显示背景差分图像。
对象检测单元25检测出现在所拍摄图像中的对象并且将对象提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27作为对象的图像(关于包括构成该对象的像素的区域的信息)。具体地，对象检测单元25包括人检测单元41、动物检测单元42和车辆检测单元43，所有它们分别检测作为对象的人、动物和车辆的图像。对象检测单元25从所拍摄图像检测作为对象的人、动物和车辆的图像，并且将被检测对象的区域的图像提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27作为对象遮罩(mask)。
人检测单元41包括面部检测单元41a和身体估计单元41b。面部检测单元41a从所拍摄图像检测人的面部图像。身体估计单元41b从由面部检测单元41a检测的面部图像的位置和大小估计身体出现的区域。人检测单元41生成包括面部图像的区域和所估计的身体的区域的身体遮罩作为检测结果。动物检测单元42包括动物特征量检测单元42a和动物身体估计单元42b。动物特征量检测单元42a提取动物的面部图像、四条腿等的图像、及其位置和大小作为特征量。动物身体估计单元42b基于包括动物的面部图像和四条腿的图像的位置的特征量，估计作为对象的动物身体出现的区域及其大小。动物检测单元42生成包括动物的面部图像的区域和所估计的身体的区域的动物身体遮罩作为检测结果。车辆检测单元43包括车轮检测单元43a和车辆本体估计单元43b。车轮检测单元43a从图像检测关于出现车辆的车轮的区域的位置和大小的信息。车辆本体估计单元43b基于所检测到的关于车轮的区域的位置和大小的信息，估计车辆本体的区域的位置和大小。车辆检测单元43生成包括所估计车辆本体的区域和车轮的区域的车辆本体遮罩作为检测结果。
虽然图3的对象检测单元25检测人、动物和车辆的图像作为被检测对象的示例，但是可以检测其他对象。
恶化确定单元24基于背景差分图像和对象遮罩的大小来确定背景差分图像的大小是否远远大于对象遮罩的大小，并且确定背景差分图像生成单元22的背景差分图像生成处理是否恶化。恶化确定单元24将确定结果提供给恶化类型指定单元26。
恶化类型指定单元26基于恶化确定单元24的恶化确定结果、存储在背景图像存储单元29中的参考背景图像、来自对象检测单元25的对象遮罩以及所拍摄图像，指定恶化的类型，包括恶化未发生的结果。恶化类型指定单元26将关于恶化的指定类型的信息提供给参考背景更新单元27。
具体地，恶化类型指定单元26包括恶化类型确定单元61和色彩改变计算单元62。色彩改变计算单元62计算除了对象遮罩或者色彩改变的区域之外的所拍摄图像和参考背景图像的像素值的平均值，并且将所计算的结果提供给恶化类型确定单元61作为色彩特征量的差分值。当恶化确定单元24的确定结果是恶化并且色彩特征量的差分大于阈值时，恶化类型确定单元61将恶化类型确定为由于所拍摄图像内的显著照明变化或白平衡变化而导致的色彩恶化。当恶化确定单元24的确定结果是恶化并且色彩特征量的差分值不大于阈值时，恶化类型确定单元61将恶化类型确定为由于用于拍摄所拍摄图像的成像单元21的成像范围的偏离而导致的偏离恶化。另外，当恶化确定单元24的确定结果是非恶化时，恶化类型确定单元61将指示恶化未发生的信息确定为用于指定恶化类型的信息。即，恶化类型指定单元26基于恶化确定结果、对象遮罩、参考背景图像和所拍摄图像，来指定三种类型中的任一个类型，这三种类型包括：背景差分图像生成处理不恶化的类型、由于色彩恶化而导致恶化发生的类型、或者由于偏离恶化而导致恶化发生的类型。
参考背景更新单元27基于关于来自恶化类型指定单元26的恶化类型的信息，根据关于对象遮罩的信息、存储在背景图像存储单元29中的参考背景图像、以及所拍摄图像更新参考背景图像，并且将参考背景图像存储在背景图像存储单元29中。具体地，参考背景更新单元27包括全局运动估计单元81、运动补偿转换单元82、选择单元83、特征量转换等式计算单元84和色彩转换单元85。
全局运动估计单元81根据关于除了对象遮罩的区域之外的所拍摄图像和参考背景图像的信息，将表示成像单元21的成像方向的偏离的方向和大小的全局运动估计为运动向量，并且将全局运动提供给运动补偿转换单元82。运动补偿转换单元82基于运动向量从所拍摄图像和当前存储在背景图像存储单元29中的参考背景图像生成作为参考背景图像的更新图像的运动补偿图像，并且将运动补偿图像提供给选择单元83。特征量转换等式计算单元84通过最小二乘法(least square method)获得表示除了对象遮罩之外的当前存储在背景图像存储单元29中的参考背景图像和所拍摄图像的相应像素之间的色彩改变的转换等式，并且将所获得的转换等式提供给色彩转换单元85。色彩转换单元85使用由特征量转换等式计算单元84获得的转换等式，转换存储在背景图像存储单元29中的参考背景图像的像素的像素值，生成作为参考背景图像的更新图像的色彩转换图像，并且将色彩转换图像提供给选择单元83。选择单元83基于从恶化类型指定单元26提供的恶化类型，选择从运动补偿转换单元82提供的运动补偿图像、从色彩转换单元85提供的色彩转换图像以及所拍摄图像中的任一个。选择单元83用所选择的图像代替存储在背景图像存储单元29中的参考背景图像，以更新参考背景图像。
当最初记录参考背景图像时，参考背景图像获取单元28将从成像单元21提供的图像认为是参考背景图像，并且将该图像存储在背景图像存储单元29中。
操作模式切换单元30控制图像处理设备11的操作模式，并且切换三种操作模式，三种操作模式包括：参考背景图像存储模式、背景差分图像提取模式和背景图像更新模式。在图3中，示出表示操作模式切换单元30控制成像单元21、输出单元23和参考背景图像获取单元28的开启或关闭的箭头。然而，实际上，操作模式切换单元30根据操作模式而控制从成像单元21到背景图像存储单元29中的每个单元的开启或关闭。从而，虽然实际上可以绘制关于所有配置的箭头，但是配置变得复杂，从而在图中省略箭头。
参考背景图像记录处理
接下来，参考图4的流程图描述参考背景图像记录处理。
在步骤S11中，为了执行参考背景图像记录模式，操作模式切换单元30控制该操作所需的成像单元21、参考背景图像获取单元28和背景图像存储单元29开启，并且控制其他构成关闭。基于当图像处理设备11的用户操作操作单元(未示出)时生成的操作信号，设置参考背景图像记录模式。从而，在该操作中，将作为参考背景图像的图像基于假设在图像(期望通过随后操作提取该图像的对象)可以被拍摄的状态下由用户设置成像单元21。
在步骤S12中，成像单元21拍摄固定成像方向，并且将所拍摄图像提供给参考背景图像获取单元28作为所拍摄图像。
在步骤S13中，参考背景图像获取单元28将从成像单元21提供的所拍摄图像获取为参考背景图像，并且将所拍摄图像存储在背景图像存储单元29中。
通过以上处理，变为随后处理的参考的背景图像被存储在背景图像存储单元29中。
背景差分图像提取处理
接下来，将参考图5的流程图描述背景差分图像提取处理。该处理基于假设参考背景图像通过上述参考背景图像记录处理被存储在背景图像存储单元29中。
在步骤S21中，为了执行背景差分图像提取模式，操作模式切换单元30控制该操作所需的成像单元21、背景差分图像生成单元22、输出单元23和背景图像存储单元29开启，并且控制其他构成被关闭。
在步骤S22中，成像单元21在与拍摄参考背景图像的状态相同的状态下拍摄固定成像方向，并且将所拍摄图像提供给背景差分图像生成单元22。
在步骤S23中，背景差分图像生成单元22读取存储在背景图像存储单元29中的参考背景图像。
在步骤S24中，背景差分图像生成单元22针对每个像素获取参考背景图像和所拍摄图像之间的像素值的差分，并且将所获得的差分值与阈值进行比较。如果差分值小于阈值，则背景差分图像生成单元22将像素的像素值设置为零或者最大像素值，并且如果差分值大于阈值，则将像素的像素值设置为所拍摄图像的像素的像素值，并且生成背景差分图像并将背景差分图像提供给输出单元23。
在步骤S25中，输出单元23在显示单元(未示出)上显示背景差分图像，或者将背景差分图像存储在记录介质(未示出)上。
通过以上处理，理想地，图1的参考背景图像f1被存储在背景图像存储单元29中，并且如果图1的所拍摄图像f2被拍摄，则生成由背景差分图像f3像所示那样的仅提取人作为对象的图像。
参考背景图像更新处理
接下来，将参考图6的流程图描述参考背景图像更新处理。
在步骤S41中，为了执行参考背景图像更新模式，操作模式切换单元30控制该操作不需要的输出单元23和参考背景图像获取单元28关闭，并且控制器其他构成开启。
在步骤S42中，成像单元21在与拍摄参考背景图像的状态相同的状态下拍摄固定成像方向，并且将所拍摄图像提供给背景差分图像生成单元22，、恶化确定单元24、对象检测单元25、恶化类型指定单元26、以及参考背景更新单元27。
在步骤S43中，背景差分图像生成单元22读取存储在背景图像存储单元29中的参考背景图像。
在步骤S44中，背景差分图像生成单元22针对每个像素获取参考背景图像和所拍摄图像之间的像素值的差分，并且将所获得的差分值与阈值进行比较。如果差分值小于阈值，则背景差分图像生成单元22将像素的像素值设置为零或者最大像素值，如果差分值大于阈值，则将像素的像素值设置为所拍摄图像的像素的像素值，并且生成背景差分图像和将背景差分图像提供给恶化确定单元24。
在步骤S45中，对象检测单元25执行对象检测处理、检测作为对象的人、动物或车辆的出现/不出现，并且如果检测出对象，则将作为检测结果的对象遮罩提供给恶化确定单元24、恶化类型指定单元26、以及参考背景更新单元27。
对象检测处理
现在，将关于图7的流程图描述对象检测处理。
在步骤S61中，对象检测单元25关于所拍摄图像执行拉普拉斯滤波处理或索贝尔滤波处理，并且提取边缘图像。
在步骤S62中，人检测单元41控制面部检测单元41a基于形状从边缘图像提取面部图像的器官形成部分。具体地，面部检测单元41a基于形状，从边缘图像检索和提取面部(诸如，眼、鼻子、嘴或耳朵)的器官形成部分的构成。
在步骤S63中，人检测单元41控制面部检测单元41a确定构成面部图像的器官是否被提取。如果在步骤S63中器官被提取，则在步骤S64中，人检测单元41控制面部检测单元41a根据所提取器官的位置、布置和大小指定面部图像的区域，并且指定具有矩形形状的面部图像。即，例如，如图8的图像F1所示，在包括人的所拍摄图像的情况下，指定图8的图像F2的面部图像(面部遮罩)KM。具有图8中所示的矩形形状的面部图像以下被称为面部遮罩KM。
在步骤S65中，人检测单元41控制身体估计单元41b根据具有矩形形状的指定面部图像的位置估计人的身体的区域。即，在图8的图像F2的情况下，指定面部遮罩KM，并且身体估计单元41b基于面部遮罩KM的位置、大小和方向而估计身体的区域的形状、大小和位置。
在步骤S66，人检测单元41根据由身体估计单元41b估计的身体的区域和与面部遮罩KM对应的区域生成人的身体遮罩M(包括作为对象的人被拍摄的区域)作为对象。人检测单元41将包括表示人被检测作为对象的身体遮罩M的对象遮罩提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27。
如果确定器官在步骤S63中不被提取，则确定人的区域不出现在所拍摄图像中，从而跳过步骤S64至S66的处理。
在步骤S67中，动物检测单元42控制动物特征量检测单元42a从边缘图像提取构成动物的特征量。即，基于构成动物的面部图像的器官(诸如，眼睛、鼻子、嘴或耳朵、四条腿、尾巴等)的形状检测构成作为对象的动物的特征量作为动物特征量。
在步骤S68中，动物检测单元42控制动物特征量检测单元42a，并且确定动物特征量是否被提取。如果动物特征量在步骤S68中被提取，则在步骤S69中，动物检测单元42控制动物身体估计单元42b基于被检测动物特征量来估计身体(包括所拍摄图像内的动物的头部)的区域的形状、大小和位置。
在步骤S70中，动物检测单元42生成变为包括由动物身体估计单元42b估计的动物的头部的身体的区域的范围，作为动物的对象遮罩。动物检测单元42将表示动物被检测为对象的对象遮罩提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27。
如果确定在步骤S68中不提取动物特征量，则确定动物的区域未出现在所拍摄图像中，从而跳过步骤S69和S70的处理。
在步骤S71中，车辆检测单元43控制车辆检测单元43a从边缘图像检测作为车辆的特征量的车轮的图像。
在步骤S72中，车辆检测单元43控制车轮检测单元43a确定车轮的图像是否可以被检测。如果确定车轮在步骤S72中可以被检测，则在步骤S73中，车辆检测单元43控制车辆估计单元43b从车轮的被检测图像的位置和大小估计车辆本体的区域的位置和大小。
在步骤S74中，当车辆被设置为对象时，车辆检测单元43生成由车辆估计单元43b估计的车辆本体的区域的范围作为对象遮罩。车辆检测单元43将表示车辆被检测为对象的对象遮罩提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27。
如果确定在步骤S72中不提取车轮，则确定车辆的区域不出现在所拍摄图像中，从而跳过步骤S73和S74的处理。
即，通过以上处理，如果人、动物和车辆中的所有或任一个被检测为对象，则生成对应于其的对象遮罩，并且将对象遮罩提供给恶化确定单元24、恶化类型指定单元26和参考背景更新单元27。虽然描述了将人、动物和车辆检测为对象的示例，但是可以检测其他对象。
现在，说明返回至图6的流程图。
如果在步骤S45中执行对象检测处理，则在步骤S46中，恶化确定单元24根据对象遮罩是否从对象检测单元25来提供而确定对象是否被检测。如果在步骤S45中未检测到对象，则参考背景图像更新处理完成。即，在该情况下，由于在未检测到对象遮罩的情况下，不确定参考背景图像的更新在随后处理中是否必须，因此在不更新参考背景图像的情况下，处理完成。如果在步骤S45中检测到对象遮罩，则确定对象被检测到并且处理进行至步骤S47。
在步骤S47中，恶化确定单元24获得通过对象检测处理检测到的对象遮罩的面积Sb和作为差分背景图像的差分结果而像素值不变为零的区域的面积的面积比。即，恶化确定单元24获得对象遮罩的面积Sb和实质通过其中作为差分背景图像的差分结果而像素值不变为零的差分背景图像而获得的作为遮罩的区域的面积S的面积比R(＝S/Sb)。
在步骤S48中，恶化确定单元24确定面积比R是否大于阈值。即，在对象遮罩S的大小方面，如果对象是人，则当图8的图像F1是输入图像时，如图8的图像F2的对象遮罩M所示，获得稍微宽于人H(图3)的区域的范围。如果背景差分图像被获得为理想状态，遮罩图像实际上包括如图8的图像F3所示的人H的区域。从而，如图8的图像F2所示，由于图像F3的人H的面积Sb小于通过对象检测处理获得的对象遮罩M的面积S，面积比R小于阈值，该阈值大于1。然而，如果在背景差分图像中发生特定量恶化，由于最初仅在人H的区域中获得的区域出现在将变为背景的图像中，例如，如图8的图像F4所示，因此出现由恶化区域Z1和Z2表示的区域并且均被获得为通过背景差分图像获得的遮罩区域的面积。结果，当被获得作为背景差分图像的区域的面积Sb极大地增加，并且导致恶化发生时，面积比R变为非常小的值。从而，如果面积比R大于阈值，则确定通过背景差分图像生成处理恶化未发生。
如果在步骤S48中面积比R大于阈值，则恶化确定单元24确定恶化未发生并且处理进行至向恶化类型指定单元26通知恶化未发生的步骤S55。在这种情况下，由于恶化未发生，则不必要更新参考背景图像。从而，处理完成。
如果在步骤S48中面积比R不大于阈值，则校正确定单元24确定恶化发生，并且处理进行至向恶化类型指定单元26通知恶化发生的步骤S49。
在步骤S50中，恶化类型指定单元26确定恶化发生，为了指定恶化的类型而执行恶化类型指定处理，并且指定所发生的恶化的类型。
恶化类型指定处理
现在，将参考图9的流程图描述恶化类型指定处理。
在步骤S91中，为了基于作为由成像单元21拍摄的图像的成像环境的色彩参数或照明状况的改变的出现/不出现来确定恶化是否发生，色彩改变计算单元62计算除对象遮罩之外的区域中的所拍摄图像和参考背景图像的色彩特征量的改变。具体地，色彩改变计算单元62获得所拍摄图像和参考背景图像中的除了对象遮罩和邻近于对象遮罩的像素之外的区域中的每个像素的平均值。具体地，色彩改变计算单元62获得包括在水平方向和垂直方向上的每个像素和邻近于其的像素(例如，关于所拍摄图像和参考背景图像的每个像素)的总计5个像素的平均值。另外，色彩改变计算单元62获得在与所拍摄图像和参考背景图像的每个像素邻近的像素的平均值的在整个图像内的平均值，作为每个图像的色彩特征量，并且将平均值提供给恶化类型确定单元61。
在步骤S92中，恶化类型确定单元61获得所拍摄图像的色彩特征量和参考背景图像的色彩特征量之间的差分的绝对值，并且确定该差分的绝对值是否大于阈值。即，如果由成像单元21拍摄的环境中的色彩参数或照明状况改变，则由于色彩特征量改变，所拍摄图像和参考背景图像之间的色彩特征量的差分的绝对值改变为大于阈值。如果在步骤S92中色彩特征量的差分的绝对值大于阈值，则在步骤S93中，恶化类型确定单元61确定恶化类型是由于照明状况或色彩参数的改变而导致的背景差分图像生成处理的恶化，即，色彩恶化。关于色彩特征量，不仅使用每个像素的外围的平均值，例如，可以获得每个像素的色彩，并且可以使用所拍摄图像和参考背景图像之间的色彩的改变确定色彩恶化是否发生。
如果在步骤S92中所拍摄图像和参考背景图像之间的色彩特征量的差分的绝对值不大于阈值，则处理进行至步骤S94。
在步骤S94中，恶化类型确定单元61确定由于成像单元21的成像位置的偏离而导致的背景差分图像生成处理的恶化，即，偏离恶化。
通过以上处理，恶化类型确定单元61获得色彩特征量的改变，以指定恶化是由于由成像单元21拍摄的环境中的照明状况的改变而导致的色彩恶化还是由于成像单元21的成像方向的偏离而导致生成的偏离恶化。
即，关于由图10的图像F11示出的参考背景图像，如果由图8的图像F1所示的照明状况的改变或成像方向的偏离不发生，则当拍摄包括人H的图像时，获得由图10的图像F14所示的对象遮罩M。在这种情况下，关于除了对象遮罩M之外的范围，由于参考背景图像的改变不发生，例如，因而由图8的图像F4所示的恶化不发生。
如图10的图像F12所示，如果在由成像单元21拍摄的图像的照明状况改变的状态下拍摄包括人H的所拍摄图像，则在除了对象遮罩M之外的背景差分图像中，与对象不同的背景部分根据照明状况的改变而出现在背景差分图像中。如果获得背景差分图像，则由图8的图像F4所示的恶化可能发生。
另外，如图10的图像F13所示，成像单元21的成像方向偏离，使得作为对象的人和背景向左边偏离，如人H′(参见图像F12)所示。在这种情况下，如图像F16所示，人H′被包括在除了对象遮罩M之外的范围的图像中，并且变为背景的山也偏离。结果，如果获得背景差分图像，则图8的图像F4所示的恶化可能发生。
通过以上比较，在图像F12和F15以及参考背景图像F11之间，由于照明状况改变，因而色彩特征量的差分的绝对值在除了对象遮罩M之外的区域中显著改变。如果成像单元21的成像方向仅如图像F13和F16所示那样改变，则由于色彩特征量而导致的差分的绝对值不显著改变。基于这种特性差分，可以指定恶化类型。
现在，说明返回至图6的流程图。
如果在步骤S50中指定恶化类型，则在步骤S51中，参考背景更新单元27执行更新背景图像生成处理并且生成用于更新与恶化类型对应的参考背景图像的更新背景图像。
更新背景图像生成处理
现在，将参考图11的流程图描述更新背景图像生成处理。
在步骤S101中，参考背景更新单元27执行色彩转换更新图像生成处理，并且生成色彩转换更新图像。
色彩转换更新图像生成处理
现在，将参考图12的流程图描述色彩转换更新图像生成处理。
在步骤S121中，参考背景更新单元27控制特征量转换等式计算单元84使用所拍摄图像和存储在背景图像存储单元29中的参考背景图像之间的除了对象遮罩之外的区域的像素，计算特征量转换等式，并且将特征量转换等式提供给色彩转换单元85。
例如，特征量转换等式由等式(1)表示。
rdi＝arsi+b  …(1)
其中，rdi表示在图13的上部所示的所拍摄图像F21中除了对象遮罩M的区域之外的像素的像素值，并且rsi表示在图13的下部所示的参考背景图像F22中除了对象遮罩M的区域之外的像素的像素值。另外，a和b分别是特征量转换等式的系数(线性近似系数)，并且i是用于标识相应像素的标识符。
即，由等式(1)表示的特征量转换等式是用于将除了对象遮罩的区域之外的参考背景图像的每个像素的像素值rsi转换为所拍摄图像的每个像素的像素值rdi的等式，如图13所示。从而，特征量转换等式计算单元84可以获得系数a和b，以获得特征量转换等式。
具体地，为了获得特征量转换等式，获得用于使通过修改等式(1)获得的等式(2)最小化的系数a和b。
Σ i = 1 N | r di - ( ar si - b ) | · · · ( 2 )
其中，N指示表示像素的数量的变量。即，等式(2)表示这样的值，该值通过对将除了对象遮罩的区域之外的参考背景图像的每个像素的像素值rsi代入特征量转换等式而获得的值与所拍摄图像的每个像素的像素值rdi之间的差的绝对值相对于所有像素积分而获得。
特征量转换等式计算单元84通过由等式(3)表示的最小二乘法，使用所拍摄图像和参考背景图像之间的除了对象遮罩之外的区域的每个相应像素来获得系数a和b。
a = N Σ i = 1 N r si r di - Σ i = 1 N r si Σ i = 1 N r di n Σ i = 1 N r si 2 - ( Σ i = 1 N r di ) 2
b = Σ i = 1 N r di 2 Σ i = 1 N r di - Σ i = 1 N r si r di Σ i = 1 N r si n Σ i = 1 N r si 2 - ( Σ i = 1 N r si ) 2 · · · ( 3 )
即，特征量转换等式计算单元84通过由等式(3)表示的计算获得上述系数a和b，并且计算特征量转换等式。虽然以上说明中描述了使用线性近似函数获得特征量转换等式的示例，但是如果使用用于将除了对象遮罩的区域之外的参考背景图像的每个像素的像素值转换为所拍摄图像的每个像素的像素值的等式，则可以使用其他近似函数。例如，特征量转换等式可以使用另一近似函数获得。
在步骤S122中，色彩转换单元85使用所获得的特征量转换等式执行关于参考背景图像的所有像素的色彩转换，生成色彩转换更新图像，并且将色彩转换更新图像提供给选择单元83。
通过以上处理，即使当所拍摄图像通过照明状况的改变或者色彩参数(诸如，白平衡)的改变从参考背景图像改变时，仍可以根据改变而生成用于更新参考背景图像的色彩转换更新图像。从而，可以抑制由于上述色彩恶化而导致的背景差分图像生成处理中的恶化。
现在，描述返回至图11的流程图。
如果在步骤S101中通过色彩转换更新图像生成处理生成色彩转换更新图像，则在步骤S102中，参考背景更新单元27执行运动补偿更新图像生成处理，并且生成运动补偿更新图像。
运动补偿更新图像生成处理
现在，将参考图14的流程图描述运动补偿更新图像生成处理。
在步骤S141中，参考背景更新单元27控制全局运动估计单元81通过在所拍摄图像和参考背景图像中的除了对象遮罩之外的区域的像素之间的块匹配，获得全局运动作为运动向量V。全局运动估计单元81将所获得的运动向量V提供给运动补偿转换单元82。即，全局运动表示在作为参考背景图像的图像被成像单元21拍摄并且被获得作为运动向量V之后、由于摇摄、倾斜、变焦距的改变或它们的结合而导致发生的偏离的大小。
使用所拍摄图像和参考背景图像的除了对象遮罩之外的区域的像素值，通过当图像被仿射变换时使用的参数来获得被获得作为运动向量V的全局运动。具体地，运动向量V通过用于由等式(4)表示的仿射变换的转换等式获得。
x ' i y ' i 0 = V x i y i 0 · · · ( 4 )
其中，x′i和y′i指示表示所拍摄图像的除了对象遮罩之外的区域的像素位置(x′i，y′i)的参数，并且i表示用于标识每个像素的标识符。xi和yi指示表示参考背景图像的除了对象遮罩之外的区域的像素位置(xi，yi)的参数。使用相同标识符i的所拍摄图像的像素(x′i，y′i)和参考背景图像的像素(xi，yi)是通过块匹配搜索的像素。向量V是由等式(5)表示的矩阵等式。
V = a 1 a 2 a 3 a 4 a 5 a 6 0 0 1 · · · ( 5 )
其中，a1至a6分别是系数。
即，全局运动估计单元81根据通过块匹配搜索的像素之间的关系，使用等式(4)，使用所拍摄图像和参考背景图像之间的除了对象遮罩的区域之外的像素通过最小二乘法获得系数a1至a6。通过这种处理，全局运动估计单元81获得表示由于成像单元21的成像方向的偏离而产生的偏离的运动向量V。换句话说，通过统计地处理其中所拍摄图像的每个像素被设置为起始点并且参考背景图像(通过块匹配来识别其匹配)的像素被设置为终点的多个向量，来获得作为表示该偏离的全局运动的运动向量。
在步骤S142中，运动补偿转换单元82将表示所拍摄图像的垂直方向的计数器y初始化为0。
随后，运动补偿更新图像的每个像素被设置为g(x，y)，参考背景图像的每个像素被设置为像素f(x，y)，并且所拍摄图像的每个像素由h(x，y)表示。另外，参考背景图像的像素f(x，y)中的运动向量V被限定为运动向量V(vx，vy)。vx和vy通过上述等式(4)获得。
在步骤S143中，运动补偿转换单元82将表示参考背景图像的水平方向的计数器x初始化为0。
在步骤S144中，运动补偿转换单元82确定由与参考背景图像的像素f(x，y)对应的运动向量转换的像素位置(x-vx，y-vy)是否为出现在参考背景图像中的坐标。
例如，如果在步骤S144中被转换的像素位置出现在参考背景图像中，则在步骤S145中，运动补偿转换单元82用参考背景图像的像素f(x-vx，y-vy)代替运动补偿更新图像的像素g(x，y)。
例如，如果在步骤S144中被转换的像素位置不出现在参考背景图像中，则在步骤S146中，运动补偿转换单元82用所拍摄图像的像素h(x，y)代替转换后的运动补偿更新图像的像素g(x，y)。
在步骤S147中，运动补偿转换单元82使计数器x加1并且处理进行至步骤S148。
在步骤S148中，运动补偿转换单元82确定计数器x是否大于参考背景图像的水平方向上的像素数量，并且如果计数器不大于水平方向上的像素数量，则处理返回至步骤S144。即，在步骤S148中，重复步骤S144至S148的处理，直到计数器x变为大于参考背景图像的水平方向上的像素数量。
如果在步骤S148中计数器x大于参考背景图像的垂直方向上的像素数量，则在步骤S149中，运动补偿转换单元82使计数器y加1。在步骤S150中，运动补偿转换单元82确定计数器y是否大于参考背景图像的水平方向上的像素数量，并且例如，如果计数器不大于像素数量，则处理返回至步骤S143。即，重复步骤S143至S150的处理，直到计数器y变为大于参考背景图像的垂直方向上的像素数量。
如果在步骤S150中确定计数器y大于参考背景图像的垂直方向上的像素数量，则在步骤S151中，运动补偿转换单元82将包括像素g(x，y)的运动补偿更新图像输出至选择单元83。然后，处理完成。
即，关于参考背景图像的每个像素，在步骤S144中被转换像素位置出现在参考背景图像中的情况为图15的图像F52的水平方向上的位置Q(参考背景图像的右端的位置)的左侧范围的情况。在这种情况下，被转换像素出现在原始参考背景图像中。用像素f(x-vx，y-vy)(任一像素均被移动到与如图15所示的图像F53那样的运动向量V对应的位置以被转换)代替与偏离对应的运动补偿更新图像的像素g(x，y)的每个像素。
关于参考背景图像的每个像素，在步骤S144中被转换像素位置不出现在参考背景图像中的情况为图15的图像F52的水平方向上的位置Q(参考背景图像的右端的位置)的右侧范围的情况。在这种情况下，被转换像素不出现在原始参考背景图像中。用如图15的图像F54所示那样被转换的同一位置的所拍摄图像的像素h(x，y)代替与偏离对应的运动补偿更新图像的像素g(x，y)的每个像素。
关于所有像素执行以下处理，使得生成与由图15的图像F55所示的成像单元21的成像方向的偏离对应的运动补偿更新图像。即，如图像F52所示，获得运动补偿更新图像F55，使得由参考背景图像F51的虚线表示的山的山脊B2与在向左方向上移动成像方向的偏移的所拍摄图像(就像由实线表示的山脊B1)对应。
现在，说明返回至图6的流程图。
在步骤S52中，参考背景更新单元27控制选择单元83确定恶化类型是否为色彩恶化。如果在步骤S52中恶化类型为色彩恶化，则在步骤S53中，选择单元83用从色彩转换单元85提供的色彩转换更新图像代替存储在背景图像存储单元29中的参考背景图像，并且更新参考背景图像。
如果在步骤S52中恶化类型不是色彩恶化，即，偏离恶化，则在步骤S54中，选择单元83用从运动补偿转换单元82提供的运动补偿转换更新图像代替存储在背景图像存储单元29中的参考背景图像，并且更新参考背景图像。
通过以上处理，在由所拍摄图像和参考背景图像之间的差生成的背景差分图像的生成处理中，关于由所拍摄图像的照明状况的改变、色彩参数的改变等导致的色彩恶化，可以生成色彩转换更新图像并且更新参考背景图像。关于由所拍摄图像的成像方向的偏离导致的偏离恶化，可以生成运动补偿更新图像并且更新参考背景图像。另外，可以指定诸如色彩恶化或偏离恶化的恶化类型。结果，由于可以对应于恶化类型而更新参考背景图像，因此生成背景参考图像，使得可以高准确地仅提取构成前景的对象。
可以通过硬件或软件执行上述系列处理。如果通过软件执行该系列处理，则配置软件的程序被安装在装配有专用硬件的计算机中或者例如通用个人计算机(其能够通过从记录介质安装多种类型的程序执行多种功能)中。
图16示出通用个人计算机的配置示例。该个人计算机包括装配在其中的中央处理单元(CPU)1001。输入/输出接口1005经由总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。
包括能够使用户输入操作命令的输入装置(诸如键盘或鼠标)的输入单元1006、用于输出处理操作画面或者处理结果的图像输出至显示装置的输出单元1007、以及用于存储程序和多种数据的存储单元1008(例如硬盘)、以及用于经由代表互联网的网络执行通信处理的通信单元1009(例如局域网(LAN)适配器)连接至输入/输出接口1005。连接用于从诸如磁盘(包括软盘)、光盘(光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)等、磁光盘(包括迷你盘(MD)或者半导体存储器的可移动介质1011读取数据和在可移动介质1011上写入数据的驱动器1010。
CPU 1001根据存储在ROM 1002中的程序或者从安装在存储单元1008中、并且将其从存储单元1008加载到RAM 1003的可移动介质1011(诸如磁盘、光盘、磁光盘片或者半导体存储器)读取的程序执行多种处理。在RAM 1003中，由CPU 1001执行多种处理所需要的数据等被适当存储。
在本说明书中，描述记录在记录介质上的程序的步骤可以包括：以在此描述的顺序按照时间顺序执行的处理，或者并行或单独执行的处理。
在本说明书中，系统涉及由多个设备构成的所有设备。
本申请包括与在2010年3月30日提交到日本专利局的日本在先专利申请JP-2010-079183中披露的主题相关的主题，其全部内容通过参考结合于此。
本领域技术人员应该明白，只要多种修改、结合、子结合和改变在所附权利要求或其等价物的范围内，则根据设计要求和其他因素可以出现多种修改、结合、子结合和改变。

Claims (7)

1.一种图像处理设备，包括：
参考背景存储装置，用于存储参考背景图像；
估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；
背景差分图像生成装置，用于生成背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的差分值；
计算装置，用于计算与除了由所述估计装置估计的所述对象的区域之外的所述背景差分图像和所述参考背景图像对应的像素之间的像素值的关系等式；
转换装置，用于基于所述关系等式转换所述参考背景图像的所述像素值，并且生成像素值转换背景图像；以及
背景图像更新装置，用于通过所述像素值转换背景图像执行替换并且更新所述参考背景图像。
2.根据权利要求1所述的图像处理设备，其中，所述计算装置使用与除了由所述估计装置估计的所述对象的所述区域之外的所述背景差分图像和所述参考背景图像对应的所述像素之间的所述像素值，通过最小二乘法计算所述关系等式。
3.根据权利要求1所述的图像处理设备，其中，所述对象检测装置包括：人检测装置，用于检测人作为对象；动物检测装置，用于检测动物作为对象；以及车辆检测装置，用于检测车辆作为对象。
4.根据权利要求3所述的图像处理设备，其中，所述人检测装置包括：面部检测装置，用于从所述输入图像检测所述人的面部图像；以及身体遮罩估计装置，用于基于由所述面部检测装置检测的所述面部图像，从被估计人的身体出现的位置及所述身体的大小来估计身体遮罩。
5.一种图像处理设备的图像处理方法，所述图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；背景差分图像生成装置，用于生成背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的差分值；计算装置，用于计算与除了由所述估计装置估计的所述对象的区域之外的所述背景差分图像和所述参考背景图像对应的像素之间的像素值的关系等式；转换装置，用于基于所述关系等式转换所述参考背景图像的所述像素值，并且生成像素值转换背景图像；以及背景图像更新装置，用于通过所述像素值转换背景图像执行替换并且更新所述参考背景图像，所述图像处理方法包括以下步骤：
在所述参考背景存储装置中存储所述参考背景图像；
在所述估计装置中，从所述输入图像检测所述对象，并且估计所检测对象的所述大致位置和形状；
在所述背景差分图像生成装置中，生成所述背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的所述差分值；
在所述计算装置中，计算与除了由估计步骤估计的所述对象的所述区域之外的所述背景差分图像和所述参考背景图像对应的所述像素之间的所述像素值的所述关系等式；
在所述转换装置中，基于所述关系等式转换所述参考背景图像的所述像素值并且生成所述像素值转换背景图像；以及
在所述背景图像更新装置中，通过所述像素值转换背景图像执行替换并且更新所述参考背景图像。
6.一种程序，使用于控制图像处理设备的计算机执行以下处理，其中，所述图像处理设备包括：参考背景存储装置，用于存储参考背景图像；估计装置，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；背景差分图像生成装置，用于生成背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的差分值；计算装置，用于计算与除了由所述估计装置估计的所述对象的区域之外的所述背景差分图像和所述参考背景图像对应的像素之间的像素值的关系等式；转换装置，用于基于所述关系等式转换所述参考背景图像的所述像素值，并且生成像素值转换背景图像；以及背景图像更新装置，用于通过所述像素值转换背景图像执行替换并且更新所述参考背景图像，所述处理包括以下步骤：
在所述参考背景存储单元中存储所述参考背景图像；
在所述估计装置中，从所述输入图像检测所述对象并且估计所检测对象的所述大致位置和形状；
在所述背景差分图像生成装置中，生成所述背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的所述差分值；
在所述计算装置中，计算与除了由估计步骤估计的所述对象的区域之外的所述背景差分图像和所述参考背景图像对应的所述像素之间的所述像素值的所述关系等式；
在所述转换装置中，基于所述关系等式转换所述参考背景图像的所述像素值并且生成所述像素值转换背景图像；以及
在所述背景图像更新装置中，通过所述像素值转换背景图像执行替换并且更新所述参考背景图像。
7.一种图像处理设备，包括：
参考背景存储单元，用于存储参考背景图像；
估计单元，用于从输入图像检测对象并且估计所检测对象的大致位置和形状；
背景差分图像生成单元，用于生成背景差分图像，所述背景差分图像包括所述输入图像和所述参考背景图像之间的差分值；
计算单元，用于计算与除了由所述估计装置估计的所述对象的区域之外的所述背景差分图像和所述参考背景图像对应的像素之间的像素值的关系等式；
转换单元，用于基于所述关系等式转换所述参考背景图像的所述像素值，并且生成像素值转换背景图像；以及
背景图像更新单元，用于通过所述像素值转换背景图像执行替换并且更新所述参考背景图像。
CN2011100762976A 2010-03-30 2011-03-23 图像处理设备和方法、以及程序 Pending CN102208016A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010079183A JP2011210139A (ja) 2010-03-30 2010-03-30 画像処理装置および方法、並びにプログラム
JP2010-079183 2010-03-30

Publications (1)

Publication Number Publication Date
CN102208016A true CN102208016A (zh) 2011-10-05

Family

ID=44696838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100762976A Pending CN102208016A (zh) 2010-03-30 2011-03-23 图像处理设备和方法、以及程序

Country Status (3)

Country Link
US (1) US20110243451A1 (zh)
JP (1) JP2011210139A (zh)
CN (1) CN102208016A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017005141A1 (zh) * 2015-07-03 2017-01-12 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
CN106570832A (zh) * 2016-10-31 2017-04-19 北京尚水信息技术股份有限公司 一种基于最小值背景差分的piv图像处理方法
CN107924466A (zh) * 2015-08-28 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN108961302A (zh) * 2018-07-16 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN110944101A (zh) * 2018-09-25 2020-03-31 株式会社理光 摄像装置及图像记录方法
CN112312178A (zh) * 2020-07-29 2021-02-02 上海和煦展览有限公司 一种多媒体展厅的多媒体影像处理系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041853B2 (en) * 2010-12-01 2015-05-26 Nec Casio Mobile Communications, Ltd. Mobile terminal, method of image processing, and program
JP5240349B2 (ja) * 2011-11-14 2013-07-17 カシオ計算機株式会社 画像合成装置、及びプログラム
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
JP2015092643A (ja) * 2012-01-30 2015-05-14 日本電気株式会社 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN102800105B (zh) * 2012-06-28 2014-09-17 西安电子科技大学 基于运动矢量的目标检测方法
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
CN103475800B (zh) * 2013-09-25 2017-04-12 北京智诺英特科技有限公司 图像序列中前景的检测方法和装置
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10424072B2 (en) * 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
US10438072B2 (en) 2017-02-27 2019-10-08 Echelon Corporation Video data background tracking and subtraction with multiple layers of stationary foreground and background regions
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7233873B2 (ja) * 2018-09-19 2023-03-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN113947523B (zh) * 2021-10-18 2022-06-14 杭州研极微电子有限公司 一种背景图像的替换方法和装置
GB2622770A (en) * 2022-09-20 2024-04-03 Thales Holdings Uk Plc Image processor

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63187889A (ja) * 1987-01-30 1988-08-03 Nippon Telegr & Teleph Corp <Ntt> テレビ電話撮像装置
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US7209588B2 (en) * 2000-11-24 2007-04-24 Clever Sys, Inc. Unified system and method for animal behavior characterization in home cages using video analysis
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
CN101286239A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 航拍交通视频车辆快速检测方法
CN101375312A (zh) * 2006-02-07 2009-02-25 高通股份有限公司 多模式关注区视频对象分割
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
JP2009265827A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 対象物検出装置及び方法、対象物検出システム、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US8086006B2 (en) * 2007-09-21 2011-12-27 Siemens Aktiengesellschaft Method and system for evaluating image segmentation based on visibility
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8634635B2 (en) * 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
JP4727737B2 (ja) * 2009-02-24 2011-07-20 三菱重工業株式会社 放射線治療装置制御装置および目的部位位置計測方法
US8306333B2 (en) * 2009-12-17 2012-11-06 National Tsing Hua University Method and system for automatic figure segmentation
JP2011211628A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63187889A (ja) * 1987-01-30 1988-08-03 Nippon Telegr & Teleph Corp <Ntt> テレビ電話撮像装置
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US7209588B2 (en) * 2000-11-24 2007-04-24 Clever Sys, Inc. Unified system and method for animal behavior characterization in home cages using video analysis
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
CN101375312A (zh) * 2006-02-07 2009-02-25 高通股份有限公司 多模式关注区视频对象分割
CN101464952A (zh) * 2007-12-19 2009-06-24 中国科学院自动化研究所 基于轮廓的异常行为识别方法
CN101286239A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 航拍交通视频车辆快速检测方法
JP2009265827A (ja) * 2008-04-23 2009-11-12 Sanyo Electric Co Ltd 対象物検出装置及び方法、対象物検出システム、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘鑫等: "混合高斯模型和帧间差分相融合的自适应背景建模", 《中国图象图形学报》, vol. 13, no. 4, 15 July 2008 (2008-07-15) *
明英等: "基于柯西分布的视频图像序列背景建模和运动目标检测", 《光学学报》, vol. 28, no. 3, 15 March 2008 (2008-03-15), pages 587 - 592 *
李刚等: "基于帧间颜色梯度的背景建模", 《光学 精密工程》, vol. 15, no. 8, 15 August 2007 (2007-08-15), pages 1257 - 1262 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017005141A1 (zh) * 2015-07-03 2017-01-12 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备
US10979722B2 (en) 2015-07-03 2021-04-13 Huawei Technologies Co., Ltd. Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device
US11968376B2 (en) 2015-07-03 2024-04-23 Huawei Technologies Co., Ltd. Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device
CN107924466A (zh) * 2015-08-28 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和方法
CN106570832A (zh) * 2016-10-31 2017-04-19 北京尚水信息技术股份有限公司 一种基于最小值背景差分的piv图像处理方法
CN108961302A (zh) * 2018-07-16 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108961302B (zh) * 2018-07-16 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN110944101A (zh) * 2018-09-25 2020-03-31 株式会社理光 摄像装置及图像记录方法
CN112312178A (zh) * 2020-07-29 2021-02-02 上海和煦展览有限公司 一种多媒体展厅的多媒体影像处理系统

Also Published As

Publication number Publication date
US20110243451A1 (en) 2011-10-06
JP2011210139A (ja) 2011-10-20

Similar Documents

Publication Publication Date Title
CN102208016A (zh) 图像处理设备和方法、以及程序
US10762608B2 (en) Sky editing based on image composition
CN102208107A (zh) 图像处理设备、图像处理方法以及程序
Gastal et al. Shared sampling for real‐time alpha matting
US7986813B2 (en) Object pose estimation and comparison system using image sharpness differences, object pose estimation and comparison method using image sharpness differences, and program therefor
US10147021B2 (en) Automatic surveillance video matting using a shape prior
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
US20070147700A1 (en) Method and apparatus for editing images using contour-extracting algorithm
EP1612733A2 (en) Color segmentation-based stereo 3D reconstruction system and process
US20080112606A1 (en) Method for moving cell detection from temporal image sequence model estimation
JP4564634B2 (ja) 画像処理方法及び装置並びに記憶媒体
JP2006318474A (ja) 画像シーケンス内のオブジェクトを追跡するための方法及び装置
CN105513064A (zh) 一种基于图像分割和自适应权重的立体匹配方法
JP5500024B2 (ja) 画像認識方法及び装置並びにプログラム
JP2011034178A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2002525735A (ja) ベクトル画像シーケンスにおける意味対象物の追跡
CN113673305A (zh) 使用最短连线特征的图像标记
CN108009529A (zh) 一种基于特征根和流体力学的森林火灾烟视频目标检测方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
AU2022201841A1 (en) Method and system for image processing
CN111768415A (zh) 一种无量化池化的图像实例分割方法
KR20100084075A (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
JP2001076161A (ja) 画像処理方法及び装置並びに記憶媒体
Huang et al. Multi-cue semi-supervised color constancy with limited training samples
CN106611406A (zh) 图像校正方法和图像校正设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111005