CN1471692A - 图像处理设备和方法以及图像捕获设备 - Google Patents

图像处理设备和方法以及图像捕获设备 Download PDF

Info

Publication number
CN1471692A
CN1471692A CNA02802754XA CN02802754A CN1471692A CN 1471692 A CN1471692 A CN 1471692A CN A02802754X A CNA02802754X A CN A02802754XA CN 02802754 A CN02802754 A CN 02802754A CN 1471692 A CN1471692 A CN 1471692A
Authority
CN
China
Prior art keywords
component
pixel
mixing ratio
mixed zone
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA02802754XA
Other languages
English (en)
Other versions
CN1269080C (zh
Inventor
近藤哲二郎
����һ
石桥淳一
־
泽尾贵志
藤原直树
永野隆浩
和田成司
三宅彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1471692A publication Critical patent/CN1471692A/zh
Application granted granted Critical
Publication of CN1269080C publication Critical patent/CN1269080C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

能够了解图像的混合状态。区域识别单元(103)识别图像数据的混合区域，在该混合区域中，构成前景对象的前景对象分量与构成背景对象背景对象分量相混合。根据图像数据，混合比计算单元(104)识别混合区域，在该混合区域中，构成前景对象的前景对象分量与构成背景对象背景对象分量相混合。参考图像数据，混合比计算单元(104)计算一个混合比，该混合比指示在混合了前景对象分量的混合区域中，前景对象分量和背景对象分量的混合比。

Description

图像处理设备和方法以及图像捕获设备
技术领域
本发明涉及图像处理设备和方法，以及图像捕获设备，更具体地说，涉及一种考虑了传感器所检测的信号与现实世界之间的差异的图像处理设备和方法以及图像捕获设备。
背景技术
用于检测现实世界发生的事件和处理从图像传感器输出的样本数据的技术已经被广泛使用。
例如，如果对象的运动速度比较快，则会在通过利用摄像机捕获在预定静止背景前方运动的对象而获得的图像中出现运动模糊。
然而，当对象在静止背景前方运动时，不仅会出现由运动对象本身的混合所引起的运动模糊，而且会出现由背景图像和对象图像的混合所引起的运动模糊。迄今为止，还没有考虑到对应于背景图像和运动对象的混合状态的处理。
发明内容
本发明是考虑到上述现有技术的情况下做出的。因此，本发明目的了解图像的混合状态。
本发明的第一图像处理设备包括：区域指定装置，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；以及混合比检测装置，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成，其中至少区域指定装置和混合比检测装置之一根据多种类型的分量执行图像处理。
该区域指定装置可以包括：分量混合区域检测装置，用于针对多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及混合区域指定装置，用于根据由对应于该分量混合区域检测装置检测到的多种类型的分量的混合区域的检测结果，指定对应于该图像数据的混合区域。
该区域指定装置可以包括：空间相关性值计算装置，用于根据对应于指定像素的多种类型的分量(plurality of types of components)，计算指示对应于图像数据的指定帧的指定像素的指定像素数据与在空间方向上定位于指定像素的邻域的空间邻接像素(sapce neighboring pixel)的像素数据之间的相关性的空间相关性值(correlation value)；时间相关性值计算装置，用于根据对应于指定像素的多种类型的分量，计算指示指定的像素数据与在时间方向上定位于指定像素的邻域的时间邻接像素(time neighboring pixel)的像素数据之间的相关性的时间相关性值；以及前景区域指定装置，用于根据对应于指定像素的空间相关性值和时间相关性值，指定仅由前景对象分量构成的前景区域。
该区域指定装置可以包括混合区域指定装置，用于根据指定帧的前景区域和指定帧的邻域中的邻接帧的前景区域，指定混合区域。
混合比检测装置可以包括：分量混合比检测装置，用于针对多种类型的分量中的每一个检测混合比；以及分量积分混合比检测装置，用于通过积分由分量混合比检测装置所检测到的、对应于多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
混合比检测装置可以包括：积分装置，用于针对每个像素积分(integrating)多种类型的分量的像素值，并且将该值作为积分数据输出；以及积分数据混合比检测装置，用于根据该积分数据检测对应于图像数据的混合比。
该积分装置可以将针对每个像素的多种类型的分量的像素值相加，并且可以将相加的结果作为积分数据输出。
本发明的图像处理方法包括：区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成；以及输出控制步骤，用于控制所检测到的混合比的输出，其中至少区域指定步骤和混合比检测步骤之一根据多种类型的分量执行图像处理。
该区域指定步骤可以包括：分量混合区域检测步骤，用于针对多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及混合区域指定步骤，用于根据在该分量混合区域检测步骤中检测到的、对应于多种类型的分量的混合区域的检测结果，指定对应于该图像数据的混合区域。
该区域指定步骤可以包括：空间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示对应于图像的指定帧的指定像素的指定像素数据与在空间方向上定位于指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；时间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示指定的像素数据与在时间方向上定位于指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及前景区域指定步骤，用于根据对应于指定像素的空间相关性值和时间相关性值，指定仅由前景对象分量构成的前景区域。
该区域指定步骤可以包括混合区域指定步骤，用于根据指定帧的前景区域和指定帧的邻域中的邻接帧的前景区域，指定混合区域。
混合比检测步骤可以包括：分量混合比检测步骤，用于针对多种类型的分量中的每一个检测混合比；以及分量积分混合比检测步骤，用于通过积分对应于由分量混合比检测步骤所检测到的多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
混合比检测步骤可以包括：积分步骤，用于积分每个像素的多种类型的分量的像素值，并且将该值作为积分数据输出；以及积分数据混合比检测步骤，用于根据该积分数据检测对应于图像数据的混合比。
在该积分步骤中，可以将针对每个像素的多种类型的分量的像素值相加，并且可以将相加的结果作为积分数据输出。
本发明的第一记录介质的程序包括：区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成；以及输出控制步骤，用于控制所检测到的混合比的输出，其中至少区域指定步骤和混合比检测步骤之一根据多种类型的分量执行图像处理。
该区域指定步骤可以包括：分量混合区域检测步骤，用于针对多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及混合区域指定步骤，用于根据在该分量混合区域检测步骤中检测到的、对应于多种类型的分量的混合区域的检测结果，指定对应于该图像数据的混合区域。
该区域指定步骤可以包括：空间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示对应于图像的指定帧的指定像素的指定像素数据与在空间方向上定位于指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；时间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示指定的像素数据与在时间方向上定位于指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及前景区域指定步骤，用于根据对应于指定像素的空间相关性值和时间相关性值，指定仅由前景对象分量构成的前景区域。
该区域指定步骤可以包括混合区域指定步骤，用于根据指定帧的前景区域和指定帧的邻域中的邻接帧的前景区域，指定混合区域。
混合比检测步骤可以包括：分量混合比检测步骤，用于针对多种类型的分量中的每一个检测混合比；以及分量积分混合比检测步骤，用于通过积分对应于由分量混合比检测步骤所检测到的多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
混合比检测步骤可以包括：积分步骤，用于积分每个像素的多种类型的分量的像素值，并且将该值作为积分数据输出；以及积分数据混合比检测步骤，用于根据该积分数据检测对应于图像数据的混合比。
在该积分步骤中，可以将针对每个像素的多种类型的分量的像素值相加，并且可以将相加的结果作为积分数据输出。
本发明的第一程序促使计算机执行：区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成；以及输出控制步骤，用于控制所检测到的混合比的输出，其中，至少区域指定步骤和混合比检测步骤之一根据多种类型的分量执行图像处理。
该区域指定步骤可以包括：分量混合区域检测步骤，用于针对多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及混合区域指定步骤，用于根据在该分量混合区域检测步骤中检测到的、对应于多种类型的分量的混合区域的检测结果，指定对应于该图像数据的混合区域。
该区域指定步骤可以包括：空间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示对应于图像的指定帧的指定像素的指定像素数据与在空间方向上定位于指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；时间相关性值计算步骤，用于根据对应于指定像素的多种类型的分量，计算指示指定的像素数据与在时间方向上定位于指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及前景区域指定步骤，用于根据对应于指定像素的空间相关性值和时间相关性值，指定仅由前景对象分量构成的前景区域。
该区域指定步骤可以包括混合区域指定步骤，用于根据指定帧的前景区域和指定帧的邻域中的邻接帧的前景区域，指定混合区域。
混合比检测步骤可以包括：分量混合比检测步骤，用于针对多种类型的分量中的每一个检测混合比；以及分量积分混合比检测步骤，用于通过积分对应于由分量混合比检测步骤所检测到的多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
混合比检测步骤可以包括：积分步骤，用于积分每个像素的多种类型的分量的像素值，并且将该值作为积分数据输出；以及积分数据混合比检测步骤，用于根据该积分数据检测对应于图像数据的混合比。
在该积分步骤中，可以将针对每个像素的多种类型的分量的像素值相加，并且可以将相加的结果作为积分数据输出。
本发明的第一图像捕获设备包括：图像捕获装置，用于输出由包括具有时间积分功能的预定数量的像素的图像捕获器件捕获的主题(subiect)图像，作为由在同一像素位置上具有多种类型的分量的预定数量的像素数据形成的图像数据；区域指定装置，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；以及混合比检测装置，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成，其中，至少区域指定装置和混合比检测装置之一根据多种类型的分量执行图像处理。
该区域指定装置可以包括：分量混合区域检测装置，用于针对多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及混合区域指定装置，用于根据由对应于该分量混合区域检测装置检测到的多种类型的分量的混合区域的检测结果，指定对应于该图像数据的混合区域。
该区域指定装置可以包括：空间相关性值计算装置，用于根据对应于指定像素的多种类型的分量，计算指示对应于图像的指定帧的指定像素的指定像素数据与在空间方向上定位于指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；时间相关性值计算装置，用于根据对应于指定像素的多种类型的分量，计算指示指定的像素数据与在时间方向上定位于指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及前景区域指定装置，用于根据对应于指定像素的空间相关性值和时间相关性值，指定仅由前景对象分量构成的前景区域。
该区域指定装置可以包括混合区域指定装置，用于根据指定帧的前景区域和指定帧的邻域中的邻接帧的前景区域，指定混合区域。
混合比检测装置可以包括：分量混合比检测装置，用于针对多种类型的分量中的每一个检测混合比；以及分量积分混合比检测装置，用于通过积分由分量混合比检测装置所检测到的、对应于多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
混合比检测装置可以包括：积分装置，用于积分每个像素的多种类型的分量的像素值，并且将该值作为积分数据输出；以及积分数据混合比检测装置，用于根据该积分数据检测对应于图像数据的混合比。
该积分装置可以将针对每个像素的多种类型的分量的像素值相加，并且可以将相加的结果作为积分数据输出。
本发明的第二图像处理设备包括：用于获得图像数据的图像数据获得装置；以及处理执行装置，用于根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
该处理执行装置可以根据所获得的图像数据的多种类型的分量执行一区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
该处理执行装置可以根据所获得的图像数据的多种类型的分量执行一混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
本发明的第二图像处理方法包括：用于获得图像数据的图像数据获得步骤；以及处理执行步骤，用于根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
本发明的第二记录介质的程序包括：用于获得图像数据的图像数据获得步骤；以及处理执行步骤，用于根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
本发明的第二程序促使计算机执行：用于获得图像数据的图像数据获得步骤；以及处理执行步骤，用于根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
在该处理执行步骤中，可以根据所获得的图像数据的多种类型的分量执行一混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
本发明的第二图像捕获设备包括：图像捕获装置，用于输出由包括具有时间积分功能的预定数量的像素的图像捕获器件捕获的主题图像，作为由在同一像素位置上具有多种类型的分量的预定数量的像素数据形成的图像数据；以及处理执行装置，用于根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定装置，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测装置，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
该处理执行装置可以根据所获得的图像数据的多种类型的分量执行一区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
该处理执行装置可以根据所获得的图像数据的多种类型的分量执行一混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
相应于图像数据，指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。至少区域指定操作和混合比检测操作之一根据多种类型的分量执行图像处理。
获得图像数据，并且根据所获得的图像数据的多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于对应于图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，(ii)混合比检测步骤，用于对应于图像数据、在一混合区域中检测指示前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由前景对象分量和背景对象分量混和而成。
因此，可以得出图像的混合状态。
附图说明
图1示出本发明的图像处理设备的一个实施例；
图2是图示图像处理设备的方框图；
图3图示由一个传感器执行的图像捕获；
图4图示像素的排列；
图5图示检测装置的操作；
图6A图示通过图像捕获(image-capture)对应于运动前景的对象和对应于静止背景的对象而获得的图像；
图6B图示通过图像捕获对应于运动前景的对象和对应于静止背景的对象而获得的图像的模型；
图7图示背景区域、前景区域、混合区域、被覆盖的背景区域和未被覆盖的背景区域；
图8图示通过在时间方向上扩展在图像中并排排列的多个像素的像素值而获得的模型，其中所述图像是通过图像捕获对应于静止前景的对象和对应于静止背景的对象获得的；
图9图示在时间方向上扩展像素值以及划分对应于快门时间的周期(period)的模型；
图10图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图11图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图12图示提取前景区域、背景区域和混合区域中的像素的实例；
图13图示多个像素与通过在时间方向上扩展像素值而获得的模型之间的关系；
图14图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图15图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图16图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图17图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图18图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图19是图示用于调整运动模糊量的处理的流程图；
图20是图示区域指定单元103的配置的实例的方框图；
图21图示当对应于前景的对象正在运动时的图像；
图22图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图23图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图24图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图25图示用于确定区域的条件；
图26A图示通过区域指定单元103指定区域而获得的结果的实例；
图26B图示通过区域指定单元103指定区域而获得的结果的实例；
图26C图示通过区域指定单元103指定区域而获得的结果的实例；
图26D图示通过区域指定单元103指定区域而获得的结果的实例；
图27图示通过区域指定单元103指定区域而获得的结果的实例；
图28是图示区域指定处理的流程图；
图29是图示区域指定单元103的配置的方框图；
图30图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图31图示背景图像的实例；
图32是图示二进制对象图像(binary object image)提取部分302的配置的方框图；
图33A图示相关性值的计算；
图33B图示相关性值的计算；
图34A图示相关性值的计算；
图34B图示相关性值的计算；
图35图示二进制对象图像的实例；
图36是图示时间变化检测器303的配置的方框图；
图37图示由区域确定部分342作出的确定；
图38图示由时间变化检测器303作出的确定的实例；
图39是图示由区域指定单元103执行的区域指定处理的流程图；
图40是图示区域指定处理的细节的流程图；
图41是图示区域指定单元103的再一个配置的方框图；
图42是图示加强处理(robust processing)部分361的配置的方框图；
图43图示由运动补偿器381执行的运动补偿；
图44图示由运动补偿器381执行的运动补偿；
图45是图示区域指定处理的流程图；
图46是图示加强处理的细节的流程图；
图47是图示混合比计算器104的配置的方框图；
图48图示理想混合比α的实例；
图49图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图50图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图51图示使用前景分量的相关性的逼近；
图52图示C、N和P之中的关系；
图53是图示估算混合比处理器401的配置的方框图；
图54是图示估算混合比的实例；
图55是图示混合比计算器104的配置的方框图；
图56是图示计算混合比的处理的流程图；
图57是图示用于计算估算混合比的处理的流程图；
图58图示用于逼近混合比α的直线；
图59图示用于逼近混合比α的平面；
图60图示当计算混合比α时多个帧中多个像素的关系；
图61是图示混合比估算处理器401的另一个配置的方框图；
图62图示估算混合比的例子；
图63是图示利用对应于被覆盖的背景区域的模型的混合比估算处理的流程图；
图64是图示背景/前景分离器105的配置的实例的方框图；
图65A图示输入图像、前景分量图像和背景分量图像；
图65B图示输入图像、前景分量图像和背景分量图像的模型；
图66图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图67图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图68图示在时间方向上扩展像素值以及划分对应于快门时间的周期的模型；
图69是图示分离部分601的配置的实例的方框图；
图70A图示分离的前景分量图像的实例；
图70B图示分离的背景分量图像的实例；
图71是图示用于分离前景和背景的处理的流程图；
图72是图示运动模糊调整单元106的配置的实例的方框图；
图73图示处理单元；
图74图示在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图75图示在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图76图示在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图77图示在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图78图示运动模糊调整单元106的另一个配置的实例；
图79是图示用于通过运动模糊调整单元106调整包含在前景分量图像中的运动模糊量的处理的流程图；
图80是图示运动模糊调整单元106的另一个配置的实例的方框图；
图81图示指示在各像素值与各前景分量之间的关系的模型的实例；
图82图示前景分量的计算；
图83图示前景分量的计算；
图84是图示消除包含在前景中的运动模糊的处理的流程图；
图85是图示图像处理设备的功能的另一配置的方框图；
图86图示合成器1001的配置；
图87是图示图像处理设备的功能的再一配置的方框图；
图88是图示混合比计算器1101的配置的方框图；
图89是图示前景/背景分离器1102的配置的方框图；
图90是图示图像处理设备的功能的再一配置的方框图；
图91图示合成器1201的配置；
图92示出图像处理设备的实施例，用于根据作为分量信号输入的输入图像产生区域信息；
图93图示分量1、分量2和分量3之间的关系；
图94是图示用于利用分量信号确定区域的处理的流程图；
图95示出图像处理设备的另实施例，用于根据作为分量信号输入的输入图像产生区域信息；
图96是图示用于利用分量信号确定区域的另一处理的流程图；
图97示出图像处理设备的再实施例，用于根据作为分量信号输入的输入图像产生区域信息；
图98示出在静止区域和在运动区域中的空间相关性和时间相关性之间的关系；
图99图示空间相关性的计算的实例；
图100图示时间相关性的计算的实例；
图101图示在静止区域中的时间相关性和空间相关性；
图102图示在运动区域中的时间相关性和空间相关性；
图103示出输入图像的实例；
图104示出运动区域或静止区域的确定结果；
图105示出利用15×15像素作为单位的块，确定运动区域或静止区域的结果；
图106示出确定前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的结果；
图107是图示利用分量信号确定区域的处理的流程图；
图108示出图像处理设备的实施例，用于根据作为分量信号输入的输入图像和区域信息计算混合比；
图109图示在每个分量信号中的各混合比之间的关系；
图110是图示用于利用分量信号计算混合比的处理的流程图；
图111示出图像处理设备的另实施例，用于根据作为分量信号输入的输入图像和区域信息计算混合比；
图112是图示利用分量信号确定区域的另一处理的流程图；
图113示出图像处理设备的再实施例，用于根据作为分量信号输入的输入图像和区域信息计算混合比；
图114是图示混合比计算器1421的配置的方框图；以及
图115图示用于根据作为分量信号输入的输入图像和区域信息计算混合比的再一处理。
具体实施方式
图1示出本发明的图像处理设备一个实施例。CPU(中央处理单元)21根据存储在ROM(只读存储器)22或者存储单元28中的程序执行各种处理。CPU21执行的程序以及数据按照需要被存储在RAM(随机存取存储器)23中。CPU21、ROM22和RAM23通过总线24彼此连接。
输入/输出接口25还经由总线24连接到CPU21。由键盘、鼠标、麦克风等构成的输入单元26和由显示器、扬声器等构成的输出单元27连接到输入/输出接口25。CPU21响应从输入单元26输入的命令执行各种处理。CPU21随后输出作为对输出单元27处理的结果而获得的图像或者声音。
连接到输入/输出接口25的存储单元28由例如硬盘构成，并且存储由CPU 21执行的程序和各种数据。通信单元29经由互联网或者其它网络与外部装置通信。在该实例中，通信单元29用作一个获取传感器输出的获取单元。
作为选择，程序可以经由通信单元29获得，并存储到存储单元28中。
连接输入/输出接口25的驱动器30驱动磁盘51、光盘52、磁光盘53、半导体存储器54或者类似物，当此类存储媒介被连接到驱动器30上时，驱动器30获得相应媒介上的程序和数据。驱动器30获得存储在对应的媒体中的程序或者数据。如果有必要，则将获得的程序或者数据传递给存储单元28并存储在其中。
图2是图示图像处理设备的方框图。
图像处理设备的各个功能是由硬件还是由软件实施并不重要。也就是说，本说明书的方框图可以是硬件方框图或者软件功能方框图。
在该说明书中，对应于现实世界的对象的、将要捕获的图像被称作图像对象。
供应给图像处理设备的输入图像被供应给对象提取单元101、区域指定单元103、混合比计算器104和前景/背景分离器105。
对象提取单元101提取对应于包含在输入图像中的前景对象的粗图像对象，并把提取得图像对象供应给运动检测器102。对象提取单元101例如检测包含在输入图像中的前景图像的轮廓，以便提取对应于前景对象的粗图像对象。
对象提取单元101提取对应于包含在输入图像中的背景对象的粗图像对象，并且把提取的图像对象供应给运动检测器102。对象提取单元101从例如输入图像与对应于前景对象的所提取的图像对象之间的差异，提取对应于背景对象的粗图像对象。
作为选择，例如，对象提取单元101可以从内置背景存储器中存储的背景图像与输入图像之间的差异，提取对应于前景对象的粗图像对象和对应于背景对象的粗图像对象。
运动检测器102根据诸如块匹配、梯度、相位相关性，或者像素递归技术计算对应于前景对象的粗略地提取的图像对象的运动向量，并且把所计算的运动向量和运动向量位置信息(是用于指定对应于运动向量的像素的位置的信息)供应给区域指定单元103和运动模糊提取单元106。
运动检测器102输出的运动向量包含对应于运动量v的信息。
运动检测器102可以将每个图像对象的运动向量与指定图像对象的像素的像素位置信息一同输出给运动模糊调整单元106。
运动量v是以像素间距单位指示在对应于运动对象的图像中的位置变化的值。例如，如果对应于前景的对象图像正在运动，使该对象图像位于后续帧时被显示在远离基准帧四个像素的位置上，则对应于前景的对象图像的运动量v是4。
当调整对应于运动对象的运动模糊量时，需要对象提取单元101和运动检测器102。
区域指定单元103确定输入图像的每个像素属于前景区域、背景区域或者混合区域的哪一个，并且把指示每个像素属于哪个区域的信息(以下称之为“区域信息”)供应给混合比计算器104、前景/背景分离器105以及运动模糊调整单元106。
混合比计算器104根据输入图像和从区域指定单元103供应的区域信息，计算对应于包含在混合区域63中的像素的混合比(以下称之为“混合比α”)，并且将该混合比α供应给前景/背景分离器105。
该混合比α是指示对应于背景对象的图像分量(以下称之为“背景分量”)与如下所示方程(3)所表示的像素值的比值的一个值。
前景/背景分离器105根据从区域指定单元103供应的区域信息和从混合比计算器104供应的混合比α，将输入图像分离成仅由对应于前景对象的图像分量构成的前景分量图像(以下称之为“前景分量”)和仅由背景分量构成的背景分量图像，并且将前景分量图像供应给运动模糊调整单元106和选择器107。所分离的前景分量图像可以被设置为最终输出。与仅仅指定前景和背景而不考虑混合区域的已知方法比较，本发明可以获得更精确地的前景和背景。
运动模糊调整单元106根据从运动向量获得的运动量v和区域信息，确定指示包含在前景分量图像中的至少一个像素的处理单位。该处理单位用于指定一组将要接受运动模糊调整的像素的数据。
根据输入到图像处理设备中的运动模糊将被调整的量、从前景/背景分离器105供应的前景分量图像、从运动检测器102供应的运动向量及其位置信息以及处理单位，运动调整单元106通过消除、减少或者增加包含在前景分量图像中的运动模糊来调整包含在前景分量图像中的运动模糊量。运动模糊调整单元106随后向选择器107输出调整了运动模糊量的前景分量图像。但是，使用运动向量及其位置信息并不是必需的。
运动模糊是包含在对应于一运动对象的图像中的失真，该运动对象由现实世界中将要捕获的对象以及传感器的图像捕获特性所引起。
选择器107根据反映用户选择的一个选择信号，选择从前景/背景分离器105供应的前景分量图像和从运动模糊调整单元106供应的调整了运动模糊量的前景分量图像之一，并且输出所选择的前景分量图像。
下面参考图3至图18讨论供应给图像处理设备的输入图像。
图3图示由传感器执行的图像捕获。传感器由例如装备了CCD(电荷耦合器件)区域传感器的一个CCD摄像机构成，它是固态图像捕获器件。对应于现实世界前景的对象111例如在对应于背景的对象112与传感器之间水平地从左向右运动。
传感器捕获对应于前景的对象111的图像和对应于背景的对象112的图像。传感器按帧为单位输出已捕获的图像。例如，传感器输出具有每秒30帧的图像。传感器的曝光时间可以是1/30秒。曝光时间是传感器开始把输入光转换成电荷到完成从输入光转换成电荷的周期。曝光时间也被称之为“快门时间”。
图4图示像素的排列。在图4中，A至I指示各个像素。这些像素被布置在对应的图像的平面上。对应于每个像素的检测装置被设置在传感器上。当传感器执行图像捕获时，每个检测装置输出形成图像的对应像素的像素值。例如，X方向的检测装置的位置对应于图像的水平方向，而Y方向的检测装置的位置对应于图像的垂直方向。
如图5所示，检测装置(例如是CCD)在对应于快门时间的周期期间，把输入光转换成电荷，并且存储已转换的电荷。电荷量几乎与输入光的光强以及输入该光的周期成比例。在对应于快门时间的周期期间检测装置顺序地把从输入光转换的电荷添加到已存储的电荷上。也就是说，检测装置在对应于快门时间的周期期间积分输入光，并且存储对应于被积分光的光量的电荷。可以认为检测装置具有关于时间的积分功能。
检测置中存储的电荷由一个电路(未示出)转换成电压值，该电压值被进一步转换成像素值，比如数字数据，然后输出。因此，传感器输出的每个像素值是投射到线性空间上的值，它是关于快门时间积分对应于前景或者背景的对象的某一三维部分的结果。
图像处理设备通过传感器的存储操作提取插入到输出信号中的有效信息，例如混合比α。图像处理设备调整失真量，例如调整由于前景图像对象本身的混合造成的运动模糊量。图像处理设备还调整由于前景图像对象和背景图像对象的混合造成的失真量。
图6A图示通过捕获对应于运动前景的对象和对应于静止背景的对象而获得的图像。图6B图示通过捕获对应于运动前景的对象和对应于静止背景的对象而获得的图像的模型。
图6A图示通过捕获对应于运动前景的对象和对应于静止背景的对象而获得的图像。在图6A所示的实例中，对应于前景的对象正在从屏幕左边水平地移动到屏幕右边。
图6B图示通过在时间方向上扩展对应于图6A中所示一行图像的像素值而获得的模型。图6B中所示的水平方向对应于图6A中的空间方向X。
背景区域中像素的值仅仅由背景分量构成，也就是由对应于背景对象的图像分量构成。前景区域中像素的值仅仅由前景分量构成，也就是由对应于前景对象的图像分量构成。
混合区域的像素的值由背景分量和前景分量构成。由于混合区域中像素的值由背景分量和前景分量构成，因此它被称之为“失真区域”。混合区域还被进一步分成被覆盖的背景区域和未被覆盖的背景区域。
被覆盖的背景区域是对应于前景对象正在运动的方向上的前端的位置上的混合区域，其中背景分量随时间流逝而被前景逐渐覆盖。
相反，未被覆盖的背景区域是对应于前景对象正在运动方向上的尾端的混合区域，其中背景分量随时间流逝而逐渐出现。
按照以上讨论，包含前景区域、背景区域、被覆盖的背景区域或者未被覆盖的背景区域的图像作为输入图像输入到区域指定单元103、混合比计算单元104和前景/背景分离器105。
图7图示以上讨论的背景区域、前景区域、混合区域、被覆盖的背景区域和未被覆盖的背景区域。在对应于图6A所示的图像的区域中，背景区域是静止部分，前景区域是运动部分，混合区域的被覆盖的背景区域是从背景区域到前景区域变化的部分，混合区域的未被覆盖的背景区域是从前景到背景变化的部分。
图8图示通过在时间方向上扩展在图像中并排排列的多个像素的像素值而获得的模型，其中所述图像是通过捕获对应于静止前景的对象图像和对应于静止背景的对象图像获得的。例如，可以把屏幕上一行中排列的像素选作并排排列的像素。
图8所示的F01至F04所示的像素值是对应于静止前景对象的像素值。图8所示的B01至B04所示的像素值是对应于静止背景对象的像素值。
在图8的垂直方向，时间从图8的顶部到底部地流逝。图8中矩形的顶端上的位置对应于传感器开始把输入光变换成电荷的时间，图8中矩形的底端上的位置对应于传感器完成从输入光变换成电荷的时间。也就是说，从图8中矩形的顶端至底端的距离对应于快门时间。
现在说明图8所示的像素，假定例如快门时间等于帧长。
图8的水平方向对应于图6A中的空间方向X。更具体地说，在图8中所示的实例中，从图8的“F01”指示的矩形的左边到由“B04”指示的矩形的右边是像素间距的八倍，即，八个相邻像素。
当前景对象和背景对象都是静止的时，进入传感器的光在对应于快门时间的周期期间不变化。
对应于快门时间的周期被分成两个或多个等周期部分。例如，如果虚拟划分部分的数量是4，则图8所示的模型可以由图9所示的模型代表。可以在快门时间内，根据对应于前景的对象的运动量v设置虚拟划分部分的数量。例如，当运动量v是4时，虚拟划分部分的数量被设置为4，并且把对应于快门时间的周期分成四个部分。
图9的最上行对应于快门打开时的第一划分周期。图9的第二行对应于快门打开时的第二划分周期。图9的第三行对应于快门打开时的第三划分周期。图9的第四行对应于快门打开时的第四划分周期。
根据运动量v划分的快门时间在下文中还被称之为“快门时间/v”。
当对应于前景的对象是静止的时，进入传感器的光不变化，因而前景分量F01/v等于通过用虚拟划分部分数量除像素值F01获得的值。同样，当对应于前景的对象是静止的时，前景分量F02/v等于通过用虚拟划分部分数量除像素值F02获得的值，前景分量F03/v等于通过用虚拟划分部分数量除像素值F03获得的值，前景分量F04/v等于通过用虚拟划分部分数量除像素值F04获得的值。
当对应于背景的对象是静止的时，进入传感器的光不变化，因而背景分量B01/v等于通过用虚拟划分部分数量除像素值B01获得的值。同样，当对应于背景的对象是静止的时，背景分量B02/v等于通过用虚拟划分部分数量除像素值B02获得的值，背景分量B03/v等于通过用虚拟划分部分数量除像素值B03获得的值，背景分量B04/v等于通过用虚拟划分部分数量除像素值B04获得的值。
更具体地说，当对应于前景的对象是静止不动时，对应于进入传感器的前景对象的光在对应于快门时间的周期期间不变化。所以，对应于快门打开时快门时间/v的第一部分的前景分量F01/v、对应于快门打开时快门时间/v的第二部分的前景分量F01/v、对应于快门打开时快门时间/v的第三部分的前景分量F01/v、对应于快门打开时快门时间/v的第四部分的前景分量F01/v成为相同的值。如F01/v的情况同样适用于F02/v至F04/v。
当对应于背景的对象静止不动时，对应于进入传感器的背景对象输入的光在对应于快门时间的周期期间不变化。所以，对应于快门打开时快门时间/v的第一部分的背景分量B01/v、对应于快门打开时快门时间/v的第二部分的背景分量B01/v、对应于快门打开时快门时间/v的第三部分的背景分量B01/v、对应于快门打开时快门时间/v的第四部分的背景分量B01/v成为相同的值。上述情况同样适用于B02/v至B04/v。
这里给出了这样一种情况的说明：对应于前景的对象正在运动，而对应于背景的对象静止不动。
图10图示当对应于前景的对象正在向图10的右边运动时，通过在时间方向上对包括被覆盖的背景区域的一行中像素的像素值进行扩展而获得的模型。在图10中，运动量v是4。由于一帧是短周期，因此可以假定对应于前景的对象是以等速度运动的刚体。在图10中，对应于前景的对象图像正在运动，这样，当在后续帧显示它时，它被定位到基准帧的向右四个像素。
在图10中，从最左边像素到第四像素的各像素属于前景区域。在图10中，从左数第五像素到第七像素的像素属于混合区域，即，被覆盖的背景区域。在图10中，最右边的像素属于背景区域。
对应于前景的对象正在运动，使得它随时间变化逐渐覆盖对应于背景的对象。因此，属于被覆盖的背景区域的这些像素的像素值中含有的分量在对应于快门时间的周期期间的某一时刻从背景分量变化到前景分量。
例如，由图10中粗线框(thick frame)包围的像素值M由以下方程(1)表示。
M＝B02/v+B02/v+F07/v+f06/v    (1)
例如，左数第五像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因而左数第五像素的混合比α是1/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个部分的前景分量，因此，左数第七像素的混合比α是3/4。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使得它被显示到后续帧的向右四个像素。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10中从左数第四像素的前景分量F07/v等于当快门打开时对应于快门时间/v的第二部分的图10中从左数第五像素的前景分量。同样，前景分量F07/v等于当快门打开时对应于快门时间/v的第三部分的图10中从左数第六像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10中从左数第七像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使得它被显示到后续帧的向右四个像素。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10从左数第三像素的前景分量F06/v等于当快门打开时对应于快门时间/v的第二部分的图10从左数第四像素的前景分量。同样，前景分量F06/v等于当快门打开时对应于快门时间/v的第三部分的图10从左数第五像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图10从左数第六像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使得它被显示到后续帧的向右四个像素。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10中从左数第二像素的前景分量F05/v等于当快门打开时对应于快门时间/v的第二部分的图10中从左数第三像素的前景分量。同样，前景分量F05/v等于当快门打开时对应于快门时间/v的第三部分的图10中从左数第四像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10中从左数第五像素的前景分量。
可以假定对应于前景的对象是刚体，该前景对象正在以等速度运动，使得它被显示到后续帧的向右四个像素。因此，例如，当快门打开时对应于快门时间/v的第一部分的图10中最左边像素的前景分量F04/v等于当快门打开时对应于快门时间/v的第二部分的图10中从左数第二像素的前景分量。同样，前景分量F04/v等于当快门打开时对应于快门时间/v的第三部分的图10中从左数第三像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图10中从左数第四像素的前景分量。
由于对应于运动对象的前景区域包含如上述讨论的运动模糊，因此它也可以被称之为“失真区域”。
图11中图示当对应于前景的对象正在向图11中的右边运动时，通过在时间方向上对包括一个未被覆盖的背景区域的一行中像素的像素值进行扩展而获得的模型。在图11中，运动量v是4。由于一帧是短周期，因此可以假定对应于前景的对象是以等速度运动的刚体。在图11中，对应于前景的对象图像正在运动到右边，这样当在后续帧显示它时，它被定位到基准帧的向右四个像素。
在图11中，从最左边像素到第四像素的多个像素属于背景区域。在图11中，从左数第五像素到第七像素的像素属于混合区域，即，未被覆盖的背景区域。在图11中，最右边像素属于前景区域。
对应于前景的对象正在运动，使得它随时间变化逐渐从对应于背景的对象中移出，其中所述前景覆盖对应于背景的对象。因此，属于未被覆盖的背景区域的这些像素的像素值中含有的分量在对应于快门时间的周期的某一时刻从前景分量变化成背景分量。
例如，由图11中粗体框包围的像素值M由以下方程(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v    (2)
例如，左数第五像素包含对应于快门时间/v的三个部分的背景分量和对应于快门时间/v的一个快门部分的前景分量，因而左数第五像素的混合比α是3/4。左数第六像素包含对应于快门时间/v的两个部分的背景分量和对应于快门时间/v的两个部分的前景分量，因此，左数第六像素的混合比α是1/2。左数第七像素包含对应于快门时间/v的一个部分的背景分量和对应于快门时间/v的三个部分的前景分量，因此，左数第七像素的混合比α是1/4。
当归纳方程(1)和(2)时，像素值M可以由方程(3)表达： M = α · B + Σ i Fi / v . . . . . . ( 3 )
其中α是混合比，B指示背景的像素值，以及Fi/v指定前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11中从左数第五像素的前景分量F01/v等于当快门打开时对应于快门时间/v的第二部分的图11中从左数第六像素的前景分量。同样，前景分量F01/v等于当快门打开时对应于快门时间/v的第三部分的图11中从左数第七像素的前景分量，以及等于当快门打开时对应于快门时间/v的第四部分的图11中从左数第八像素的前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v的第一部分的图11中从左数第六像素的前景分量F02/v等于当快门打开时对应于快门时间/v的第二部分的图11中从左数第七像素的前景分量。同样，前景分量F02/v等于当快门打开时对应于快门时间/v的第三部分的图11中从左数第八像素的前景分量。
可以假定对应于前景的对象是正在以等速度运动的刚体，并且运动量v是4。因此，例如，当快门打开时对应于快门时间/v第一部分的图11中从左数第七像素的前景分量F03/v等于当快门打开时对应于快门时间/v的第二部分的图11中从左数第八像素的前景分量。
上面已经结合图9至图11说明了虚拟划分部分的数量是4的情况。虚拟划分部分的数量相当于运动量v。通常，运动量v相当于对应于前景的对象的运动速度。例如，如果对应于前景的对象正在运动，使得当它定位于后续帧时被显示到某一帧的向右四个像素，则运动量v被设置为4。根据该运动量v，将虚拟划分部分的数量设置为4。同样，当对应于前景的对象正在运动，使得当它定位于后续帧时被显示到某一帧的右边六个像素，运动量v被设置为6，并且将虚拟划分部分的数量设置为6。
图12和图13图示关于与快门时间的划分周期对应的前景分量和背景分量的前景区域、背景区域和混合区域的关系，该混合区域由以上讨论的被覆盖的背景或者未被覆盖的背景组成。
图12图示从图像中提取前景区域、背景区域和混合区域中的像素的实例，所述图像包含对应于在静止背景的前方运动的对象的前景。在图12的实例中，对应于前景的对象正在相对于屏幕水平运动。
帧#n+1是帧#n之后的帧，#n+2是帧#n+1之后的帧。
前景区域、背景区域和混合区域中的像素从帧#n至#n+2之一中提取，并且运动量v被设置为4。图13显示了通过在时间方向上扩展所提取的像素的像素值而获得的模型。
由于对应于前景的对象正在运动，因此前景区域中的像素值由对应于快门时间/v的四个不同前景分量构成。例如，图13所示的前景区域中像素的最左边像素由F01/v、F02/v、F03/v和F04/v组成。也就是说，前景中的像素包含运动模糊。
由于对应于背景的对象是静止的，在快门时间期间进入对应于背景的传感器的光不改变。在该情况下，背景区域中的像素值不包含运动模糊。
由一个被覆盖的背景区域或者一个未被覆盖的背景区域组成的混合区域中的像素值由前景分量和背景分量构成。
下面给出通过在时间方向扩展多个像素的像素值而获得的模型的说明，所述的多个像素在多个帧中被并排排列，并且当对应于对象的图像正在运动而导致这些帧重叠的时候这些像素位于同一位置。例如，当对应于对象的图像正在相对于屏幕水平运动时，排列在屏幕上的像素可以被选择为并排排列的像素。
图14图示通过在时间方向扩展多个像素而获得的模型，所述多个像素被并排排列在通过捕获对应于静止背景的对象而获得的图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。帧#n是帧#n-1之后的帧，帧#n+1是帧#n之后的帧。上述说明适用于其它帧。
图14中所示像素值B01至B12是对应于静止背景对象的像素值。由于对应于背景的对象静止不动，因此帧#n-1至#n+1中对应像素的像素值不改变。例如，帧#n的像素和位于具有帧#n-1中像素值B05的像素的对应位置的#n+1中的像素具有像素值B05。
图15图示通过在时间方向扩展多个像素而获得的模型，所述多个像素被并排排列在通过捕获与正在向图15的右边运动的前景相对应的对象和对应于静止背景的对象而获得的图像的三个帧中，并且当这些帧重叠时这些像素位于同一位置上。图15所示的模型包含被覆盖的背景区域。
在图15中，可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使得它被显示到后续帧的向右四个像素。所以运动量v是4，并且虚拟划分部分的数量是4。
例如，当快门打开时对应于快门时间/v的第一部分的图15中帧#n-1的最左边像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中从左数第二像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15中从左数第四像素的前景分量也是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15中帧#n-1的最左边像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中从左数第二像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第三像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n-1的最左边像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中从左数第二像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n-1的最左像素的前景分量是F09/v。
在图15的帧#n-1中，最左边像素属于背景区域，以及左数第二至第四像素属于被覆盖的背景区域的混合区域。
从图15中帧#n-1左数第五至第十二像素属于背景区域，其像素值分别是B04至B11。
从图15中帧#n中左数第一至五像素属于前景区域。帧#n的前景区域中快门时间/v中前景分量是F05/v至F12/v的任何一个。
可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示到后续帧向右四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n中左数第五像素的前景分量是F12/v，并且当快门打开时对应于快门时间/v的第二部分的图15中左数第六像素的前景分量也是F12/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图15中左数第八像素的前景分量也是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15中帧#n中左数第五像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15中左数第六像素的前景分量也是F11/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第七像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n中左数第五像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中左数第六像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15中帧#n中左数第五像素的前景分量是F09/v。
由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第一部分的图15中帧#n中左数第六像素的背景分量是B05/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n中左数第七像素的背景分量是B06/v。当快门打开时对应于快门时间/v的第一至第三部分的图15中帧#n中左数第八像素的背景分量是B07/v。
在图15中的帧#n中，左数第六至第八像素属于混合区域，即属于被覆盖的背景区域。
图15中帧#n中左数第九至第十二像素属于背景区域，并且其像素值分别是B08至B11。
图15中帧#n+1左数第一至第九像素属于前景区域，帧#n+1的前景区域中的快门时间/v的前景分量是F01/v至F12/v的任一个。
可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示到后续帧向右四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图15中帧#n+1左数第九像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第二部分的图15左数第十像素的前景分量是F12/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图15左数第十二像素的前景分量是F12/v。
当快门打开时对应于快门时间/v的第二部分的图15帧#n+1左数第九像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第三部分的图15左数第十像素的前景分量是F11/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十一像素的前景分量是F11/v。
当快门打开时对应于快门时间/v的第三部分的图15中帧#n+1左数第九像素的前景分量是F10/v。当快门打开时对应于快门时间/v的第四部分的图15左数第十像素的前景分量也是F10/v。当快门打开时对应于快门时间/v的第四部分的图15帧#n+1左数第九像素的前景分量是F09/v。
由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第一部分的图15左数第十像素的背景分量是B09/v。当快门打开时对应于快门时间/v的第一和第二部分的图15中帧#n+1左数第十一像素的背景分量是B10/v。当快门打开时对应于快门时间/v的第一和第三部分的图15中帧#n+1左数第十二像素的背景分量是B11/v。
在图15中的帧#n+1中，左数第十至第十二像素属于混合区域，它是被覆盖的背景区域。
图16图示从图15所示的像素中提取前景分量而获得的像素的一个模型。
图17图示通过在时间方向上扩展多个像素而获得的模型，这些像素在图像的三个帧中并排排列，并且当这些帧重叠时位于相同位置上，所述的图像是通过捕获对应于正在向图17右边运动的前景的对象和对应于静止背景的对象而获得的。图17所示的模型包含未被覆盖的背景区域。
在图17中，可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使得它被显示到后续帧的向右四个像素。所以，运动量v是4。
例如，当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1最左边像素的前景分量是F13/v，以及当快门打开时对应于快门时间/v的第二部分的图17左数第二像素的前景分量也是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第四像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n-1左数第二像素前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第三像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第三部分的图17左数第三像素的前景分量是F15/v。
由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17中帧#n-1的最左边像素的背景分量是B25/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n-1左数第二像素的背景分量是B26/v。当快门打开时对应于快门时间/v的第四部分的图17中#n-1左数第三像素的背景分量是B27/v。
在图17的帧#n-1中，最左边像素至第三像素属于混合区域，是未被覆盖的背景区域。
图17中帧#n-1左数第四至第十二像素属于前景区域。该帧的前景分量是F13/v至F24/v的任何一个。
图17中帧#n中左数最左边像素至第三像素属于背景区域，并且其像素值分别是B25至B28。
可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示到后续帧向右四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n中左数第五像素的前景分量是F13/v，并且当快门打开时对应于快门时间/v的第二部分的图17中左数第六像素的前景分量也是F13/v。当快门打开时对应于快门时间/v的第三部分的图17中左数第七像素的前景分量，以及当快门打开时对应于快门时间/v的第四部分的图17中左数第八像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n中左数第六像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17中左数第七像素的前景分量也是F14/v。当快门打开时对应于快门时间/v的第一部分的图17中左数第八像素的前景分量是F15/v。
由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17中帧#n中左数第五像素的背景分量是B29/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n中左数第六像素的背景分量是B30/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n中左数第七像素的背景分量是B31/v。
在图17中的帧#n中，左数第五至第七像素属于混合区域，它是未被覆盖的背景区域。
图17中帧#n中左数第八至第十二像素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的前景分量值是F13/v至F20/v的任一个。
图17中帧#n+1最左边像素至左数第八像素属于背景区域，并且其像素值分别是B25至B32。
可以假定对应于前景的对象是以恒等速度运动的刚体，并且正在运动，使前景图像被显示到后续帧向右四个像素。所以，当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第九像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十像素的前景分量是F13/v。当快门打开时对应于快门时间/v的第三部分的图17左数第十一像素的前景分量和当快门打开时对应于快门时间/v的第四部分的图17左数第十二像素的前景分量是F13/v。
当快门打开时对应于快门时间/v的第一部分的图17中帧#n+1左数第十像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第二部分的图17左数第十一像素的前景分量是F14/v。当快门打开时对应于快门时间/v的第三部分的图17左数第十二像素的前景分量是F15/v。
由于对应于背景的对象是静止的，因此当快门打开时对应于快门时间/v的第二至第四部分的图17帧#n+1左数第九像素的背景分量是B33/v。当快门打开时对应于快门时间/v的第三和第四部分的图17中帧#n+1左数第十像素的背景分量是B34/v。当快门打开时对应于快门时间/v的第四部分的图17中帧#n+1左数第十一像素的背景分量是B35/v。
在图17中的帧#n+1中，从图17左数第九至第十一像素属于混合区域，它是未被覆盖的背景区域。
图17中帧#n+1左数第十二像素属于前景区域。帧#n+1的前景区域中快门时间/v中的前景分量分别是F13至F16的任一个。
图18图示通过从图17所指的像素值中提取前景分量获得的图像的一个模型。
再参考图2，区域指定单元103通过使用多个帧的像素值指定多个标记，以指示输入帧的各个像素属于前景区域、背景区域、被覆盖的背景区域或者未被覆盖的背景区域之中的哪一个，并且将这些标记作为区域信息供应给混合比计算器104和运动模糊调整单元106。
混合比计算器104根据多个帧的像素值和区域信息计算包含在混合区域中的每个像素的混合比α，并把所计算的混合比α供应给前景/背景分离器105。
前景/背景分离器105根据多个帧的像素值、区域信息和混合比α提取仅仅由前景分量组成的前景分量图像，并且把前景分量图像供应给运动模糊调整单元106。
运动模糊调整单元106根据从前景/背景分离器105供应的前景分量图像、从运动检测器102供应的运动向量和从区域指定单元103供应的区域信息来调整前景分量图像中包含的运动模糊量，然后输出调整了运动模糊的前景分量图像。
下面参考图19的流程图说明由图像处理设备执行调整运动模糊量的处理。在步骤S11中，区域指定单元103根据输入图像执行区域指定处理，用于生成区域信息，该区域信息指示输入图像的每个像素属于前景区域、背景区域、被覆盖的背景区域或者未被覆盖的背景区域之中的哪一个。下面说明区域指定处理的细节。区域指定单元103向混合比计算器104供应所生成的区域信息。
在步骤S11中，区域指定单元103根据输入图像生成区域信息，以指示输入图像的每个像素属于前景区域、背景区域或者混合区域(不考虑每个像素是属于被覆盖的背景区域还是属于未被覆盖的背景区域)中的哪一个。在此情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向确定混合区域是被覆盖的背景区域还是未被覆盖的背景区域。如果输入图像在运动矢量方向上以前景区域、混合区域和背景区域的次序设置，则确定混合区域是未被覆盖的背景区域。
在步骤S12中，混合比计算器104根据输入图像和区域信息计算混合区域中包含的每个像素的混合比α。下面给出混合比计算处理的细节。混合比计算处理器104将计算的混合比α供应给前景/背景分离器105。
在步骤S13中，前景/背景分离器105根据区域信息和混合比α从输入图像中提取前景分量，并且把前景分量作为前景分量图像供应给运动模糊调整单元106。
在步骤S14中，运动模糊调整单元106根据运动矢量和区域信息生成处理单位，并调整对应于该处理单位的前景分量中包含的运动模糊量，其中，所述处理单位指示在运动方向上布置的连续像素的位置，并且这些连续像素属于未被覆盖的背景区域、前景区域和被覆盖的背景区域的任一个。下面给出调整运动模糊量的处理细节。
在步骤S15中，图像处理设备确定是否完成用于整个屏幕的处理。如果确定没有完成用于整个屏幕的处理，则处理前进到步骤S14，并且重复调整对应于处理单位的前景分量的运动模糊量的处理。
如果在步骤S15中确定用于整个屏幕的处理已经完成，则结束该处理。
在此方式中，图像处理设备能够通过分离前景和背景来调整前景中包含的运动模糊量。也就是说，图像处理设备能够调整被包含在指示前景像素的像素值的抽样数据中的运动模糊量。
下面说明区域指定单元103、混合比计算器104、前景/背景分离器105和运动模糊调整单元106中每个的配置。
图20是图示说明区域指定单元103的配置的一个实例的方框图。图20中显示的区域指定单元103不使用运动向量。帧存储器201按帧为单位存储输入图像。当待处理的图像是#n时，帧存储器201存储帧#n-2(是帧#n前两个帧的帧)、帧#n-1(是帧#n前一个帧的帧)、帧#n、帧#n+1(是帧#n后一个帧的帧)、帧#n+2(是帧#n后二个帧的帧)。
静止/运动确定部分202-1从帧存储器201中读取位于与帧#n的指定像素相同位置上的帧#n+2的像素的像素值，在#n帧中确定该像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n+1的像素的像素值，并计算所读出的像素值之间差值的绝对值。静止/运动确定部分202-1确定帧#n+2的像素值与帧#n+1的像素值之间差值的绝对值是否大于预置的阈值Th。如果确定该差值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-1。如果确定帧#n+2的像素的像素值与帧#n+1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-1把表示“静止”的静止/运动确定供应给区域确定部分203-1。
静止/运动确定部分202-2从帧存储器201中读取帧#n的指定像素的像素值，在#n中确定该特定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n+1的像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-2确定帧#n+1的像素值与帧#n的像素值之差的绝对值是否大于阈值Th。如果确定这些像素之差的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1的像素的像素值与帧#n的像素的像素值之差的绝对值小于或者等于阈值Th，则静止/运动确定部分202-2把表示“静止”的静止/运动确定供应给区域确定部分203-1和区域确定部分203-2。
静止/运动确定部分202-3从帧存储器201中读取帧#n的指定像素的像素值，在帧#n中确定该指定像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n-1的像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-3确定帧#n的像素值与帧#n-1的像素值之间差值的绝对值是否大于阈值Th。如果确定这些像素之间差值的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-2和区域确定部分203-3。如果确定帧#n的像素的像素值与帧#n-1的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-3把表示“静止”的静止/运动确定供应给区域确定部分203-2和区域确定部分203-3。
静止/运动确定部分202-4从帧存储器201中读取位于与帧#n的指定像素相同位置上的帧#n-1的像素的像素值，在帧#n中确定该像素属于的区域，并且从帧存储器201中读取位于与帧#n的该指定像素相同位置上的帧#n-2的像素的像素值，并计算这些像素值之间差值的绝对值。静止/运动确定部分202-4确定帧#n-1的像素值与帧#n-2的像素值之差的绝对值是否大于预置的阈值Th。如果确定这些像素之差的绝对值大于阈值Th，则把表示“运动”的静止/运动确定供应给区域确定部分203-3。如果确定帧#n-1的像素的像素值与帧#n-2的像素的像素值之间差值的绝对值小于或者等于阈值Th，则静止/运动确定部分202-4把表示“静止”的静止/运动确定供应给区域确定部分203-3。
当从静止/运动确定部分202-1供应的静止/运动确定指示为“静止”以及当从静止/运动确定部分202-2供应的静止/运动确定指示为“运动”时，区域确定部分203-1确定帧#n的指定像素属于未被覆盖的背景区域，并把指示该被指定像素属于未被覆盖的背景区域的“1”设置在与该指定像素关联的未被覆盖的背景区域确定标志中。
当从静止/运动确定部分202-1供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”时，区域指定单元203-1确定帧#n的指定像素不属于未被覆盖的背景区域，并把指示该被指定像素不属于未被覆盖的背景区域的“0”设置在与该被指定像素关联的未被覆盖的背景区域确定标志中。
区域确定部分203-1向存储确定标志的帧存储器204供应按照以上讨论设置为“1”或“0”的未被覆盖的背景区域确定标志。
当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”以及当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”时，区域确定部分203-2确定帧#n的被指定像素属于静止区域，并把指示该像素属于静止区域的“1”设置在与该被指定像素关联的静止区域确定标志中。
当从静止/运动确定部分202-2供应的静止/运动确定表示“运动”或者当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”时，区域确定单元203-2确定帧#n的特定像素不属于静止区域，并把指示该像素不属于静止区域的“0”设置在与该特定像素关联的静止区域确定标志中。
区域确定部分203-2向存储确定标志的帧存储器204供应按照以上讨论设置为“1”或“0”的静止区域确定标志。
当从静止/运动确定部分202-2供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”时，区域确定部分203-2确定帧#n的被指定像素属于运动区域，并把指示该被指定像素属于运动区域的“1”设置在与该被指定像素关联的运动区域确定标志中。
当从静止/运动确定部分202-2供应的静止/运动确定表示“静止”或者当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”时，区域确定部分203-2确定帧#n的被指定像素不属于运动区域，并把指示该被指定像素不属于运动区域的“0”设置在与该被指定像素关联的运动区域确定标志中。
区域确定部分203-2向存储确定标志的帧存储器204供应按照以上讨论设置为“1”或“0”的运动区域确定标志。
当从静止/运动确定部分202-3供应的静止/运动确定表示“运动”以及当从静止/运动确定部分202-4供应的静止/运动确定表示“静止”时，区域确定部分203-3确定帧#n的指定像素属于被覆盖的背景区域，并把指示该指定像素属于被覆盖的背景区域的“1”设置在与该特定像素关联的被覆盖的背景区域确定标志中。
当从静止/运动确定部分202-3供应的静止/运动确定表示“静止”或者当从静止/运动确定部分202-4供应的静止/运动确定表示“运动”时，区域确定部分203-3确定帧#n的指定像素不属于被覆盖的背景区域，并把指示该被指定像素不属被覆盖的背景区域的“0”设置在与该指定像素关联的被覆盖的背景区域确定标志中。
区域确定部分203-3向存储确定标志的帧存储器204供应按照以上讨论设置为“1”或“0”的被覆盖的背景区域确定标志。
存储确定标志的帧存储器204存储从区域确定部分203-1供应的未被覆盖的背景区域确定标志、从区域确定部分203-2供应的静止区域确定标志、从区域确定部分203-2供应的运动区域确定标志以及从区域确定部分203-3供应的被覆盖的背景区域确定标志。
存储确定标志的帧存储器204把所存储的未被覆盖的背景区域确定标志、静止区域确定标志、运动区域确定标志以及被覆盖的背景区域确定标志供应给合成器205。合成器205根据从存储确定标志的帧存储器204供应的未被覆盖的背景区域确定标志、静止区域确定标志、运动区域确定标志和被覆盖的背景区域确定标志来生成区域信息，以指示每个像素属于未被覆盖的背景区域、静止区域、运动区域或者被覆盖的背景区域中的哪一个，并且把区域信息供应给存储确定标志的帧存储器206。
存储确定标志的帧存储器206存储从合成器205供应的区域信息，并且还输出所存储的区域信息。
下面参考图21至25说明由区域指定单元103执行的处理的一个实例。
当对应于前景的对象正在运动时，对应于屏幕上对象的图像的位置在每帧中变化。如图21所示，与位于由帧#n中Yn(x，y)所指示的位置上的对象相对应的图像被定位在帧#n之后的帧#n+1的Yn+1(x，y)上。
图22示出通过在时间方向上扩展沿对应于前景对象的图像的运动方向并排排列的像素的像素值而获得的模型。例如，如果对应于前景对象的图像的运动方向是关于屏幕水平的，则图22中所示的模型是通过在时间方向扩展在一行上并排排列的多个像素的像素值而获得的模型。
在图22中，帧#n中的行等于帧#n+1中的行。
对应于包含在帧#n中左数第二像素至第十三像素中的对象的前景分量被包含在帧#n+1左数第六像素至第十七像素中。
在帧#n中，属于被覆盖的背景区域的多个像素是从左数第七至第十三像素，属于未被覆盖的背景区域的多个像素是从左数第二至第四像素。在帧#n+1中，属于被覆盖的背景区域的多个像素是从左数第十五至第十七像素，属于未被覆盖的背景区域的多个像素是从左数第六至第八像素。
在图22所显示的实例中，由于帧#n中包含的前景分量被帧#n+1中四个像素移动，因此运动量v是4。虚拟划分部分的数量是与运动量v相应的4。
下面给出在被指定帧前后的多个帧中属于混合区域的像素的像素值的变化的说明。
在图23中，属于帧#n中被覆盖的背景区域的像素是左数第十五至第十七像素，在帧#n中背景是静止的并且前景中的运动量v是4。由于运动量v是4，因此从前帧#n-1左数第十五至第十七帧仅仅包含背景分量并且属于背景区域。从帧#n-2(帧#n-1之前的帧)左数第十五至第十七像素仅包含背景分量，并且属于背景区域。
由于对应于背景的对象是静止的，因此帧#n-1左数第十五像素的像素值不会改变帧#n-2左数第十五像素的像素值。同样，帧#n-1左数的第十六像素的像素值不会改变帧#n-2左数第十六像素的像素值，并且帧#n-1左数的第十七像素的像素值不会改变帧#n-2左数第十七像素的像素值。
也就是说，与属于帧#n中被覆盖的背景区域的多个像素相对应的帧#n-1和帧#n-2中的像素仅仅由背景分量组成，其像素值不改变。因此，这些像素值的差值的绝对值几乎等于0。因而由静止/运动确定部分202-4作出的关于对应于属于帧#n中混合区域的多个像素的帧#n-1和帧#n-2中多个像素的静止/运动确定是“静止”。
由于属于帧#n中被覆盖的背景区域的多个像素包含前景分量，因此其像素值不同于仅由背景分量组成的帧#n-1的像素的像素值。因此，由静止/运动确定部分202-3作出的关于属于帧#n中混合区域的多个像素和帧#n-1中对应的多个像素的静止/运动确定是“运动”。
当静止/运动确定部分202-3供应表示“运动”的静止/运动确定结果时，以及当静止/运动确定部分202-4供应表示“静止”的静止/运动确定结果时，按照以上讨论，区域确定部分203-3确定该对应的多个像素属于被覆盖的背景区域。
在图24中，在背景静止不动和前景的运动量v是4的帧#n中，包含在一个未被覆盖的背景区域中的多个像素是左数第二至第四像素。由于运动量v是4，因此后续帧#n+1中左数第二至第四像素仅包含背景分量，并且属于背景区域。在帧#n+1之后的帧#n+2中，左数第二至第四像素仅包含背景分量并且属于背景区域。
由于对应于背景的对象静止不动，因此帧#n+2中左数第二像素的像素值不改变帧#n+1左数第二像素的像素值。同样，帧#n+2中左数第三像素的像素值不改变帧#n+1左数第三像素的像素值，帧#n+2中左数第四像素的像素值不改变帧#n+1左数第四像素的像素值。
也就是说，与属于帧#n中未被覆盖的背景区域的多个像素相对应的帧#n+1和帧#n+2中多个像素仅仅由背景分量组成，并且其像素值不变化。因此，这些像素值的差值的绝对值几乎等于0。这样，由静止/运动确定部分202-1作出的关于与属于帧#n中混合区域的多个像素相对应的帧#n+1和帧#n+2中多个像素的静止/运动确定是“静止”。
由于属于帧#n中未被覆盖的背景区域的像素包含前景分量，因此其像素值不同于仅仅由背景分量组成的帧#n+1的像素值。所以，由静止/运动确定部分202-2作出的关于属于帧#n中混合区域的多个像素和帧#n+1中对应的多个像素的静止/运动确定是“运动”。
当静止/运动确定部分202-2供应表示“运动”的静止/运动确定结果时，以及当静止/运动确定部分202-1供应表示“静止”的静止/运动确定结果时，按照以上讨论，区域确定部分203-1确定该对应的多个像素属于未被覆盖的背景区域。
图25图示由区域指定单元103作出的帧#n的确定条件。当位于与待处理的帧#n的像素相同的图像位置上的帧#n-2的像素的确定结果和位于与帧#n的像素相同的图像位置上的帧#n-1的像素的确定结果是静止的时，以及当帧#n的像素和位于与帧#n的像素相同的图像位置上的帧#n-1的像素的确定结果是运动的时，区域指定单元103确定帧#n+1中的像素属于被覆盖的背景区域。
当帧#n中像素和位于与帧#n的像素相同的图像位置上的帧#n-1的像素的确定结果是静止的时，以及当帧#n的像素确定结果位于与帧#n的指定像素相同的图像位置上的帧#n+1的像素的确定结果是静止的时，区域指定单元103确定帧#n中的像素属于静止区域。
当帧#n中像素的确定结果和位于与帧#n的像素相同的图像位置上的帧#n-1的像素的确定结果是运动的时，以及当帧#n的像素的确定结果和当位于与帧#n的指定像素相同的图像位置上的帧#n+1的像素的确定结果是运动的时，区域指定单元103确定帧#n中的像素属于运动区域。
当帧#n中像素的确定结果和位于与帧#n的像素相同的图像位置上的帧#n+1的像素的确定结果是运动的时，以及当位于与帧#n的像素的相同位置上的帧#n+1的像素的确定结果和位于与帧#n的指定像素相同的图像位置上的帧#n+2的像素的确定结果是静止的时，区域指定单元103确定帧#n中的像素属于未被覆盖的背景区域。
图26A至26D图示区域指定单元103获得的确定结果的实例。在图26A中，用白色指示被确定为属于被覆盖的背景区域的像素。在图26B中，用白色指示被确定为属于未被覆盖的背景区域的像素。
在图26C中，用白色指示被确定为属于运动区域的像素。在图26D中，用白色指示被确定为属于静止区域的像素。
图27图示区域信息，该区域信息指示从存储确定标志的帧存储器输出的区域信息中选择图像形式的混合区域。在图27中，用白色指示被确定为属于被覆盖的背景区域或者未被覆盖的背景区域的像素，即，被确定为属于混合区域的像素。指示从存储确定标志的帧存储器206输出的混合区域的区域信息指定混合区域和具有纹理(texture)的部分，该纹理由前景区域中没有纹理的部分环绕。
下面结合图28的流程图说明区域指定单元103执行的区域指定处理。在步骤S201中，帧存储器201获得包括待确定的#n在内的帧#n-2至#n+2的图像。
在步骤S202中，静止/运动确定部分202-3确定位于相同位置上的帧#n-1中的像素和帧#n中的像素的确定结果是否是静止的。如果确定该确定结果是静止的，则处理前进到步骤S203，由静止/运动确定部分202-2确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是否为静止的。
如果在步骤S203中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是静止的，则处理前进到步骤S204。在步骤S204，区域确定部分203-2将指示待处理的像素属于静止区域的“1”设置在与待处理的像素关联的静止区域确定标志中。区域确定部分203-2向存储确定标志的帧存储器204供应静止区域确定标志，并前进到步骤S205。
如果在步骤S202中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是运动的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和#n+1中像素的确定结果是运动的，则待处理的像素不属于静止区域。因此，步骤S204的处理被跳过，处理前进到步骤S205。
在步骤S205，静止/运动确定部分202-3确定位于同一位置的帧#n-1的像素和#n的像素的确定结果是运动的。如果确定该确定结果是运动的，则处理前进到步骤S206，在此步骤中，静止/运动确定部分202-2确定位于同一位置的帧#n中的像素和帧#n+1中的像素的确定结果是否是运动的。
如果在步骤S206中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是运动的，则处理前进到步骤S207。在步骤S207中，区域确定部分203-2将指示待处理的像素属于运动区域的“1”设置在与该待处理的像素关联的运动区域确定标志中。区域确定部分203-2向存储确定标志的帧存储器204供应运动区域确定标志，然后处理前进到步骤S208。
如果在步骤S205中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是静止的，或者如果在步骤S203中确定位于同一位置的帧#n的像素和#n+1中像素的确定结果是静止的，则帧#n中像素不属于运动区域。因此，步骤S207的处理被跳过，处理前进到步骤S208。
在步骤S208，静止/运动确定部分202-4确定位于同一位置的帧#n-2的像素和#n-1的像素的确定结果是静止的。如果确定该确定结果是静止的，则处理前进到步骤S209，在此步骤中，静止/运动确定部分202-3确定位于同一位置的帧#n-1中的像素和帧#n中的像素是运动的。
如果在步骤S209中确定位于同一位置上的帧#n-1中像素和#n中像素的确定结果是运动的，则处理前进到步骤S210。在步骤S210中，区域确定部分203-3将指示待处理的像素属于被覆盖的背景区域的“1”设置在与该待处理的像素关联的被覆盖的背景区域确定标志中。区域确定部分203-3向存储确定标志的帧存储器204供应被覆盖的背景区域确定标志，并前进到步骤S211。
如果在步骤S208中确定位于同一位置上的帧#n-2中像素和#n-1中像素的确定结果是运动的，或者如果在步骤S209中确定位于同一位置的帧#n-1的像素和#n中的像素的确定结果是静止的，则帧#n中像素不属于被覆盖的背景区域。因此，步骤S210的处理被跳过，于是处理前进到步骤S211。
在步骤S211，静止/运动确定部分202-2确定位于同一位置的帧#n的像素和#n+1的像素的确定结果是运动的。如果在步骤S211中确定该确定结果是运动的，则处理前进到步骤S212，在此步骤中，静止/运动确定部分202-1确定位于同一位置的帧#n+1中的像素和帧#n+2中的像素的确定结果是否为静止的。
如果在步骤S212中确定位于同一位置上的帧#n+1中像素和#n+2中像素的确定结果是静止的，则处理前进到步骤S213。在步骤S213中，区域确定部分203-2将指示待处理的像素属于未被覆盖的背景区域的“1”设置在与该待处理的像素关联的未被覆盖的背景区域确定标志中。区域确定部分203-1向存储确定标志的帧存储器204供应未被覆盖的背景区域确定标志，并前进到步骤S214。
如果在步骤S211中确定位于同一位置上的帧#n中像素和#n+1中像素的确定结果是静止的，或者如果在步骤S212中确定帧#n+1的像素和帧#n+2中像素的确定结果是运动的，则帧#n中像素不属于未被覆盖的背景区域。因此，步骤S213的处理被跳过，处理前进到步骤S214。
在步骤S214中，区域指定单元103确定帧#n的所有像素的区域是否被指定。如果确定帧#n的所有像素的区域还未被指定，则处理返回到步骤S202，并且对于剩余像素重复区域指定处理。
如果在步骤S214中确定帧#n中所有像素都被指定，则处理前进到步骤S215。在步骤S215中，合成器215根据存储在存储确定标志的帧存储器204中的未被覆盖的背景区域确定标志和被覆盖的背景区域确定标志，生成指示混合区域的区域信息，还生成指示每个像素属于未被覆盖的背景区域、静止区域、运动区域、或者被覆盖的背景区域之中的哪一个的区域信息，并且在确定标志存储帧存储器206中设置所生成的区域信息。然后结束该处理。
如上讨论，区域指定单元103能够生成指示包含在一个帧中每个像素属于运动区域、静止区域、未被覆盖的背景区域或者被覆盖的背景区域之中的哪一个的区域信息。
区域指定单元103可以把逻辑OR应用于对应于未被覆盖的背景区域的区域信息和对应于被覆盖的背景区域的区域信息，以便生成对应于混合区域的区域信息，然后可以生成由多个标志组成的区域信息，以指示包含在帧中的各个像素属于运动区域、静止区域或者混合区域之中的哪一个。
当对应于前景的对象具有纹理时，区域指定单元103能够更精确地指定运动区域。
区域指定单元103能够输出指示运动区域的区域信息，以作为指示前景区域的区域信息，并且输出指示静止区域的区域信息，以作为指示背景区域的区域信息。
上面已经描述了假定对应于背景的对象是静止的实施例。然而，即使对应于背景区域的图像包括运动，也可以应用上述的区域指定处理。例如，如果对应于背景区域的图像正在均匀运动，则区域指定单元103根据该运动位移整个图像，并且按照类似于对应于背景的对象是静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则区域指定单元103选择对应于该运动的像素，并且执行上述的处理。
图29是图示区域指定单元103的配置的另一个实例。图29所示的区域指定单元103不使用运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且向二进制对象图像提取部分302供应所生成的背景图像。背景图像生成器301提取例如对应于包含在输入图像中的背景对象的图像对象，并且生成背景图像。
图30示出通过在时间方向扩展沿着对应于前景对象的图像的运动方向并排排列的多个像素的像素值而获得的模型的实例。例如，如果对应于前景对象的图像的运动方向是关于屏幕水平的，则图30所示的模型是通过在时域中对单行上并排排列的像素的像素值进行扩展而获得的模型。
在图30中，帧#n中行与帧#n-1中的行以及帧#n+1中的行是相同的。
在帧#n中，对应于包含在左数第六至第十七像素中的对象的前景分量被包含在帧#n-1左数第二至第十三像素中，并且还包含在帧#n+1左数第十至第二十一像素中。
在帧#n-1中，属于被覆盖的背景区域的多个像素是左数第十一至第十三像素，属于未被覆盖的背景区域的像素是左数第二至第四像素。在帧#n中，属于被覆盖的背景区域的像素是左数第十五至第十七像素，并且属于未被覆盖的背景区域的像素是左数第六至第八像素。在帧#n+1中，属于被覆盖的背景区域的像素是左数第十九至第二十一像素，并且属于未被覆盖的背景区域的像素是左数第十至第十二像素。
在帧#n-1中，属于背景区域的多个像素是左数第一像素，并且是左数第十四至第二十一像素。在帧#n中，属于背景区域的像素是左数第一至第五像素，并且是左数第十八至第二十一像素。在帧#n+1中，属于背景区域的像素是左数第一至第九像素。
图31示出由背景图像生成器301生成的对应于图30所示的实例的背景图像的例子。背景图像由对应于背景对象的多个像素组成，但是不包括对应于前景对象的图像分量。
二进制对象图像提取部分302根据背景图像与输入图像之间的相关性生成二进制对象图像，并且向时间变化检测器303供应所生成的二进制对象图像。
图32是图示二进制对象图像提取部分302的配置的方框图。相关性值计算器321计算从背景图像生成器301供应的背景图像与输入图像之间的相关性，以便生成相关性值，并且将所生成的相关性值供应给阈值处理器322。
相关性值计算器321将方程(4)运用于例如中心具有X4的3×3背景图像块(如图33A所示)，并且运用于例如对应于背景图像块的中心具有Y4的3×3背景图像块(如图33B所示)，从而计算对应于Y4的相关性值。
Figure A0280275400541
X ‾ = Σ i = 0 8 Xi 9 . . . . . . ( 5 ) Y ‾ = Σ i = 0 8 Yi 9 . . . . . . ( 6 )
相关性值计算器321向阈值处理器322供应以上讨论的为每个像素计算的相关性值。
作为选择，相关性值计算器321可以将方程(7)运用于例如中心具有X4的3×3背景图像块(如图34A所示)，并且运用于例如对应于背景图像块的中心具有Y4的3×3背景图像块(如图34B所示)，从而计算对应于Y4的差值的绝对值之和。
相关性值计算器321向阈值处理器322供应作为相关性值的以上计算的差值的绝对值之和。
阈值处理器322将相关性图像的像素值与阈值th0进行比较。如果该相关性值小于或等于阈值th0，则把1设置在二进制对象图像的像素值中。如果相关性值大于阈值th0，则把0设置在二进制对象图像的像素值中。阈值处理器322随后输出其像素值被设置为0或者1的二进制对象图像。阈值处理器322可以预先存储阈值th0，或者可以使用从外部源输入的阈值th0。
图35说明对应于图30所示的输入图像的模型的二进制对象图像。在二进制对象图像中，在与背景图像有较高相关性的像素的像素值中设置0。
图36是图示时间变换检测器303配置的方框图。当确定帧#n的像素区域时，帧存储器341存储从二进制对象图像提取部分302供应的帧#n-1、帧#n和帧#n+1的二进制对象图像。
区域确定部分342根据帧#n-1、帧#n和帧#n+1的二进制对象图像确定帧#n的每个像素的区域，以便生成区域信息，并且输出所生成的区域信息。
图37图示由区域确定部分342作出的确定。当帧#n中二进制对象图像的指定像素是0时，区域确定部分342确定帧#n的指定像素属于背景区域。
当帧#n中二进制对象图像的指定像素为1时，和当帧#n-1中二进制对象图像的对应像素为1时，以及当帧#n+1中二进制对象图像的对应像素为1时，区域确定部分342确定帧#n中的指定像素属于前景区域。
当帧#n中二进制对象图像的指定像素为1时，以及当帧#n-1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的指定像素属于被覆盖的背景区域。
当帧#n中二进制对象图像的指定像素为1时，以及当帧#n+1中二进制对象图像的对应像素为0时，区域确定部分342确定帧#n中的指定像素属于未被覆盖的背景区域。
图38图示由时间变化检测器303作出的关于对应于图30所示的输入图像的模型的二进制对象图像的确定的一个实例。时间变化检测器303确定帧#n中左数第一至第五像素属于背景区域，因为帧#n的二进制对象图像的对应像素为0。
时间变化检测器303确定左数第六至第九像素属于未被覆盖的背景区域，因为帧#n中二进制对象图像的像素为1，以及帧#n+1中的对应像素为0。
时间变化检测器303确定左数第十至第十三像素属于前景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中的对应像素为1，以及帧#n+1中的对应像素为1。
时间变化检测器303确定左数第十四至第十七像素属于被覆盖的背景区域，因为帧#n中二进制对象图像的像素为1，帧#n-1中对应像素为0。
时间变化检测器303确定左数第十八至第二十一像素属于背景区域，因为帧#n中二进制对象图像的对应像素为0。
下面参考图39的流程图说明由区域指定单元103执行的区域指定处理。在步骤S301中，区域指定单元103的背景图像生成器301例如根据输入图像提取与包含在输入图像中的背景对象相对应的图像对象，以便生成背景图像，并且向二进制图像提取部分302供应所生成的背景图像。
在步骤S302中，二进制对象图像提取部分302根据例如参考图33所讨论的计算来计算输入图像与背景图像生成器301供应的背景图像之间的相关性值。在步骤S303中，二进制对象图像提取部分302通过例如比较相关性值与阈值th0，从该相关性值和阈值th0中算出二进制对象图像。
在步骤S304中，时间变化检测器303执行区域确定处理，并结束该处理。
下面参考图40的流程图说明步骤S304中的区域确定处理的细节。在步骤S321中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n中的指定像素是否为0。如果确定帧#n中指定像素为0，则处理前进到步骤S322。在步骤S322中，确定帧#n中指定像素属于背景区域，然后结束该处理。
如果在步骤S321中确定帧#n中指定像素为1，则处理前进到步骤S323。在步骤S323中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的指定像素是否为1，并确定帧#n-1中的对应像素是否为0。如果确定帧#n中指定像素为1，以及帧#n-1中对应像素为0，则处理前进到步骤S324。在步骤S324中，确定帧#n中指定像素属于被覆盖的背景区域，然后结束该处理。
如果在步骤S323中确定帧#n中的指定像素为0，或者帧#n-1的对应像素为1，则处理前进到步骤S325。在步骤S325中，时间变化检测器303的区域确定部分342确定帧存储器341中存储的帧#n的指定像素是否为1，并确定帧#n+1中的对应像素是否为0。如果确定帧#n中指定像素为1，以及帧#n+1中对应像素为0，则处理前进到步骤S326。在步骤S326中，确定帧#n中指定像素属于未被覆盖的背景区域，并结束该处理。
如果在步骤S325中确定帧#n中的指定像素为0，或者帧#n+1的对应像素为1，则处理前进到步骤S327。在步骤S327中，时间变化检测器303的区域确定部分342确定帧#n的指定像素属于前景区域，并结束该处理。
如上所述，区域指定单元103能够根据输入图像与对应的背景图像之间的相关性值指定输入图像的每个像素属于前景区域、背景区域、被覆盖的背景区域或者未被覆盖的背景区域之中的哪一个，并生成对应于特定结果的区域信息。
图41是图示说明区域指定单元103的另一个配置的方框图。图41所示的区域指定单元103使用从运动检测器102供应的运动向量及其位置信息。图41中与图29所示部件相同的部件由相似参考标号表示，并省略其说明。
加强处理(robust processing)部分361根据从二进制对象图像提取部分302供应的N个帧的二进制对象图像生成一个加强二进制对象图像，并且向时间变化检测器303输出加强(robust)二进制对象图像。
图42是图示加强处理部分361的配置的方框图。运动补偿器381根据从运动检测器102供应的运动向量及其位置信息补偿N个帧的二进制对象图像的运动，并且把运动补偿二进制对象图像输出给开关382。
下面结合图43和图44所示的实例讨论由运动补偿器381执行的运动补偿。例如，假定帧#n中的区域是将要处理的。当输入图43所示的帧#n-1、帧#n和帧#n+1的二进制对象图像时，运动补偿器381根据从运动检测器102供应的运动向量补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，如图44的实例所示，并且把运动补偿二进制对象图像供应给开关382。
开关382把第一帧的运动补偿二进制对象图像输出给帧存储器383-1，并且把第二帧的运动补偿二进制对象图像输出给帧存储器383-2。同样，开关382把第三帧至第(N-1)帧的运动补偿二进制对象图像输出给帧存储器393-3至383-(N-1)，并且把第N帧的运动补偿二进制对象图像输出给帧存储器383-N。
帧存储器381-1存储第一帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-1。帧存储器383-2存储第二帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-2。
同样，帧存储器381-3至383-(N-1)存储第三至第(N-1)帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-3至384-(N-1)。帧存储器383-N存储第N帧的运动补偿二进制对象图像，并且把所存储的二进制对象图像输出给加权部分384-N。
加权部分384-1用一个预定权(weigh)w1乘帧存储器383-1供应的第一帧的运动补偿二进制对象图像的像素值，并且向一个累积器385供应加权的二进制对象图像。加权部分384-2用一个预定权w2乘帧存储器383-2供应的第二帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。
同样，加权部分384-3至384-(N-1)用预定权w3至w(N-1)乘帧存储器383-3至383-(N-1)供应的第三至第(N-1)帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。加权部分384-N用一个预定权wN乘帧存储器383-N供应的第N帧的运动补偿二进制对象图像的像素值，并且向累积器385供应加权的二进制对象图像。
累积器385累积被第一至第N帧的权w1至wN相乘的运动补偿二进制对象图像的像素值，并且比较所累积的像素值与预定的阈值th0，从而生成二进制对象图像。
如上所述，加强处理部分361从N个二进制对象图像中生成加强二进制对象图像，并且供应给时间变化检测器303。所以，按图41配置的区域指定单元103能够比图29更精确地指定区域，即使在输入图像中含有噪声的情况下也是如此。
下面参考图45的流程图说明按照图41配置的区域指定单元103执行的区域指定处理。步骤S341至步骤S343的处理类似于结合图39的流程图讨论的步骤S301至步骤S303的处理，因而省略其说明。
在步骤S344中，加强处理部分361执行加强处理。
在步骤S345中，时间变化检测器303执行区域确定处理，并结束该处理。步骤S345的处理细节类似于结合图40的流程图所讨论的处理，因此省略其说明。
下面参考图46的流程图给出对应于图45中的步骤S344的处理的加强处理的细节。在步骤S361中，运动补偿器381根据从运动检测器102供应的运动向量及其位置信息执行输入二进制对象图像的运动补偿。在步骤S362中，帧存储器383-1至383-N之一存储经由开关382供应的对应的运动补偿二进制对象图像。
在步骤S363中，加强处理部分361确定是否存储了N个二进制对象图像。如果确定未存储N个二进制对象图像，则处理返回到步骤S361，并且重复补偿二进制对象图像运动的处理以及存储二进制对象图像的处理。
如果在步骤S363中确定存储了N个二进制对象图像，则处理前进到执行加权的步骤S364。在步骤S364中，加权部分384-1至384-N用权w1至wN乘对应的N个二进制对象图像。
在步骤S365中，累积器385累积N个加权二进制对象图像。
在步骤S366中，累积器385例如通过比较所累积的值与预定阈值th1，从累积的图像中生成二进制对象图像，然后结束该处理。
如上所述，按照图41配置的区域指定单元103能够根据加强二进制对象图像生成区域信息。
正如从上述说明所看到的，区域指定单元103能够生成区域信息，以指示包含在一个帧中的每个像素属于运动区域、静止区域、未被覆盖的背景区域或者被覆盖的背景区域之中的哪一个。
图47是图示混合比计算器104配置的一个实例的方框图。估算混合比处理器401通过根据输入图像计算被覆盖的背景区域的模型，来计算每个像素的估算混合比，并且把计算的估算混合比供应给混合比确定部分403。
估算混合比处理器402通过根据输入图像计算未被覆盖的背景区域的一个模型，来计算每个像素的估算混合比，并且把计算的估算混合比供应给混合比确定部分403。
由于可以假定对应于前景的对象在快门时间正在以恒等速度运动，因此属于一个混合区域的像素的混合比α展现以下特征。也就是说，混合比α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，可以线性地表示混合比α的变化。如果像素的位置变化是二维的，可以在平面上表示混合比α的变化。
由于一帧的周期很短，因此可以假定对应于前景的对象是以恒等速度运动的刚体。
混合比α的梯度与前景的快门时间内的运动量v成反比。
图48示出理想的混合比α的实例。混合区域中的理想混合比α的梯度1可以由运动量v的倒数表示。
如图48所示，理想混合比α在背景区域具有1的值，在前景区域具有0的值，在混合区域具有大于0小于1的值。
在图49所示的实例中，帧#n中左数第七像素的像素值C06可以由使用帧#n-1左数第七像素的像素值P06的方程(8)来表示。 C 06 = B 06 / v + B 06 / v + F 01 / v + F 02 / v = P 06 / v + P 06 / v + F 01 / v + F 02 / v . . . . . . ( 8 ) = 2 / v · P 06 + Σ i = 1 2 Fi / v
在方程(8)中，像素值C06由混合区域中的像素的像素值M表示，而像素值P06由背景区域的像素的像素值B表示。也就是说，混合区域的像素的像素值M和背景区域的像素的像素值B可以分别由方程(9)和方程(10)表示。
           M＝C06             (9)
           B＝P06             (10)
在方程(8)中，2/v相当于混合比α。由于运动量v是4，因此帧#n中左数第七像素的混合比α是0.5。
如上所述，指定帧#n中的像素值C被认为是混合区域的像素值，而帧#n之前的帧#n-1的像素值P被认为是背景区域中的像素值。所以，指示混合比α的方程(3)可以由方程(11)表示：
           C＝α·P+f         (11)
其中，方程(11)中的f指示包含在指定像素中的前景分量∑iFi/v之和。方程(11)中含有的变量是两个因数，即，混合比α和前景分量之和f。
同样，图50示出通过在时间方向上扩展像素值而获得的模型，在该像素值中运动量v是4，因而虚拟划分部分的数量在未被覆盖的背景区域中是4。
如被覆盖的背景区域的表示那样，在未被覆盖的背景区域中，指定帧#n的像素值C被认为是混合区域中的像素值，而帧#n之后的帧#n+1的像素值N被认为是背景区域。因此，指示混合比α的方程(3)可以由方程(12)表示。
           C＝α·N+f                  (12)
上面已经说明了假定背景对象是静止的实施例。然而，通过使用对应于背景的运动量v定位的像素的像素值，可以将方程(8)至方程(12)应用于背景对象正在运动的情况。例如，现在假定在图49中，对应于背景的对象的运动量v是2，以及虚拟划分部分数量是2。在此情况下，当对应于背景的对象正在向图49的右边运动时，方程(10)中的背景区域中的像素的像素值B由像素值P04表示。
由于方程(11)和(12)每一个都包含两个变量，因此不修改方程就不能确定混合比α。一般来说，图像具有强空间相关性，所以彼此非常逼近的像素几乎具有相同的像素值。
由于前景分量在空间上强相关性，所以修改所述方程，使得前景分量之和f可以从在前或者在后帧中演算出来，从而确定混合比α。
图51中帧#n中左数第七像素的像素值Mc可以由方程(13)表达。 Mc = 2 v · B 06 + Σ i = 11 12 Fi / v . . . . . ( 13 )
方程(13)右边的第一项2/v对应于混合比α。方程(13)右边的第二项可以由利用后续帧#n+1中像素值的方程(14)表达。 Σ i = 11 12 Fi / v = β · Σ i = 7 10 Fi / v . . . . . . ( 14 ) 现在假定方程(15)是通过利用前景分量的空间相关性成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12    (15)利用方程(15)可以将方程(14)替换成方程(16)。 Σ i = 11 12 Fi / v = 2 v · F = β · 4 v · F . . . . . . ( 16 )
结果，可以用方程(17)表达β
              β＝2/4                        (17)
一般来说，如果假定混合区域中的多个前景分量相等，如图方程(15)所示，则根据内比的关系，方程(18)对混合区域中的所有像素成立。
              β＝1-α                       (18)
如果方程(18)成立，则方程(11)被展开成方程(19)。 C = α · P + f = α · P + ( 1 - α ) · Σ i = r r + v - 1 Fi / v . . . . . . ( 19 ) = α · P + ( 1 - α ) · N 同样，如果方程(18)成立，则方程(12)可以被展开成方程(20)。 C = α · N + f = α · N + ( 1 - α ) · Σ i = γ γ + v - 1 Fi / v . . . . . . ( 20 ) = α · N + ( 1 - α ) · P
在方程(19)和(20)中，由于C、N和P是已知像素值，因此包含在方程(19)和(20)中的变量仅仅是混合比α。图52示出方程(19)和(20)中的C、N和P之间的关系。C是用于计算混合比α的帧#n中指定像素的像素值。N是定位在对应于指定像素的空间位置上的帧#n+1中像素的像素值。P是定位在对应于指定像素的空间位置上的帧#n-1中像素的像素值。
由于方程(19)和(20)的每个中包含一个变量，因此利用三个帧中的像素计算混合比α。下面说明通过解方程(19)和(20)求解正确混合比α的条件，该条件是有关于混合区域的前景分量相等，即，在前景对象静止时捕获的前景的图像对象中，在对应于前景对象的运动方向的图像对象的、定位在边界上的运动量v的两倍的连续像素的像素值是固定的。
如上所述，属于被覆盖的背景区域的像素的混合比α通过方程(21)计算，属于未被覆盖的背景区域的像素的混合比α通过方程(22)计算。
     α＝(C-N)/(P-N)                  (21)
     α＝(C-P)/(N-P)                  (22)
图53是图示估算混合比处理器401的配置的方框图。帧存储器421按多个帧为单位存储输入图像，并且把作为输入图像输入的帧之后的一帧供应给帧存储器422和混合比计算器423。
帧存储器422按多个帧为单位存储输入图像，并且把帧存储器421供应的帧之后的一帧供应给混合比计算器423。
因此，当帧#n+1作为输入图像输入给混合比计算器423时，帧存储器423把帧#n供应给混合比计算器423，并且帧存储器422把帧#n-1供应给混合比计算器423。
混合比计算器423根据帧#n中指定像素的像素值C、定位于与指定像素的位置相对应的位置上的帧#n+1的像素的像素值N以及定位于与指定像素的位置相对应的位置上的帧#n-1的像素的像素值P，通过解方程(21)来计算估算混合比，输出所计算的估算混合比。例如，当背景静止时，混合比计算器423根据帧#n中指定像素的像素值C、位于与指定像素相同位置上的帧#n+1中像素的像素值N和位于与指定像素相同位置上的像素的像素值P，计算指定像素的估算混合比，并输出所计算的估算混合比。
这样，估算混合比计算器401根据输入图像计算估算混合比，并且将此供应给混合比确定部分403。
除了估算混合比计算器401通过解方程(21)计算指定像素的估算混合比，估算混合比计算器402通过解方程(22)计算指定像素的估算混合比外，估算混合比计算器402配置成与估算混合比计算器401相同。因此，省略对估算混合比计算器402的解释。
图54图示由估算混合比处理器401计算的估算混合比的实例。图54所示的估算混合比是示出在对应于以恒等速度运动的对象的前景的运动量是11时，一行的结果。
如图48所示，可以看出估算混合比在混合区域几乎是线性变化的。
参见图47，混合比确定部分403根据从区域指定单元103供应的区域信息设置混合比α，该区域信息指示将要计算混合比α的像素属于背景区域、被覆盖的背景区域或者未被覆盖的背景区域之中的哪一个。当对应像素属于背景区域时混合比确定部分403将混合比α设置为0，并且当对应像素属于背景区域时将混合比设置为1。当对应像素属于未被覆盖的背景区域时，混合比确定部分403将混合比α设置为估算混合比处理器401所供应的估算混合比。当对应像素属于未被覆盖的背景区域时，混合比确定部分403将混合比α设置为估算混合比处理器402所供应的估算混合比。混合比确定部分403输出根据区域信息设置的混合比α。
图55是图示混合比估算计算器104的另一个配置的方框图。选择器441根据从区域指定单元103供应的区域信息向估算混合比处理器442供应属于被覆盖的背景区域的像素以及在前和在后帧中的对应像素。选择器441根据从区域指定单元103供应的区域信息向估算混合比处理器443供应属于未被覆盖的背景区域的像素以及在前和在后帧中的对应像素。
估算混合比处理器442根据从选择器441输入的像素值，通过方程(21)表示的计算来计算属于被覆盖的背景区域的指定像素的估算混合比，并且向选择器444供应所计算的估算混合比。
估算混合比处理器443根据从选择器441输入的像素值，通过方程(22)表示的计算来计算属于未被覆盖的背景区域的指定像素的估算混合比，并且向选择器444供应所计算的估算混合比。
根据区域指定单元103所指定的区域信息，当指定像素属于前景区域时选择器444将混合比α设置为0，而当指定像素属于背景区域时将混合比α设置为1。当指定像素属于被覆盖的背景区域时，选择器444选择从估算混合比处理器442供应的估算混合比，并将其设置为混合比α。当指定像素属于未被覆盖的背景区域时，选择器444选择从估算混合比处理器443供应的估算混合比，将其设置为混合比α。然后，选择器444输出根据区域信息选择和设置的混合比α。
如上所述，按图55所示配置的混合比计算器104能够为图像中含有的每个像素计算混合比α，并且输出所计算的混合比α。
下面参考图56讨论由图47所示的混合比计算器104所执行的混合比α的计算处理。在步骤S401中，混合比计算器104获得从区域指定单元103供应的区域信息。在步骤S402中，估算混合比处理器401通过使用对应于被覆盖的背景区域的模型进行对混合比的估算处理，并且将所估算的混合比供应给混合比确定部分403。下面参考图57讨论对混合比进行估算处理的细节。
在步骤S403中，估算混合比处理器402使用对应于未被覆盖的背景区域的模型对混合比进行估算处理，并且将估算混合比供应给混合比确定部分403。
在步骤S404中，混合比计算器104确定是否已经为整个帧估算了混合比。如果确定还没有为整个帧估算混合比，则处理返回到步骤S402，并且为后续像素进行混合比的估算处理。
如果在步骤S404中确定已经为整个帧估算了混合比，则处理前进到步骤S405。在步骤S405中，混合比确定部分403根据从区域指定单元103供应的区域信息设置混合比，该区域信息指示将要计算混合比α的像素属于前景区域、背景区域、被覆盖的背景区域或者未被覆盖的背景区域之中的哪一个。当对应像素属于前景区域时，混合比确定部分403将混合比α设置为0；当对应像素属于背景区域时，混合比确定部分403将混合比α设置为1。当对应像素属于被覆盖的背景区域时，混合比确定部分403将估算混合比处理器401供应的估算混合比设置为混合比α。当对应像素属于未被覆盖的背景区域时，混合比确定部分403将估算混合比处理器402供应的估算混合比设置为混合比α，然后结束该处理。
如上所述，混合比计算器104能够根据从区域指定单元103供应的区域信息和输入图像计算指示对应于每个像素的特征量(feature quantity)的混合比α。
由配置成图55所示的混合比计算器104执行的、计算混合比α的处理类似于结合图56所讨论的情况，因此省略其对说明。
下面结合图57的流程图说明在图56的步骤S402中使用对应于被覆盖的背景区域的模型进行的混合比估算处理。
在步骤S421中，混合比计算器423从帧存储器421中获得帧#n中的指定像素的像素值C。
在步骤S422中，混合比计算器423从帧存储器422中获得对应于包含在输入图像中的指定像素的帧#n-1中像素的像素值P。
在步骤S423中，混合比计算器423获得对应于包含在输入图像中的指定像素的帧#n+1中像素的像素值N。
在步骤S424中，混合比计算器423根据帧#n中指定像素的像素值C、帧#n-1中像素的像素值P和帧#n+1中像素的像素值N计算估算混合比。
在步骤S425中，混合比计算器423确定是否完成针对整个帧的估算混合比。如果确定还未完成针对整个帧的计算混合比的处理，则处理返回到步骤S421，重复针对后续像素的计算估算混合比的处理。
当在步骤S425中确定针对整个帧的计算估算混合比的处理已经完成时，结束该处理。
如上所述，估算混合比处理器401能够根据输入图像计算估算混合比。
在图56的步骤S403中使用对应于未被覆盖的背景区域的模型执行的混合比估算处理类似于使用对应于未被覆盖的背景区域的模型执行的由图57的流程图指示的处理，因而省略对其解释。
图55所示的估算混合比处理器442和估算混合比处理器443通过执行类似于图57的流程图的处理来计算估算混合比，因此省略对其解释。
已经说明的实施例假定对应于背景的对象是静止的。但是即使对应于背景区域的图像包含运动也可以应用上述确定混合比α的处理。例如，如果对应于背景区域的图像正在匀速运动，则估算混合比处理器401根据背景的运动移位整个图像，并且以类似于对应于背景的对象是静止情形的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则估算混合比处理器401把对应于该运动的像素选作属于混合区域的对应像素，并且执行上述处理。
估算混合比计算器104通过使用对应于被覆盖的背景区域的模型可以仅仅执行用于所有像素的混合比估算处理，并把计算的估算混合比作为混合比α输出。在此情况下，混合比α指示针对属于被覆盖的背景区域的像素的背景分量比，并且指示针对属于未被覆盖的背景区域的像素的背景分量比。对于属于未被覆盖的背景区域的像素，计算混合比α与1之差的绝对值，并且将所计算的绝对值设置为混合比α。从而图像处理设备能够确定指示属于未被覆盖的背景区域的像素的背景分量比。
同样，混合比计算器104可以仅仅通过使用对应于未被覆盖的背景区域的模型执行关于所有像素的混合比估算处理，并把计算的估算混合比作为混合比α输出。
下面说明利用混合比α线性地变化这一特征计算混合比α的混合比计算器104。
如上所述，由于方程(11)和(12)都包含两个变量，所以不用对方程进行修改就可以用于确定混合比α。
利用因为对应于前景的对象正在恒等速度运动，混合比α根据像素的位置变化而线性变化这一特征，建立在空间方向逼近混合比α以及前景分量之和f的方程。通过利用多组属于混合区域的像素的像素值和属于背景区域的像素的像素值，求解该逼近混合比α以及前景分量之和f的方程。
当混合比α的变化逼近为直线时，混合比α可以由方程(23)表示。
α＝i1+p                                   (23)
在方程(23)中，i表示当指定像素的位置被设置为0时的空间索引，1是指混合比α的直线的梯度，p是指混合比α的直线的截距，也表示指定像素的混合比α。在方程(23)中，索引i是已知的，梯度1和截距p是未知的。
图58示出索引i、梯度1和截距P之间的关系。在图58中，白色的点表示指定像素，黑色的点表示逼近该指定像素的各像素。
通过依据方程(23)逼近混合比α，可以用两个变量表示多个像素的多个不同混合比α。在图58所示的实例中，五个像素的五个混合比由两个变量，即梯度1和截距p表示。
当在图59所示的平面中逼近混合比α时，通过将运动量v考虑成对应于两个方向，即图像的水平方向和垂直方向，把方程(23)扩展到该平面中，并且可以用方程(24)表示混合比α。在图5中，白点指示该指定像素。
α＝jm+kq+p                    (24)
在方程(24)中，j是指定像素的位置为0时的水平方向的索引(index)，k是指定像素的位置为0时的垂直方向的索引。在方程(24)中，m指在该平面中混合比α的水平梯度，q指在该平面中混合比α的垂直梯度。在方程(24)中，p指该平面中混合比α的截距。
例如，在图49所示的帧#n中，方程(25)至(27)分别对C05至C07有效。
        C05＝α05·B05/v+F05             (25)
        C06＝α06·B06/v+F06             (26)
        C07＝α07·B07/v+F07             (27)
假定定位在彼此逼近的位置上的前景分量是彼此相等的，即F01至F03相等，则通过用Fc替代F01至F0 3使方程(28)成立。
        f(x)＝(1-α(x))·Fc              (28)
在方程(28)中，x指示在空间方向上的位置。
当α(x)由方程(24)替代时，方程(28)可以用方程(29)表示。
         f(x)＝(1-(jm+kq+p))·Fc
             ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)
             ＝js+kt+u                   (29)
在方程(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc分别被方程(30)至(32)所示的s、t、u替代。
               s＝-m·Fc                 (30)
               t＝-q·Fc                 (31)
               u＝(1-p)·Fc              (32)
在方程(29)中，j是指定像素的位置为0时的水平方向的索引，k是指定像素的位置为0时的垂直方向的索引。
如上所述，由于可以假定对应于前景的对象在快门时间内正以恒等速度运动，并且彼此逼近定位的前景分量是一致的，因此，可以通过方程(29)逼近前景分量之和。
当混合比α被直线逼近时，可以由方程(33)表示前景分量。
                f(x)＝is+u              (33)
通过使用方程(24)和(29)替代方程(13)中的混合比α和前景分量之和，可以用方程(34)表示像素值M。
         M＝(jm+kq+p)·B+js+kt+u
           ＝jB·m+kB·q+B·p+j·s+k·t+u           (34)
在方程(34)中，未知变量是六个因子，比如该平面中的混合比α的水平梯度(horizontal gradient)m，该平面内的混合比α的垂直梯度q，该平面内的混合比α的截距、p、s、t和u。
像素值M和像素值B被设置在与逼近于指定像素的多个像素相符的方程(34)中，然后以最小二乘法求解设置了像素值M和像素值B的多个方程，从而计算混合比α。
例如，指定像素的水平索引j被设置为0，指定像素的垂直索引k被设置为0。那么，当像素值M或者像素值B被设置在由方程(34)表示的法方程中、用于定位于逼近指定像素的3×3像素时，可以得到方程(35)至(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u    (35)
M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u         (36)
M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u    (37)
M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u         (38)
M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u              (39)
M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u         (40)
M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u    (41)
M0，+1＝(0)·B0，+1·m+(+1)·B0，-1·q+B0，+1·p+(0)·s+(+1)·t+u         (42)
M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u    (43)
由于指定像素的水平索引j是0，指定像素的垂直索引k是0，因此，指定像素的混合比α等于当方程(24)中j为0和k为0时的值，即混合比α等于方程(24)中的截距p。
所以，根据九个方程，即方程(35)至(43)，通过最小二乘法计算水平梯度q和截距p、s、t、u，并且把截距p输出为混合比α。
下面说明通过应用最小二乘法计算混合比α的具体处理。
当索引i和索引k被单一索引x表示时，可以用方程(44)表示索引i、索引k和索引x之间的关系。
         x＝(j+1)·3+(k+1)                     (44)
现在假定水平梯度m、垂直梯度q和截距p、s、t、u分别由变量w0、w1、w2、w3、w4、w5表示，以及jB、kB、B、j、k和1分别由a0、a1、a2、a3、a4和a5表示。在考虑误差ex的情况下，方程(35)至(43)可以被修改成方程(45)。 Mx = Σ y = 0 5 ay · wy + ex . . . . . . ( 45 )
在方程(45)中，x是整数0至8的任何一个。
可以从方程(45)得到方程(46)。 ex = Mx - Σ y = 0 5 ay · wy . . . . . . ( 46 )
由于应用了最小二乘法，因此可以按方程(47)定义误差的平方和E。 E = Σ x = 0 8 ex 2 . . . . . . ( 47 )
为了最小化误差，关于误差的平方和E的变量Wv的偏微分值应当为0。v是整数0至5的任何一个。因而确定wy以满足方程(48)。 ∂ E ∂ Wv = 2 · Σ x = 0 8 ex · ∂ ex ∂ Wv . . . . . . ( 48 ) = 2 · Σ x = 0 8 ex · av = 0
通过把方程(46)代入方程(48)，可以获得方程(49)。 Σ x = 0 8 ( av · Σ y = 0 5 ay · Wy ) = Σ x = 0 8 av · Wx . . . . . . ( 49 )
例如，将消去法(高斯-若当消去法)应用于由六个方程组成的法方程，该六个方程是通过将整数0至5之任一个代入方程(49)中的v而获得的，从而得到wy。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距m，w3是s，w4是t，w5是u。
如上所述，通过将最小二乘法应用到其中设置了像素M和像素B的方程，可以确定水平梯度m、垂直梯度q和截距p、s、t和u。
通过假设包含在混合区域中的像素的像素值是M，包含在背景区域中的像素的像素值是B，结合方程(35)至(43)给出一说明。在此情况下，必须为在被覆盖的背景区域中包含指定像素或者在未被覆盖的背景区域中包含指定像素的每一种情形，设置法方程。
例如，当在图49所示帧#n的被覆盖的背景区域中包含的像素的混合比α被确定时，在法方程中设置帧#n的像素的C04至C08以及帧#n-1的像素的像素值P04至P08。
为了确定包含在图50所示帧#n的未被覆盖的背景区域中的像素的混合比α，在法方程中设置帧#n的像素的C28至C32以及帧#n+1的像素的像素值N28至N32。
此外，例如，如果包含在图60所示被覆盖的背景区域中像素的混合比α被计算出来，则设置下列方程(50)至(58)。在图60中，白色点表示属于背景的像素，黑色点表示属于混合区域的像素。用于计算混合比α的像素的像素值是Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u     (50)
Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u       (51)
Mc 3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (52)
Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u       (53)
Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u         (54)
Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u       (55)
Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u     (56)
Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u       (57)
Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u     (58)
为了计算包含在帧#n的被覆盖的背景区域中的像素的混合比α，使用分别对应于方程(50)至(58)内帧#n的像素的帧#n-1中背景区域的像素的像素值Bc1至Bc9。
当例如在图60所示的未被覆盖的背景区域中包含的像素的混合比α被计算时，设置下列方程(59)-(67)。计算出混合比α的像素的像素值是Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (59)
Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (60)
Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (61)
Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u      (62)
Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u        (63)
Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u      (64)
Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u    (65)
Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u      (66)
Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u    (67)
为了计算包含在帧#n的未被覆盖的背景区域中的像素的混合比α，使用分别对应于方程(59)至(67)内帧#n的像素的帧#n+1中背景区域的像素的像素值Bu1至Bu9。
图61是图示估算混合比处理器401的配置的方框图。输入到估算混合比处理器中的图像被供应给延迟电路501和加法器502。
延迟电路501延迟一帧的输入图像，并把该图像供应给加法器502。当帧#n作为输入图像供应给加法器502时，延迟电路501将帧#n-1供应给加法器502。
加法器502设置邻近于计算出混合比α的像素的像素的像素值，并且设置法方程中的帧#n-1的像素值。例如，加法器502分别根据方程(50)至(58)设置法方程中的像素值Mc1至Mc9以及像素值Bc1至Bc9。加法器502将在其内设置了像素值的法方程供应给计算器503。
计算器503通过采用例如消去法(sweep out)求解从加法器502供应的法方程来确定估算混合比(estimated mixture ratio)，并输出所确定的估算混合比。
这样，估算混合比处理器401能够根据输入图像计算估算混合比，并且将其供应给混合比确定部分403。
估算混合比处理器402配置成类似于估算混合比处理器401，因而省略对其说明。
图62图示由估算混合比处理器401计算的估算混合比的一个实例。对于图62所示的估算混合比，对应于以恒等速度运动的对象的前景运动v是11，并且利用7×7像素块为单位由生成方程计算到的结果是针对一行所示出的。
从图61可以看出，在混合区域中，估算混合比几乎线性地变化。
下面参考图63的流程图说明估算混合比处理器401通过使用对应于被覆盖的背景区域的模型执行对混合比进行估算的处理，其中估算混合比处理器401具有图61中的配置。
在步骤S521中，加法器502在对应于被覆盖的背景区域的模型的法方程中，设置包含在输入图像中的像素值和包含在从延迟电路501供给的图像中的像素值。
在步骤S522中，估算混合比处理器401确定目标像素的设置是否完成。如果确定目标像素的设置没有完成，则将处理过程返回步骤S521，并重复在法方程中设置像素值的处理。
如果确定目标像素的设置已经完成，则将处理过程前进到步骤S523。在步骤S523中，计算器503根据设置了像素值的法方程计算估算混合比，并输出所计算到的混合比。
如上所述，具有图61中的配置的估算混合比处理器401能够根据输入的图像计算出估算混合比。
通过使用对应于未被覆盖的背景区域的模型的混合比估算处理，类似于通过利用对应于未被覆盖的背景区域的模型的法方程的、由图63所指示的处理，因此，其解释在此省略。
该实施例是在假设对应于背景的对象是静止的情况下进行描述的。但上述混合比计算处理可以应用于甚至对应于背景区域包含运动的图像。例如，如果对应于背景区域的图像是匀速运动的，则估算混合比处理器401根据这个运动移动整个图像，并且以类似于对应于背景的对象是静止的情况下的方式执行处理。如果对应于背景区域的图像包含局部不同的运动，则估算混合比处理器401将对应于运动的像素作为对应于混合区域的像素，并执行上述处理。
如上所述，混合比计算器102能够根据从区域指定单元101供应的输入图像和区域信息计算作为对应于每个像素的特征量的混合比α。
通过利用该混合比α，能够分离包含在像素值中的前景分量和背景分量，同时保持包含在对应于运动对象的图像中的运动模糊的信息。
通过根据混合比α合成图像，能够产生包含匹配运动对象的速度的正确的运动模糊并真实地反映现实世界的图像。
下面讨论前景/背景分离器105。图64是图示前景/背景分离器105的配置的一个实例的方框图。供应给前景/背景分离器105的输入图像被供应到分离部分601、开关602和开关604。从区域指定单元103供应的指示被覆盖的背景区域和未被覆盖的背景区域的信息的区域信息被供应给分离部分601。指示前景区域的区域信息被供应给开关602。指示背景区域的区域信息被供应给开关604。
从混合比计算器104供应的混合比α被供应给分离部分601。
分离部分601根据指示被覆盖的背景区域的区域信息、指示未被覆盖的背景区域的区域信息以及混合比α，从输入图像中分离出前景分量，并且将所分离的前景分离供应给合成器603。分离部分601还从输入图像中分离背景分量，并将所分离的背景分量供应给合成器605
当根据指示前景区域的区域信息输入对应于前景的像素时，开关602闭合，并且仅仅把对应于包含在输入图像中的前景的像素供应给合成器603。
当根据指示背景区域的区域信息输入对应于背景的像素时，开关604闭合，并且仅仅把对应于包含在输入图像中的背景的像素供应给合成器605。
合成器603根据从分离部分601供应的前景分量和对应于从开关602供应的前景的像素合成前景分量图像，并且输出所合成的前景分量图像。由于前景区域和混合区域不重叠，因此，合成器603把例如逻辑OR应用于前景分量和前景像素，从而合成前景分量图像。
在针对前景分量图像的合成处理开始时执行的初始化处理中，合成器603在内置帧存储器中存储其像素值都为0的图像。然后，在针对前景分量图像的合成处理中，合成器603存储该前景分量图像(用该前景分量图像改写在前的图像)。因此，将0存储在与合成器603输入的前景分量图像的背景区域相对应的多个像素中。
合成器605根据从分离部分601供应的背景分量和对应于从开关604供应的背景的像素合成背景分量图像，并且输出所合成的背景分量图像。由于背景区域和混合区域不重叠，因此，合成器605把例如逻辑OR应用于背景分量和背景像素，从而合成背景分量图像。
在针对背景分量图像的合成处理开始时执行的初始化处理中，合成器605在内置帧存储器中存储其像素值都为0的图像。然后，在针对背景分量图像的合成处理中，合成器605存储背景分量图像(用该背景分量图像改写在前图像)。因此，将0存储在与合成器605输入的背景分量图像的前景区域相对应的多个像素中。
图65A图示输入前景/背景分离器105的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像。图65B图示一个模型，它对应于输入前景/背景分离器105的输入图像和从前景/背景分离器105输出的前景分量图像和背景分量图像。
图65A是图示将要显示的图像的示意图，图65B是一个模型，它通过在时间方向上扩展排列在对应于图65A所示的一行中的像素，该行包括属于前景区域的像素、属于背景区域的像素和属于混合区域的像素。
如图65A和图65B所示，从前景/背景分离器105输出的背景分量图像由属于背景区域的像素和包含在混合区域的像素中的背景分量组成。
如图65A和图65B所示，从前景/背景分离器105输出的前景分量图像由属于前景区域的像素和包含在混合区域的像素中的前景分量组成。
前景/背景分离器105将混合区域中的像素的像素值分离成背景分量和前景分量。所分离的背景分量形成背景分量图像和属于背景区域的像素。所分离的前景分量形成前景分量图像和属于前景区域的像素。
如上所述，在前景分量图像中，将对应于背景区域的像素的像素值设置为0，并且在对应于前景区域的像素和对应于混合区域的像素中设置有效像素值。同样，在背景分量图像中，将对应于背景区域的像素的像素值设置为0，并且在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。
下面对分离部分601执行的处理进行说明，该分离部分601从属于混合区域的像素中分离出前景分量和背景分量。
图66图示指示两个帧中前景分量和背景分量的图像的模型，这两个帧包含在图66中从左向右运动的前景对象。在图66所示的图像的模型中，运动量v是4，虚拟划分部分的数量是4。
在帧#n中，最左边像素和左数第十四至第十八像素仅仅由背景分量组成，并且属于背景区域。在帧#n中，左数第二至第四像素包含背景分量和前景分量，并且属于未被覆盖的背景区域。在帧#n中，左数第十一至第十三像素包含背景分量和前景分量，并且属于被覆盖的背景区域。在帧#n中，左数第五至第十像素仅仅包含前景分量，并且属于前景区域。
在帧#n+1中，左数第一至第五像素仅仅由背景分量组成，并且属于背景区域。在帧#n+1中，左数第六至第八像素包含背景分量和前景分量，并且属于未被覆盖的背景区域。在帧#n+1中，左数第十五至第十七像素包含背景分量和前景分量，并且属于被覆盖的背景区域。在帧#n+1中，左数第九至第十四像素仅仅由前景分量组成，并且属于前景区域。
图67图示从属于被覆盖的背景区域的像素中分离前景分量的处理。在图67中，α1至α18表示帧#n的各个像素的混合比。在图67中，左数第十四至第十七像素属于被覆盖的背景区域。
帧#n中左数第十五像素的像素值C15可以由方程(68)表示：
         C15＝B15/v+F09/v+F08/v+F07/v
            ＝α15·B15+F09/v+F08/v+F07/v
            ＝α15·P15+F09/v+F08/v+F07/v       (68)
其中α15表示帧#n中左数第十四像素的混合比，P15表示帧#n-1中左数第十五像素的像素值。
帧#n中左数第十五像素的前景分量之和f15可以由基于方程(68)的方程(69)表达。
         f15＝F09/v+F08/v+F07/v
            ＝C15-α15·P15                   (69)
同样，帧#n中左数第十六像素的前景分量之和f16可以由方程(70)表达，帧#n中左数第十七像素的前景分量之和f17可以由方程(71)表达。
         f16＝C16-α16·P16                   (70)
         f17＝C17-α17·P17                   (71)
这样，包含在属于被覆盖的背景区域的像素的像素值C中的前景分量fc可以由方程(72)表达：
         fc＝C-α·P                          (72)
其中P表示对应于在前帧中像素的像素值。
图68图示从属于未被覆盖的背景区域的像素中分离前景分量的处理。在图68中，α1至α18表示帧#n的各像素的混合比。在图68中，左数第二至第四像素属于未被覆盖的背景区域。
帧#n中左数第二像素的像素值C02可以由方程(73)表示：
      C02＝B02/v+B02/v+B02/v+F01/v
         ＝α2·B02+F01/v
         ＝α2·N02+F01/v                     (73)
其中α2表示帧#n中左数第二像素的混合比，N02表示帧#n+1中左数第二像素的像素值。
帧#n中左数第二像素的前景分量之和f02可以由基于方程(73)的方程(74)表达。
        f02＝F01/v＝C02-α2·N02              (74)
同样，帧#n中左数第三像素的前景分量之和f03可以由方程(75)表达，帧#n中左数第四像素的前景分量之和f04可以由方程(76)表达。
        f03＝C03-α3·N03              (75)
        f04＝C04-α4·N04              (76)
这样，包含在属于未被覆盖的背景区域的像素的像素值C中的前景分量fu可以由方程(77)表达：
         fu＝C-α·N                   (77)
其中N表示对应于后续帧中像素的像素值。
如上所述，分离部分601能够根据包含在区域信息中的指示被覆盖的背景区域的信息和指示未被覆盖的背景区域的信息以及每个像素的混合比α，从属于混合区域的像素中分离前景分量，以及从属于混合区域的像素中分离背景分量。
图69是图示执行上述处理的分离部分601配置的一个实例的方框图。输入到分离部分601中的图像被供应给帧存储器621，从混合比计算器104供应的指示被覆盖的背景区域和未被覆盖的背景区域的区域信息以及混合比α被供应给分离处理单元622。
帧存储器621以帧单位存储输入图像。当待处理的一帧是帧#n时，帧存储器621存储帧#n-1(是帧#n的前一帧)、帧#n和帧#n+1(是帧#n的后一帧)。
帧存储器621把帧#n-1、帧#n和帧#n+1中的对应像素供应给分离处理单元622。
分离处理单元622根据指示被覆盖的背景区域和未被覆盖的背景区域的区域信息以及混合比α，把参考图67和图68讨论的计算应用于从帧存储器6 21供应的帧#n-1、帧#n和帧#n+1中的对应像素的像素值，以便从属于帧#n中混合区域的像素中分离前景分量和背景分量，并且将它们供应给帧存储器623。
分离处理单元622由未覆盖的区域处理器631、覆盖的区域处理器632、合成器633和合成器634构成。
未覆盖的区域处理器631的乘法器641用混合比α乘帧存储器621所供应的帧#n+1中像素的像素值，并且把所得到的像素值输出给开关642。当从帧存储器621供应的帧#n的像素(相当于帧#n+1中的像素)属于未覆盖的区域时，闭合开关642，并且把乘法器641供应的被混合比α相乘的像素值供应给计算器643和合成器634。通过由开关624输出的混合比α乘帧#n+1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。
计算器643从帧存储器621供应的帧#n中像素的像素值中减去从开关642供应的背景分量，以便获得前景分量。计算器643向合成器633供应属于未被覆盖的背景区域的帧#n中像素的前景分量。
覆盖的区域处理器632的乘法器651用混合比α乘帧存储器621所供应的帧#n-1中像素的像素值，并且把所得到的像素值输出给开关652。当从帧存储器621供应的帧#n的像素(相当于帧#n-1中的像素)属于被覆盖的背景区域时，闭合开关652，并且把乘法器651供应的被混合比α相乘的像素值供应给计算器653和合成器634。通过由开关652输出的混合比α乘帧#n-1中像素的像素值而获得的值相当于帧#n中对应像素的像素值的背景分量。
计算器653从帧存储器621供应的帧#n中像素的像素值中减去从开关652供应的背景分量，以便获得前景分量。计算器653向合成器633供应属于被覆盖的背景区域的帧#n中像素的前景分量。
合成器633将计算器643所供应的属于未被覆盖的背景区域的像素的前景分量与计算器653所供应的属于被覆盖的背景区域的像素的前景分量相合并，并且把合成的前景分量供应给帧存储器623。
合成器634将计算器642所供应的属于未被覆盖的背景区域的像素的背景分量与开关652所供应的属于被覆盖的背景区域的像素的背景分量相合并，并且把合成的背景分量供应给帧存储器623。
帧存储器623存储从分离处理单元622供应的帧#n的混合区域中像素的前景分量和背景分量。
帧存储器623输出所存储的帧#n中混合区域的像素的前景分量和所存储的帧#n中混合区域的像素的背景分量。
通过利用表示特征量的混合比α，可以完全分离包含在像素中的前景分量和背景分量。
合成器603将分离部分601输出的帧#n中混合区域的像素的前景分量与属于前景区域的像素相合并，以便生成前景分量图像。合成器605将分离部分601输出的帧#n中混合区域的像素的背景分量与属于背景区域的像素相合并，以便生成背景分量图像。
图70A图示对应于图66中帧#n的前景分量图像的一个实例。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，因此像素值被设置为0。
在分离前景和背景之前，左数第二至第四像素属于未被覆盖的背景区域。因此，背景分量被设置为0，并且保持前景分量。在分离前景和背景之前，左数第十一至第十三像素属于被覆盖的背景区域。因此，背景分量被设置为0，并且保持前景分量。左数第五至第十像素仅仅由如此保持的前景分量组成。
图70B图示对应于图66中帧#n的背景分量的一个实例。在分离前景和背景之前，最左像素和左数第十四像素仅仅由背景分量组成，从而保持背景分量。
在分离前景和背景之前，左数第二至第四像素属于未被覆盖的背景区域。因此，前景分量被设置为0，并且保持背景分量。在分离前景和背景之前，左数第十一至第十三像素属于被覆盖的背景区域。因此，前景分量被设置为0，并且保持背景分量。左数第五至第十像素仅仅由前景分量组成，因而像素值被设置为0。
下面参考图71的流程图说明由前景/背景分离器105执行的分离前景和背景的处理。在步骤S601中，分离部分601的帧存储器621获得输入图像，并且存储用于分离前景和背景的帧#n以及在前帧#n-1和后续帧#n+1。
在步骤S602中，分离部分601的分离处理单元622获取从混合比计算器104供应的区域信息。在步骤S603中，分离部分601的分离处理单元622获取从混合比计算器104供应的混合比α。
在步骤S604中，未覆盖的区域处理器631根据区域信息和混合比α从帧存储器621供应的属于未被覆盖的背景区域的像素的像素值中提取背景分量。
在步骤S605中，未覆盖的区域处理器631根据区域信息和混合比α从帧存储器621供应的属于未被覆盖的背景区域的像素的像素值中提取前景分量。
在步骤S606中，覆盖的区域处理器632根据区域信息和混合比α从帧存储器621供应的属于被覆盖的背景区域的像素的像素值中提取背景分量。
在步骤S607中，覆盖的区域处理器632根据区域信息和混合比α从帧存储器621供应的属于被覆盖的背景区域的像素的像素值中提取前景分量。
在步骤S608中，合成器633将步骤S605的处理中提取的属于未被覆盖的背景区域的像素的前景分量与在步骤S607处理中提取的属于被覆盖的背景区域的像素的前景分量相合并。所合成的前景分量被供应给合成器603。合成器603进一步将经由开关602供应的属于前景区域的像素与从分离部分601供应的前景分量相合并，以便生成前景分量图像。
在步骤S609中，合成器634将在步骤S604处理中提取的属于未被覆盖的背景区域的像素的背景分量与在步骤S606处理中提取的属于被覆盖的背景区域的像素的背景分量相合并。合成的背景分量被供应给合成器605。合成器605进一步将经由开关604供应的属于背景区域的像素与从分离部分601供应的背景分量相合并，以便生成背景分量图像。
在步骤S610中，合成器603输出前景分量图像。在步骤S611中，合成器605输出背景分量图像。然后结束该处理。
如上所述，前景/背景分离器105能够根据区域信息和混合比α从输入图像中分离出前景分量和背景分量，并且输出仅仅由前景分量组成的前景分量图像和仅仅由背景分量组成的背景分量图像。
下面描述从背景分量图像中调整运动模糊量。
图72是图示运动模糊调整单元106的配置的一个实例的方框图。
将从运动检测器102供给运动向量及其位置信息和从区域指定单元103供给的区域信息供给处理单位确定部分801和模型形成部分802。从前景/背景分离器105供给的区域信息被供给加法器804。
处理单位确定部分801将处理单位和区域信息与运动向量一起供给模型形成部分802，其中所述处理单位根据运动向量及其位置信息产生。处理单位确定部分801将所产生的处理单位供给加法器804。
像由图73中所示的“A”指示的实例那样，由处理单位确定部分801所产生的处理单位指示排列在移动方向上，起始于对应于前景分量图像的被覆盖的背景区域的像素、到对应于未被覆盖的背景区域的像素为止的相邻像素，或者指示排列在移动方向上，起始于对应于未被覆盖的背景区域的像素、到对应于被覆盖的背景区域的像素为止的相邻像素。处理单位由两段数据构成，这些数据指示例如左上角点(是由该处理单位所指定的图像中的最左边或最上边的像素的位置)和右下角点。
模型形成部分802根据运动向量和输入的处理单位形成模型。更具体地说，例如，模型形成部分802可以事先按照包含在处理单位中的像素数、时间方向上像素值的虚拟划分部分的数量以及每个像素的前景分量数，存储多个模型。然后，模型形成部分802可以选择这样的模型，在其中，像图74中那样，根据处理单位和时间方向上像素值的虚拟划分部分的数量指定像素和前景分量之间的相关性。
现在假设例如对应于处理单位的像素数是12，快门时间内的运动量是5。那么，模型形成部分802将虚拟划分部分的数量设置成5，并选择一由八种类型的前景分量构成的模型，以便最左边的像素包含前景分量，左起第二像素包含两个前景分量，左起第三像素包含三个前景分量，左起第四像素包含四个前景分量，左起第五像素包含五个前景分量，左起第六像素包含五个前景分量，左起第七像素包含五个前景分量，左起第八像素包含五个前景分量，左起第九像素包含四个前景分量，左起第十像素包含三个前景分量，左起第十一像素包含两个前景分量，左起第十二像素包含前景分量。
代替从预先存储的模型中选择模型，当供给运动向量和处理单位时，模型形成部分802可以根据运动向量和处理单位产生模型。
模型形成部分802将所选择的模型供给方程生成器803。
方程生成器803根据模型形成部分802供给的模型产生方程。
下面参考图74所示的前景分量图像的模型，描述在前景分量数为8、对应于处理单位的像素数是12、运动量v是5的情况下，由方程生成器803产生的方程。
当包含在对应于快门时间/v的前景分量图像中的前景分量是F01/v至F08/v时，F01/v至F08/v之间的关系和像素值C01至C012可以由方程(78)至(89)表示。
        C01＝F01/v                              (78)
        C02＝F02/v+F01/v                        (79)
        C03＝F03/v+F02/v+F01/v                  (80)
        C04＝F04/v+F03/v+F02/v+F01/v            (81)
        C05＝F05/v+F04/v+F03/v+F02/v+F01/v      (82)
        C06＝F06/v+F05/v+F04/v+F03/v+F02/v      (83)
        C07＝F07/v+F06/v+F05/v+F04/v+F03/v      (84)
        C08＝F08/v+F07/v+F06/v+F05/v+F04/v      (85)
        C09＝F08/v+F07/v+F06/v+F05/v            (86)
       C10＝F08/v+F07/v+F06/v           (87)
       C11＝F08/v+F07/v                 (88)
       C12＝F08/v                       (89)
方程生成器803通过修改所产生的方程来产生方程。由方程生成器803所产生的方程由方程(90)至(101)指示。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(90)
C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(91)
C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(92)
C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(93)
C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(94)
C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(95)
C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(96)
C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(97)
C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(98)
C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(99)
C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(100)
C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(101)
方程(90)至(101)可以被表示成方程(102) C j = Σ i = 01 08 aij · Fi / v . . . . . . ( 102 )
在方程(102)中，j指定像素的位置。在该实例中，j具有值1到12之一。在方程(102)中，i指定前景值的位置。在该实例中，i具有值1到8之一。在方程(102)中，aij根据i和j的值具有0或1值。
再考虑到误差的情况下，方程(102)可以表达成方程(103)。 C j = Σ i = 01 08 aij · Fi / v + ej . . . . . . ( 103 )
在方程(103)中，ej指定包含在指定的像素Cj中的误差。
方程(103)可以修改成方程(104)。 ej = C j - Σ i = 01 08 aij · Fi / v . . . . . . ( 104 )
为了使用最小二乘法，可以按方程(105)定义误差的平方和E。 E = Σ j = 01 12 ej 2 . . . . . . ( 105 )
为了最小化误差，误差的平方和E关于变量Fk的偏微分值应当为0。确定Fk以满足方程(106)。 ∂ E ∂ Fk = 2 · Σ j = 01 12 ej · ∂ ej ∂ Fk . . . . . ( 106 ) = 2 · Σ j = 01 12 ( Cj - Σ i = 01 8 aij · Fi / v ) · ( - akj / v ) = 0
在方程(106)中，由于运动量v是固定的值，因此可以导出方程(107)。 Σ j = 01 12 akj · ( Cj - Σ i = 01 8 aij · Fi / v ) = 0 . . . . . . ( 107 )
展开方程(107)并移项，可得到方程(108)。 Σ j = 01 12 ( akj · Σ i = 01 8 aij · Fi ) = v Σ j = 01 12 akj · Cj . . . . . . ( 108 )
通过将1到8之间的各个整数代入方程(108)中的k，方程(108)展开成八个方程。所获得的八个方程可以被表达成一个矩阵方程。这个方程称为“法方程”。
方程(109)指示由方程生成器803根据最小二乘法产生的法方程的实例。 5 4 3 2 1 0 0 0 4 5 4 3 2 1 0 0 3 4 5 4 3 2 1 0 2 3 4 5 4 3 2 1 1 2 3 4 5 4 3 2 0 1 2 3 4 5 4 3 0 0 1 2 3 4 5 4 0 0 0 1 2 3 4 5 F 01 F 02 F 03 F 04 F 05 F 06 F 07 F 08 = v · Σ i = 08 12 Ci Σ i = 07 11 Ci Σ i = 06 10 Ci Σ i = 05 09 Ci Σ i = 04 08 Ci Σ i = 03 08 Ci Σ i = 02 07 Ci Σ i = 01 06 Ci . . . . . . ( 109 )
方程(109)由A·F＝v·C表达，其中C、A和v已知，F未知。A和v在模型形成时知道，而C在加法处理过程中输入像素值时知道。
通过根据基于最小二乘法的法方程计算前景分量，可以分布包含在像素C中的误差。
方程生成器803将按照上述所讨论的方法生产的法方程供应给加法器804。
加法器804基于由处理单位确定部分801供应的处理单位，在方程生成器803所供给的矩阵方程中，设置包含在前景分量图像中的像素值C。加法器804将这样的矩阵供应给计算器805，其中所述矩阵被设置了像素值C。
计算器805通过诸如消去法(高斯-若当(Gauss-Jordan)消元法)之类的解法，计算已经从其中消除了运动模糊的前景分量Fi/v，以便获得对应于指示整数1到8之一的i、被从其中消除了运动模糊的像素值Fi。接着，计算器805输出由没有运动模糊的、如图75中那样的像素值组成的前景分量图像到运动模糊加法器806和选择器807。
在图75所示的没有运动模糊的前景分量图像中，在C03和C010中分别设置F01至F08的原因是，相对于屏幕，前景分量图像的位置不变化。然而，可以设置F01至F08在所希望的任何位置上。
运动模糊加法器806能够通过增加用于调整运动模糊的量v′来调整该运动模糊量。该运动量v′不同于运动量v，例如用于调整运动模糊的量v′是运动量v的数值的一半，或者用于调整运动模糊的量v′与运动量v无关。例如，如图76所示，运动模糊加法器806用用于调整运动模糊的量v′除没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。然后，运动模糊加法器806计算前景分量Fi/v′之和，从而生成调整了运动模糊量的像素值。例如，当用于调整运动模糊的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，以及像素值C05被设置为(F02+F03+F04)/v′。
运动模糊加法器806向选择器807供应调整了运动模糊量的前景分量图像。
选择器807根据反映用户选择的选择信号，选择从计算器805供应的没有运动模糊的前景分量图像和从运动模糊加法器806供应的调整了运动模糊量的前景分量图像之一，并且输出所选择的前景分量图像。
如上所述，运动模糊调整单元106能够根据选择信号和用于调整运动模糊的量v′来调整运动模糊量。
此外，例如，当对应于像素单位的像素数为8并且运动量为4(如图77中所示)时，运动模糊调整单元106生成由(110)表达的矩阵方程。 4 3 2 1 0 3 4 3 2 1 2 3 4 3 2 1 2 3 4 3 0 1 2 3 4 F 01 F 02 F 03 F 04 F 05 = v · Σ i = 05 08 Ci Σ i = 04 07 Ci Σ i = 03 06 Ci Σ i = 02 05 Ci Σ i = 01 04 Ci . . . . . . ( 110 )
按照这种方式，运动模糊调整单元106通过根据处理单位的长度建立方程来计算Fi，Fi是调整了运动模糊量的像素值。同样，例如，当包含在处理单位中的像素数为100时，生成对应于100个像素的方程来计算Fi。
图78图示运动模糊调整单元106的另一配置的例子。在其中用相同的参考号指示与图72的实例中同样的元素，并且省略其解释。
选择器821基于选择信号直接将输入的运动向量和其位置信号供应给处理单位确定部分801和模型形成部分802。或者，选择器821可以用用于调整运动模糊的量v′代替运动模糊的量，然后再将输入的运动向量和其位置信号供应给处理单位确定部分801和模型形成部分802。
利用这种安排，图78中所示的运动模糊调整单元106的处理单位确定部分801至计算器805，能够按照运动量v和用于调整运动模糊的量v′调整模糊量。例如，当运动量v是5和用于调整运动模糊的量v′是3时，图78中所示的运动模糊调整单元106的处理单位确定部分801至计算器805，按照图76中所示的、用于调整运动模糊的量v′是3的模型，执行对图74中所示的、运动量v是5的前景分量图像的计算。结果，获得包含具有运动量v的运动模糊(运动量v)/(用于调整运动模糊的量v′)＝5/3(即约1.7)的图像。在这种情况下，所计算出来的图像不包含对应于运动量v为3的运动模糊。因此，应该注意，运动量v和用于调整运动模糊的量v′之间的关系不同于运动模糊加法器806的结果。
如上所述，运动模糊调整单元106按照运动量v和处理单位生成方程，并在所生成的方程中设置前景分量图像的像素值，从而计算出在其中调整运动模糊量的前景分量图像。
以下参考图79的流程图，描述通过由运动模糊调整单元106执行调整包含在前景分量图像中的运动模糊量的处理。
在步骤S801中，运动模糊调整单元106的处理单位确定部分801基于运动向量和区域信息生成处理单位，并将所生成的处理单位供应给模型形成部分802。
在步骤S802中，运动模糊调整单元106的模型形成部分802基于运动向量v和处理单位选择或生成模型。在步骤S803中，方程生成器803根据所选定的模型生成法方程。
在步骤804中，加法器804在所生成的法方程中设置前景分量图像的像素值。在步骤805中，加法器804确定是否已经设置对应于处理单位的所有像素的像素值。如果确定还未设置对应于处理单位的所有像素的像素值，则处理返回到步骤S804，并且重复在法方程中设置像素值的处理。
如果在步骤S805中确定已经设置了对应于处理单位的所有像素的像素值，则处理前进到步骤S806。在步骤806，计算器805根据从加法器804供应的设置了像素值的法方程来计算在其中调整运动模糊的前景的像素值。然后结束该处理过程。
如上所述，运动模糊调整单元106能够根据运动向量和区域信息调整包含运动模糊的前景图像中的运动模糊量。
亦即，调整包含在像素值(即样本数据)中的运动模糊量成为可能。
从前面的描述中可以看出，图2所示的图像处理设备能够调整包含在输入图像中的运动模糊量。图2所示的图像处理设备能够计算作为嵌入信息的混合比α，并输出所计算到的混合比α。
图80是图示运动模糊调整单元106的配置的另一实例的方框图。运动检测器102所供应的运动向量及其位置信息被供应给处理单位确定部分901和调整部分905。区域指定单元103供应的区域信息被供应给处理单位确定部分901。前景/背景分离器105供应的前景分量图像被供应给计算器904。
处理单位确定部分901将处理单位和区域信息与运动向量一起供给模型形成部分902，其中所述处理单位根据运动向量及其位置信息产生。
模型形成部分902根据运动向量和输入的处理单位形成模型。更具体地说，例如，模型形成部分902可以事先按照包含在处理单位中的像素数、时间方向上像素值的虚拟划分部分的数量以及每个像素的前景分量数，存储多个模型。然后，模型形成部分902可以选择这样的模型，在其中，像图81中那样，根据处理单位和时间方向上像素值的虚拟划分部分的数量指定像素和前景分量之间的相关性。
现在假设例如对应于处理单位的像素数是12，快门时间内的运动量v是5。那么，模型形成部分902将虚拟划分部分的数量设置成5，并选择一由八种类型的前景分量构成的模型，以便最左边的像素包含前景分量，左起第二像素包含两个前景分量，左起第三像素包含三个前景分量，左起第四像素包含四个前景分量，左起第五像素包含五个前景分量，左起第六像素包含五个前景分量，左起第七像素包含五个前景分量，左起第八像素包含五个前景分量，左起第九像素包含四个前景分量，左起第十像素包含三个前景分量，左起第十一像素包含两个前景分量，左起第十二像素包含前景分量。
代替从预先存储的模型中选择模型，当供给运动向量和处理单位时，模型形成部分902可以根据运动向量和处理单位产生模型。
方程生成器903根据模型形成部分902供给的模型产生方程。
下面参考图81-84所示的前景分量图像的模型，描述在前景分量数为8、对应于处理单位的像素数是12、运动量v是5的情况下，由方程生成器903产生的方程。
当包含在对应于快门时间/v的前景分量图像中的前景分量是F01/v至F08/v时，F01/v至F08/v和像素值C01至C012之间的关系可以由以上所述的方程(78)至(89)表示。
考虑像素值C12和C11，按照方程(111)的表达，像素值C12仅仅包含前景分量F08/v，像素值C11包括前景分量F08/v和前景分量F07/v的积和(product sum)。因此，可以从方程(112)中获得前景分量F07/v。
        F08/v＝C12                   (111)
        F07/v＝C11-C12               (112)
同样，通过考虑包含在像素值C10和C01中的前景分量，可以分别通过方程(113)至(118)获得前景分量F06/v至F01/v。
        F06/v＝C10-C11               (113)
        F05/v＝C09-C10               (114)
        F04/v＝C08-C09               (115)
        F03/v＝C07-C08+C12           (116)
        F02/v＝C06-C07+C11-C12       (117)
        F01/v＝C05-C06+C10-C11       (118)
像方程(111)至(118)所指示的实例那样，方程生成器903生成用于通过像素值之间的差来计算前景分量的方程。方程生成器903将所生成的方程供应给计算器904。
计算器904在由方程生成器903生成的方程中设置前景分量图像的像素值，以便基于设置了像素值的方程获得前景分量。例如，当从方程生成器903供应方程(111)至(118)时，计算器904在方程(111)至(118)中设置像素值C05至C12。
计算器904基于设置了像素值的方程计算前景分量。例如，像在图82中那样，计算器904基于设置了像素值C05至C12的方程(111)至(118)计算前景分量F01/v至F08/v。计算器904将前景分量F01/v至F08/v供应给调整部分905。
调整部分905将计算器904供应的前景分量乘以包含在由处理单位确定部分901所供给的运动向量中的运动量v，以便获得消除了运动模糊的前景像素值。例如，当从计算器904供应前景分量F01/v至F08/v时，调整部分905将前景分量F01/v至F08/v中的每个乘以运动量v(即5)，以便获得消除了运动模糊的前景像素值F01至F08，如图83所示。
调整部分905将由按上述方式计算到的、没有运动模糊的前景像素值组成的前景像素图像供应给运动模糊加法器906和选择器907。
运动模糊加法器906能够使用用于调整运动模糊的量v′来调整该运动模糊量，该运动量v′不同于运动量v，例如用于调整运动模糊的量v′是运动量v数值的一半，或者用于调整运动模糊的量v′与运动量v无关。例如，如图76所示，运动模糊加法器906用用于调整运动模糊的量v′除没有运动模糊的前景像素值Fi，以便获得前景分量Fi/v′。然后，运动模糊加法器906计算前景分量Fi/v′之和，从而生成调整了运动模糊量的像素值。例如，当用于调整运动模糊的量v′是3时，像素值C02被设置为(F01)/v′，像素值C3被设置为(F01+F02)/v′，像素值C04被设置为(F01+F02+F03)/v′，以及像素值C05被设置为(F02+F03+F04)/v′。
运动模糊加法器906向选择器907供应调整了运动模糊量的前景分量图像。
选择器907根据反映用户选择的选择信号，选择从计算器905供应的没有运动模糊的前景分量图像或从运动模糊加法器906供应的调整了运动模糊量的前景分量图像，并且输出所选择的前景分量图像。
如上所述，运动模糊调整单元106能够根据选择信号和用于调整运动模糊的量v′来调整运动模糊量。
以下参考图84的流程图，描述通过由配置成如图80所示的运动模糊调整单元106执行的调整前景的运动模糊量的处理。
在步骤S901中，运动模糊调整单元106的处理单位确定部分901基于运动向量和区域信息生成处理单位，并将所生成的处理单位供应给模型形成部分902和调整部分905。
在步骤S902中，运动模糊调整单元106的模型形成部分902基于运动向量v和处理单位选择或生成模型。在步骤S903中，方程生成器903根据所选定的模型生成方程，该方程用于依靠像素分量图像的像素值之间的差来计算前景分量。
在步骤904中，计算器904在所生成的方程中设置前景分量图像的像素值，并且根据设置了像素值的方程，使用像素值之间的差提取前景分量。在步骤905中，计算器904确定是否已经提取了对应于处理单位的所有前景分量。如果确定还未提取对应于处理单位的所有前景分量，则处理返回到步骤S904，并且重复提取前景分量的处理。
如果在步骤S905中确定已经提取了对应于处理单位的所有前景分量，则处理前进到步骤S906。在步骤906，调整部分905根据运动量调整计算器904供应的前景分量F01/v至F08/v中的每一个，以便获得消除了运动模糊的前景像素值F01/v至F08/v。
在步骤S907中，运动模糊加法器906计算调整了运动模糊量的前景像素值，而选择器907选择没有运动模糊的图像或者调整了运动模糊量的图像，并且输出所选择的图像。然后结束该处理过程。
如上所述，配置成如图80所示的运动模糊调整单元106能够更迅速地根据更简单的计算调整包含运动模糊的前景图像中的运动模糊量。
用于部分地消除运动模糊的已知技术(诸如维纳(Wiener)滤波器)在被用于理想状态时有效，但对于被量化和包含噪声的实际图像是不够的。相反，业已证明，配置成如图80所示的运动模糊调整单元106对于被量化和包含噪声的实际图像是足够有效的。因此，高精度地消除运动模糊成为可能。
图85是图示图像处理设备功能的另一配置的方框图。
该图像处理设备与图2类似的部件由类似的标号表示，因此省略对其的说明。
区域指定单元103将区域指定信息供应给混合比计算器104和合成器1001。
混合比计算器104将混合比α供应给前景/背景分离器105和合成器1001。
前景/背景分离器105将前景分量供应给合成器1001。
合成器1001根据从混合比计算器104供应的混合比α以及从区域指定单元103供应的区域信息，组合确定的背景图像与从前景/背景分离器105供应的前景分量图像，并且输出组合了确定的背景图像和前景分量图像的合成图像。
图86图示合成器1001的配置。背景分量生成器1021根据混合比α和确定的背景图像生成一背景分量图像，并且向混合区域图像合成部分1022供应背景分量图像。
混合区域图像合成器1022组合从背景分量生成器1021供应的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且将所生成的混合区域合成图像供应给图像合成部分1023。
图像合成部分1023根据区域信息，组合前景分量图像、从混合区域图像合成部1022供应的混合区域合成图像以及确定的背景图像，以便生成合成图像并输出该图像。
如上所述，合成器1001能够组合前景分量图像与确定的背景图像。
通过根据混合比α(是特征量)组合前景分量与确定的背景图像而获得的图像，比简单组合像素而获得的图像更加自然。
图87是图示调整运动模糊量的图像处理设备的功能的再一配置的方框图。图2所示的图像处理设备顺序地执行区域制定操作和针对混合比α的计算。相反，图87所示的图像处理设备同时执行区域指定处理和针对混合比α的计算。
图87中与图2的方框图类似的功能部件由类似的参考标号表示，因此省略对其说明。
输入图像被供应给混合比计算器1101、前景/背景分离器1102、区域指定单元103和对象提取单元101。
混合比计算器1101根据输入图像计算当假定输入图像中包含的每一像素属于被覆盖的背景区域时的估算混合比α以及当假定包含在输入图像中的每一像素属于未被覆盖的背景区域时的估算混合比，并且将以上述方式计算的估算混合比供应给前景/背景分离器1102。
图88是图示混合比计算器1101配置的方框图。
图88所示的估算混合比处理器401与图47所示的估算混合比处理器401相同。图88所示的估算混合比处理器402与图47所示的估算混合比处理器402相同。
估算混合比处理器401根据输入图像通过对应于被覆盖的背景区域的计算算出针对每个像素的估算混合比，并且输出所算出的估算混合比。
估算混合比处理器402根据输入图像通过对应于未被覆盖的背景区域的计算算出针对每个像素的估算混合比，并且输出所算出的估算混合比。
前景/背景分离器1102根据当假定像素属于从混合比计算器1101供应的被覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未被覆盖的背景区域时计算的估算混合比以及从区域指定单元103供应的区域信息，从输入图像中生成前景分量图像，并且将所生成的前景分量图像供应给运动模糊调整单元106和选择器107。
图89是图示前景/背景分离器1102配置的一个实例的方框图。
图89中与图64所示前景/背景分离器105类似的部件由类似的参考标号表示，因此省略对其说明。
选择器1121根据从区域指定单元103供应的区域信息，选择当假定像素属于从混合比计算器1101供应的被覆盖的背景区域时计算的估算混合比，或者选择当假定像素属于从混合比计算器1101供应的未被覆盖的背景区域时计算的估算混合比，并且将所选择的估算混合比作为混合比α供应给分离部分601。
分离部分601根据从选择器1121供应的混合比α和区域信息，从属于混合区域的像素的像素值中提取前景分量和背景分量，并且把所提取的前景分量供应给合成器603，以及把所提取的背景供应给合成器605。
分离部分601可以被配置为类似图69所示的对应物。
合成器603合成前景分量图像并输出它。合成器605合成背景分量图像并输出它。
图87所示的运动模糊调整单元106可以被配为类似于图2所示的对应物。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离器1102供应的前景分量图像中的运动模糊量，并且输出调整了运动模糊量前景分量图像。
图87所示的选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器1102供应的前景分量图像，或者选择从运动模糊调整单元106供应的调整了运动模糊量的前景分量图像，并输出所选择的前景分量图像。
如上所述，图87所示的图像处理设备能够调整包含在对应于输入图像的前景对象的图像中的运动模糊，并输出所得到的前景对象图像。如第一实施例，图87所示的图像处理设备能够计算作为嵌入信息的混合比α，并且输出所计算的混合比α。
图90是图示用于组合前景分量图像与确定背景图像的图像处理设备的再一功能配置的方框图。图85所示的图像处理设备顺序地执行区域指定操作和混合比α的计算。相反，图90所示的图像处理设备同时执行区域指定操作和混合比α的计算。
图90中与图87方框所示部件类似的功能部件由类似的参考标号表示，因此省略对其说明。
图90所示的混合比计算器1101根据输入图像，计算当假定输入图像中包含的每一像素属于被覆盖的背景区域时的估算混合比、当假定包含在输入图像中的每一像素属于未被覆盖的背景区域时的估算混合比，并且将以上述方式计算的估算混合比供应给前景/背景分离器1102和合成器1201。
图90所示的前景/背景分离器1102根据当假定像素属于从混合比计算器1101供应的被覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未被覆盖的背景区域时计算的估算混合比以及从区域指定单元103供应的区域信息，从输入图像中生成前景分量图像，并且将所生成的前景分量图像供应给合成器1201。
合成器1201根据当假定像素属于从混合比计算器1101供应的被覆盖的背景区域时计算的估算混合比、当假定像素属于从混合比计算器1101供应的未被覆盖的背景区域时计算的估算混合比以及从区域指定单元103供应的区域信息，组合确定的背景图像与从前景/背景分离器1102供应的前景分量图像，并且输出组合了背景图像与前景分量图像的合成图像。
图91图示合成器1201的配置，该合成器1201与图86的方框图类似的功能部件用类似参考标号表示，因此省略对其说明。
选择器1221根据从区域指定单元103供应的区域信息，选择当假定像素属于从混合比计算器1101供应的被覆盖的背景区域时计算的估算混合比，或者选择当假定像素属于从混合比计算器1101供应的未被覆盖的背景区域时计算的估算混合比，并且将所选择的估算混合比作为混合比α供应给背景分量生成器1021。
图91所示的背景分量生成器1021根据从选择器1221供应的混合比α和某一背景图像，生成背景分量图像，并且把背景分量图像供应给混合区域图像合成部分1022。
图91所示的混合区域图像合成部分1022组合从背景分量生成器1021供应的背景分量图像与前景分量图像，以便生成混合区域合成图像，并且把所生成的混合区域合成图像供应给图像合成部分1023。
图像合成部分1023根据区域信息，组合前景分量图像、从混合区域图像合成部1022供应的混合区域合成图像以及背景图像，以便生成合成图像并输出该图像。
这样，合成部分1201能够组合前景分量图像与某一背景图像。
以下描述根据本发明的、用于处理作为分量信号输入的输入图像的图像处理设备。
在本说明书中，分量指的是单独的信号，诸如分量形式的亮度信号、色差信号或RGB(红、绿、蓝)信号。
下面根据分量1为亮度值Y、分量2为色差U以及分量3为色差V的实例进行描述。
图92示出用于基于作为分量信号输入的输入图像生成区域信息的图像处理设备的实施例。
作为输入图像的分量信号之一的分量1被输入到区域指定单元103-1。作为另一个输入图像的分量信号的分量2被输入到区域指定单元103-2。作为再一个输入图像的分量信号的分量3被输入到区域指定单元103-3。
区域指定单元103-1根据分量1生成区域信息1，并且将所生成的区域信息1供应给逻辑OR处理器1301。区域指定单元103-1和区域指定单元103具有同样的结构，因此省略对其的解释。
区域指定单元103-2根据分量2生成区域信息2，并且将所生成的区域信息2供应给逻辑OR处理器1302。区域指定单元103-2和区域指定单元103具有同样的结构，因此省略对其的解释。
区域指定单元103-3根据分量3生成区域信息3，并且将所生成的区域信息3供应给逻辑OR处理器1303。区域指定单元103-3和区域指定单元103具有同样的结构，因此省略对其的解释。
根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑OR处理器1301计算由区域信息1所指示的前景区域、区域信息2所指示的前景区域以及区域信息3所指示的前景区域的逻辑OR，并且生成设置了由逻辑OR计算出来的前景区域的区域信息。根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑OR处理器1301计算由区域信息1所指示的背景区域、区域信息2所指示的背景区域以及区域信息3所指示的背景区域的逻辑OR，并且生成设置了由逻辑OR计算出来的背景区域的区域信息。
根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑OR处理器1301计算由区域信息1所指示的被覆盖的背景区域、区域信息2所指示的被覆盖的背景区域以及区域信息3所指示的被覆盖的背景区域的逻辑OR，并且生成设置了由逻辑OR计算出来的被覆盖的背景区域的区域信息。根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑OR处理器1301计算由区域信息1所指示的未被覆盖的背景区域、区域信息2所指示的未被覆盖的背景区域以及区域信息3所指示的未被覆盖的背景区域的逻辑OR，并且生成设置了由逻辑OR计算出来的未被覆盖的背景区域的区域信息。
逻辑OR处理器1301输出设置了前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的区域信息。
图93图示包含在分量信号中的分量1分量2和分量3之间的关系。参考字母A表示分量1，参考字母B表示分量2，而参考字母C表示分量3。
传感器例如具有三个对应于分量1、分量2和分量3的CCD区域传感器。对应于分量1的CCD区域传感器的特性、对应于分量2的CCD区域传感器的特性和对应于分量3的CCD区域传感器的特性相同，并且出现在分量1、分量2和分量3中的失真相同。
该传感器捕获对应于单一前景的对象111和对应于单一背景的对象112的图像，并输出分量1、分量2和分量3。
由对应于单一(single)前景的对象111和对应于单一背景的对象112组成的现实世界是一个，出现在现实世界中的现象(phenomenon)是一个(one)。即，例如，对应于单一前景的对象111的形状是一个，对应于单一前景的对象111的运动是一个。
因此，当传感器捕获到对应于单一前景的对象111的图像和对应于单一背景的对象112的图像时，分量1的前景区域、背景区域、混合区域和混合比α，分量2的前景区域、背景区域、混合区域和混合比α，以及分量3的前景区域、背景区域、混合区域和混合比α是相同的。
然而，当基于分量1、分量2和分量3的每一个执行同样的处理时，不是总能够针对每一个计算到相同的区域信息和相同的混合比。
例如，当捕获对应于前景的对象111的图像和对应于背景的对象112的图像，这些图像具有其中对应于分量3(是一个色差信号)的色差信号逼近为零的色度时，亮度信号分量1和色差信号分量2包含有效值，而色差信号分量3几乎不包含有效值。在这种情况下，即使根据分量3计算出来混合比α，也不可能确定有效值。
此外，例如，当亮度信号分量1在时间方向和空间方向上几乎不变化，而只有色差信号在时间方向或空间方向上变化时，即使根据分量1计算出来了区域信号和混合比α，也不可能确定有效值，但如果根据分量2或3计算出区域信号和混合比α，则可以确定有效值。
此外，存在这样的情况：对应于具体分量的CCD区域传感器可能引起误差。
如上所述，作为执行使用对应于要计算的单一区域信息和单一混合比α的多个分量的处理的结果，与例如使用单一分量信号或单一合成信号的处理相比，获得具有更高的精度的结果。
当使用多个分量执行统计处理过程时，由于数据量增加，处理结果的精度进一步提高。此外，例如，通过将最小二乘法应用于多个分量计算出来的混合比α的精度高于通过使用单一分量信号或单一合成信号的处理所计算出来的混合比α的精度。
接下来参考图94中的流程图描述由配置成图92所示的图像处理设备使用分量信号执行的区域确定处理。
在步骤S1301中，区域指定单元103-1根据分量1执行区域指定处理以生成区域信息1，并将所生成的区域信息1供应给逻辑OR处理器1301。步骤S1301的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1302中，区域指定单元103-2根据分量2执行区域指定处理以生成区域信息2，并将所生成的区域信息2供应给逻辑OR处理器1301。步骤S1302的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1303中，区域指定单元103-3根据分量3执行区域指定处理以生成区域信息3，并将所生成的区域信息3供应给逻辑OR处理器1301。步骤S1303的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1304中，逻辑OR处理器1301计算由分量1所指定的前景区域、由分量2所指定的前景区域以及由分量3所指定的前景区域的逻辑OR，并设置由逻辑OR运算计算出来的前景区域作为区域信息。
在步骤S1305中，逻辑OR处理器1301计算由分量1所指定的背景区域、由分量2所指定的背景区域以及由分量3所指定的背景区域的逻辑OR，并设置由逻辑OR运算计算出来的背景区域作为区域信息。
在步骤S1306中，逻辑OR处理器1301计算由分量1所指定的被覆盖的背景区域、由分量2所指定的被覆盖的背景区域以及由分量3所指定的被覆盖的背景区域的逻辑OR，并设置由逻辑OR运算所计算出来的被覆盖的背景区域作为区域信息。
在步骤S1307中，逻辑OR处理器1301计算由分量1所指定的未被覆盖的背景区域、由分量2所指定的未被覆盖的背景区域以及由分量3所指定的未被覆盖的背景区域的逻辑OR，并设置由逻辑OR运算所计算出来的未被覆盖的背景区域作为区域信息。逻辑OR处理器1301输出设置了前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的区域信息，然后结束该处理过程。
如上所述，配置成如图92所示的图像处理设备针对分量信号的每个分量指定一个区域，并确定所指定的区域的逻辑OR，以便生成最终的区域信息。配置成如图92所示的图像处理设备能够彻底地输出指定了前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的区域信息。
图95示出用于根据按照分量信号输入的输入图像生成区域信息的图像处理设备的另一实施例。
图95中与图92所示的元素相同的元素用同样的参考号标记，并在这里省略其解释。
根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑AND处理器1321计算由区域信息1所指示的前景区域、由区域信息2所指示的前景区域以及由区域信息3所指示的前景区域的逻辑AND，并且生成设置了由逻辑AND计算出来的前景区域的区域信息。根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑AND处理器1321计算由区域信息1所指示的背景区域、区域信息2所指示的背景区域以及区域信息3所指示的背景区域的逻辑AND，并且生成设置了由逻辑AND计算出来的背景区域的区域信息。
根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑AND处理器1321计算由区域信息1所指示的被覆盖的背景区域、区域信息2所指示的被覆盖的背景区域以及区域信息3所指示的被覆盖的背景区域的逻辑AND，并且生成设置了由逻辑AND计算出来的被覆盖的背景区域的区域信息。根据区域指定单元103-1所供应的区域信息1、区域指定单元103-2所供应的区域信息2和区域指定单元103-3所供应的区域信息3，逻辑AND处理器1321计算由区域信息1所指示的未被覆盖的背景区域、区域信息2所指示的未被覆盖的背景区域以及区域信息3所指示的未被覆盖的背景区域的逻辑AND，并且生成设置了由逻辑AND计算出来的未被覆盖的背景区域的区域信息。
逻辑AND处理器1321输出设置了前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的区域信息。
接下来参考图96中的流程图描述由配置成图92所示的图像处理设备执行的、使用多个分量的区域确定处理。
在步骤S1321中，区域指定单元103-1根据分量1执行区域指定处理以生成区域信息1，并将所生成的区域信息1供应给逻辑AND处理器1321。步骤S1321的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1322中，区域指定单元103-2根据分量2执行区域指定处理以生成区域信息2，并将所生成的区域信息2供应给逻辑AND处理器1321。步骤S1322的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1323中，区域指定单元103-3根据分量3执行区域指定处理以生成区域信息3，并将所生成的区域信息3供应给逻辑AND处理器1321。步骤S1323的处理与步骤S11的处理相同，因此这里省略对其的解释。
在步骤S1324中，逻辑AND处理器1321计算由分量1所指定的前景区域、由分量2所指定的前景区域以及由分量3所指定的前景区域的逻辑AND，并设置由逻辑AND运算计算出来的前景区域作为区域信息。
在步骤S1325中，逻辑AND处理器1321计算由分量1所指定的背景区域、由分量2所指定的背景区域以及由分量3所指定的背景区域的逻辑AND，并设置由逻辑AND运算计算出来的背景区域作为区域信息。
在步骤S1326中，逻辑AND处理器1321计算由分量1所指定的被覆盖的背景区域、由分量2所指定的被覆盖的背景区域以及由分量3所指定的被覆盖的背景区域的逻辑AND，并设置由逻辑AND运算所计算出来的被覆盖的背景区域作为区域信息。
在步骤S1327中，逻辑AND处理器1321计算由分量1所指定的未被覆盖的背景区域、由分量2所指定的未被覆盖的背景区域以及由分量3所指定的未被覆盖的背景区域的逻辑AND，并设置由逻辑AND运算所计算出来的未被覆盖的背景区域作为区域信息。逻辑AND处理器1321输出设置了前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的区域信息，然后结束该处理过程。
如上所述，配置成如图95所示的图像处理设备针对每个分量指定一个区域，并确定所指定的区域的逻辑AND，以便生成最终的区域信息。配置成如图95所示的图像处理设备能够输出具有小误差量的区域信息。
图97示出用于根据作为分量信号输入的输入图像生成区域信息的图像处理设备的再一实施例。
区域指定单元1331针对每一个像素添加包含在输入的分量信号中的分量1、分量2和分量3，并根据针对每一个像素所添加的分量1、分量2和分量3，确定像素属于运动区域还是静止区域。区域指定单元1331根据确定像素属于运动区域还是静止区域的确定结果生成区域信息，并输出所生成的区域信息。
参考图98至102解释区域指定单元1331的处理。
如图98所示，从图像的统计特征的观点来看，在图像的静止区域中，时间相关性强于空间相关性。与此相反，在图像的运动区域中，空间相关性强于时间相关性。
当如图99所示，要计算例如关于指定的像素是中心像素的5×5像素的块的像素的、用于确定是运动区域还是静止区域的空间相关性时，区域指定单元1331计算相邻像素的像素值之差，并且计算所计算出来的差的绝对值的总和。区域指定单元1331通过将所计算出来的差的绝对值的总和除以差值数，来计算对应于空间相关性的时间相关性。
例如，当指定的像素是x33，包含在该块中的像素的像素值是x11至x55时，区域指定单元1331计算差的绝对值的总和，即相邻像素的像素值的差的绝对值的总和，被显示在方程(119)中：
差的绝对值的总和＝|(x11-x12)|+|(x12-x13)|+|(x13-x14)|+...
                  +|(x52-x53)|+|(x53-x54)|+|(x54-x55)|
                  +|(x11-x21)|+|(x21-x31)|+|(x31-x41)|+...
                  +|(x25-x35)|+|(x35-x45)|+|(x45-x55)|    (119)
区域指定单元1331通过将该差的绝对值的总和除以差值数40，来计算对应于空间相关性的相关性值。
当要计算用于确定是运动区域还是静止区域的时间相关性时，区域指定单元1331计算指定像素的像素值与前一帧中的相应位置处的像素的像素值之间的差，并且还计算指定像素的像素值与后续帧中的相应位置处的像素的像素值之间的差。为了防止由于使用指示较强的相关性的差而区域被确定为在边界上宽，区域指定单元1331选择关于前一帧中的相应位置处的像素的像素值的差与关于后续帧中的相应位置处的像素的像素值的差中的较小的差。
区域指定单元1331计算所选择的差的绝对值的总和。区域指定单元1331通过将所选择的差的绝对值的总和除以差值数，来计算对应于时间相关性的相关性值。
例如，当指定帧是如图100所示的帧#n时，区域指定单元1331计算一3×3像素块的各个像素之间的、例如关于作为中心的指定像素x22的差。
区域指定单元1331计算帧#n中的像素的像素值x11与帧#n-1中的相应位置处的像素的像素值x11之间的差，以及帧#n中的像素的像素值x11与帧#n+1中的相应位置处的像素的像素值x11之间的差。区域指定单元1331选择关于帧#n-1中的相应位置处的像素的像素值x11的差与关于帧#n+1中的相应位置处的像素的像素值x11的差中的较小的差。
类似地，区域指定单元1331计算帧#n中的像素的像素值x12至x33之中的每一个与帧#n-1中的相应位置处的像素的像素值x12至x33之中的每一个之间的差，以及帧#n中的像素的像素值x12至x33之中的每一个与帧#n+1中的相应位置处的像素的像素值x12至x33之中的每一个之间的差。区域指定单元1331选择关于帧#n-1中的相应位置处的像素的像素值x12至x33之中的每一个的差与关于帧#n+1中的相应位置处的像素的像素值x12至x33之中的每一个的差中的较小的差。
区域指定单元1331确定所选择的九个差的绝对值的总和。区域指定单元1331通过将所计算出的差的绝对值的总和除以差值数9，来确定对应于时间相关性的相关性值。
此外，区域指定单元1331可以计算每个像素的时间相关性和空间相关性。区域指定单元1331除了计算该差的绝对值的总和以外，还计算指示其它相关性的值(诸如差的平方和)来作为指示时间相关性和空间相关性值。
在本发明中，包含在要计算时间相关性和空间相关性的块中的像素数是不受限制的。
图101图解静止区域中的时间相关性和空间相关性。例如，在静止区域中，由于图像是静止的，因此指定像素的像素值J和对应位置处的像素的像素值J相同。所以，在静止区域中时间相关性很强。
相反，邻接于指定的像素的像素具有不同于像素值J的像素值I或者像素值K。
如上述所讨论，在静止区域中空间相关性弱于时间相关性。
图102图解运动区域中的时间相关性和空间相关性。例如，在包含于运动区域的指定像素中的图像的分量I/4、J/4、K/4和L/4中，图像的分量I/4、J/4和K/4包含在相邻的像素中，图像的分量J/4、K/4和L/4包含在另外的相邻的像素中。因此，在运动区域中空间相关性很强。
相反，对应于指定的像素的相邻帧的像素包含不同图像分量。
如上述所讨论，在运动区域中时间相关性弱于空间相关性。
正如从上述描述中所看到的那样，区域指定单元1331通过确定时间相关性和空间相关性以及将时间相关性与空间相关性值比较，能够知道指定的像素包含在运动区域还是静止区域。
区域指定单元1331执行关于包含在帧中的全部像素是运动区域还是静止区域的确定。
根据是运动区域还是静止区域的确定结果，区域指定单元1331确定每个像素属于前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域中那一个，并生成区域信息。
例如，当与前景区域相同的区域被确定为运动区域时，区域指定单元1331以以下方式做出关于是否为前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的确定。当帧#n中的指定像素被确定为运动时，区域指定单元1331确定帧#n中的指定像素属于前景区域。
当帧#n中的指定像素被确定为静止，并且位于与该图像的帧#n中的指定像素的相同位置处的、帧#n+1中的像素被确定为运动时，区域指定单元1331确定帧#n中的指定像素属于被覆盖的背景区域。
当帧#n中的指定像素被确定为静止，并且位于与该图像的帧#n中的指定像素的相同位置处的、帧#n-1中的像素被确定为运动时，区域指定单元1331确定帧#n中的指定像素属于未被覆盖的背景区域。
区域指定单元1331将被确定为静止并且不属于被覆盖的背景区域或未被覆盖的背景区域的像素确定为背景区域。
当由背景区域和混合区域形成的区域被确定为运动区域时，区域指定单元1331通过参考相邻帧的静止区域，对每个像素做出关于是否为前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的确定。
现在参考图103至106描述处理结果的实例。
图103示出对应于分量1、分量2和分量3的输入图像的实例，这些分量被输入区域指定单元1331。
图104示出区域指定单元1331以对应于图103所示的输入图像这样的一种方式，对每个像素做出关于是运动区域还是静止区域的确定的结果。在图104中，白色指示运动区域、黑色指示静止区域。可以看出，虽然存在不正确地确定的部分，但总体上来说，几乎指定了运动区域或静止区域。
图105示出区域指定单元1331已经以对应于图103所示的输入图像这样的一种方式，使用15×15像素块为单位做出关于是运动区域还是静止区域的确定的结果。在图105中，白色指示运动区域、黑色指示静止区域。可以看出，几乎精确地指定了运动区域或静止区域。
图106示出区域指定单元1331根据图105所示的、是运动区域还是静止区域的确定的结果，已经做出的关于是否为前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域的确定结果。在图106中，参考字母A指示背景区域。参考字母B指示未被覆盖的背景区域。参考字母C指示前景区域。参考字母D指示被覆盖的背景区域。
可以看出，既然该区域是根据运动区域或静止区域的几乎精确的指定所确定的，因此可以几乎精确地指定前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域。
下面参考图107的流程描述由区域指定单元1331执行的、使用分量的区域指定处理。
在步骤S1331，区域指定单元1331计算每个像素的分量总和。
在步骤S1332，区域指定单元1331使用例如由预定像素述所构成的块作为单位，确定空间相关性。在步骤S1333，区域指定单元1331使用例如由预定像素述所构成的块作为单位，确定时间相关性。
在步骤S1334，区域指定单元1331对每个像素将空间相关性与时间相关性进行比较，以便确定时间相关性是否强于空间相关性。当确定为时间相关性强于空间相关性时，处理过程前进到步骤S1335，在其中区域指定单元1331将指定的像素设置为在静止区域，然后处理过程前进到步骤S1337。
当确定为时间相关性不强于空间相关性时，由于空间相关性强于时间相关性，处理过程前进到步骤S1336，在其中区域指定单元1331将指定的像素设置为在运动区域，然后处理过程前进到步骤S1337。
步骤S1334至S1336从该帧中的全部像素的每一个中执行。
在步骤S1337，根据静止或运动设置，区域指定单元1331做出关于是否为前景区域、背景区域、被覆盖的背景区域或被覆盖的背景区域的确定，然后处理过程结束。
例如，当在步骤S1337确定帧#n中的指定像素被确定为是运动的时候，区域指定单元1331确定帧#n中的指定像素属于前景区域。
当确定帧#n中的指定像素被确定为是静止的，并且在图像中位于与帧#n中的指定像素位置同样的位置处的、帧#n+1中的指定像素是运动的时候，区域指定单元1331确定帧#n中的指定像素属于被覆盖的背景区域。
当确定帧#n中的指定像素被确定为是静止的，并且在图像中位于与帧#n中的指定像素位置同样的位置处的、帧#n-1中的指定像素是运动的时候，区域指定单元1331确定帧#n中的指定像素属于未被覆盖的背景区域。
区域指定单元1331确定被确定为静止并且不属于被覆盖的背景区域或未被覆盖的背景区域的像素属于背景区域。
如上所述，根据分量，图97中所示的区域指定单元1331能够指定前景区域、背景区域、被覆盖的背景区域或未被覆盖的背景区域。
图108示出用于根据作为分量信号输入的输入图像和区域信息、计算混合比α的图像处理设备的实施例。
混合比计算器104-1根据区域信息和分量1计算混合比1，并将所计算出的混合比1供应给平均处理器1401。混合比计算器104-1与估算混合比计算器104有相同的配置，因此，在这里省略其解释。
混合比计算器104-2根据区域信息和分量2计算混合比2，并将所计算出的混合比2供应给平均处理器1401。混合比计算器104-2与估算混合比计算器104有相同的配置，因此，在这里省略其解释。
混合比计算器104-3根据区域信息和分量3计算混合比3，并将所计算出的混合比3供应给平均处理器1401。混合比计算器104-3与估算混合比计算器104有相同的配置，因此，在这里省略其解释。
平均处理器1401计算混合比计算器104-1供应的混合比1、混合比计算器104-2供应的混合比2和混合比计算器104-3供应的混合比3的平均值，并将所计算出的平均值作为混合比α输出。
正如图109中的“A”所指示，在预定像素中，对应于作为分量1的亮度值Y的混合比α、对应于作为分量2的色差U的混合比α和对应于作为分量3的色差V的混合比α相同。配置成如图108所示的图像处理设备通过使用分量1、分量2和分量3计算混合比α，能够更精确地计算混合比α。
参考图110的流程图，描述由配置成如图108所示的图像处理设备执行的、用于使用分量信号计算混合比α的处理。
在步骤S1401，混合比计算器104-1根据区域信息和分量1计算混合比1。混合比计算器104-1将所计算出的混合比1供应给平均处理器1401。步骤S1401的处理与步骤S12的处理相同，因此，在这里省略其解释。
在步骤S1402，混合比计算器104-2根据区域信息和分量2计算混合比2。混合比计算器104-2将所计算出的混合比2供应给平均处理器1401。步骤S1402的处理与步骤S12的处理相同，因此，在这里省略其解释。
在步骤S1403，混合比计算器104-3根据区域信息和分量3计算混合比3。混合比计算器104-3将所计算出的混合比3供应给平均处理器1401。步骤S1403的处理与步骤S12的处理相同，因此，在这里省略其解释。
在步骤S1404，平均处理器1401计算基于分量1的混合比1、基于分量2的混合比2和基于分量3的混合比3的平均值，并将所计算出的平均值作为混合比α输出。然后结束该处理过程。
如上所述，配置成如图108所示的图像处理设备计算关于每个分量的混合比，并计算所获得混合比的平均值，以生成最终的混合比α。配置成如图108所示的图像处理设备能够计算混合比α，在其中，降低了由发生在一个分量中的误差产生的影响。
图111示出用于根据作为分量信号输入的输入图像和区域信息、计算混合比α的图像处理设备的另一实施例。在图111中，与图108相同的元素用同样的参考号指示，因此，这里省略其解释。
择多(majority)处理器1411将在预定间隔中，分类从混合比计算器104-1供应的混合比1、从混合比计算器104-2供应的混合比2和从混合比计算器104-3供应的混合比3，并确定对应于该间隔的代表值的频率。择多处理器1411根据对应于该间隔的代表值的频率确定混合比α并输出所确定的混合比α。
例如，当间隔宽度是0.1，代表值是0.0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9和1.0，并且混合比1是0.12，混合比2是0.13，混合比3是0.41时，择多处理器1411确定代表值0.1的频率是2，确定代表值0.4的频率是1。择多处理器1411设置对应于最大的频率2的代表值0.1为混合比α。
参考图112的流程图，描述由配置成如图111所示的图像处理设备执行的、用于使用分量信号计算混合比α的处理。
步骤S1411至步骤S1413的处理分别与步骤S1401至步骤S1403的处理相同，因此，在这里省略其解释。
在步骤S1414，择多处理器1411在预定间隔中分类每个分量的混合比，并确定频率。
在步骤S1415，择多处理器1411根据该频率确定混合比α，然后结束该处理过程。
如上所述，配置成如图111所示的图像处理设备根据所计算的混合比的频率计算关于每个分量的混合比，并生成最终的混合比α。配置成如图111所示的图像处理设备能够高可靠性地计算混合比α，在其中，消除了其值由于单一分量的误差而极大地不同的混合比的影响。
图113示出用于根据作为分量信号输入的输入图像和区域信息、计算混合比α的图像处理设备的再一实施例。
混合比计算器1421对每个像素，将所输入的分量1、分量2和分量3的像素值相加，根据分量1、分量2和分量3的加起来的像素值和区域信息计算混合比α，并且输出所计算出的混合比α。
图114是图解混合比计算器1421的配置的方框图。加法器1431对每个像素，将所输入的分量1、分量2和分量3的像素值相加，并将加起来的像素值供应给估算混合比处理器401和估算混合比处理器402。
根据对每个像素将所输入的分量1、分量2和分量3的像素值相加而得的值，估算混合比处理器401利用对应于被覆盖的背景区域中的模型的计算，为每个像素计算估算混合比，并且将所计算到的估算混合比供应给混合比确定部分403。
对每个分量，方程(120)至方程(122)可以表达示出属于被覆盖的背景区域的像素的混合比α的方程(21)：
     αY≈(CY-NY)/(PY-NY)                  (120)
     αU≈(CU-NU)/(PU-NU)                  (121)
     αV≈(CV-NV)/(PV-NV)                  (122)
CY表示作为亮度值Y的分量1中的帧#n的像素值。NY表示分量1中帧#n的后续帧#n+1的像素值。PY表示分量1中帧#n的前一帧#n-1的像素值。
CU表示作为色差U的分量2中的帧#n的像素值。NU表示分量2中帧#n的后续帧#n+1的像素值。PU表示分量2中帧#n的前一帧#n-1的像素值。
CV表示作为色差V的分量3中的帧#n的像素值。NV表示分量3中帧#n的后续帧#n+1的像素值。PV表示分量3中帧#n的前一帧#n-1的像素值。
由于要计算的混合比α在分量1至3中是相同的，因此，方程(123)成立：
        αY＝αU＝αV                               (123)
方程(124)可以从方程(120)至(122)导出：
CY-NY)/(PY-NY)＝(CU-NU)/(PU-NU)＝(CV-NV)/(PV-NV)    (124)
此外，可以从方程(124)导出用于计算混合比α的方程(125)：
α＝((CY+CU+CV)-(NY+NU+NV))/((PY+PU+PV)-(NY+NU+NV))  (125)
如上所述，混合比α可以根据将分量1、分量2和分量3的像素值加起来所得的值进行计算。
估算混合比处理器402根据关于将分量1、分量2和分量3的像素值加起来所得的值，利用对应于未被覆盖的背景区域的模型的计算，为每一像素计算一估算混合比，并将所计算出的估算混合比供应给混合比确定部分403。
当目标像素属于前景区域时，混合比确定部分403将混合比α设置为0，而当目标像素属于背景区域时，混合比确定部分403将混合比α设置为1。当目标像素属于被覆盖的背景区域时，混合比确定部分403将估算混合比处理器401供应的混合比作为混合比α。当目标像素属于未被覆盖的背景区域时，混合比确定部分403将估算混合比处理器402供应的混合比作为混合比α。混合比确定部分403已经根据区域信息设置的混合比α。
如上所述，通过使用分量1、分量2和分量3，混合比计算器1421能够计算出具有比根据单一信号所计算出的混合比α更高精度的混合比α。
接下来参考图115的流程图，描述由图113的图像处理设备根据作为分量信号输入的输入图像和区域信息所执行的、用于计算混合比α的处理。在步骤S1421，加法器1431关于每个像素将分量1、分量2和分量3的像素值加起来。加法器1431将所加起来的像素值供应给估算混合比处理器401和估算混合比处理器402。
在步骤S1422，估算混合比处理器401根据所加起来的像素值，利用对应于被覆盖的背景区域的模型的计算，为每个像素计算估算混合比。估算混合比处理器401将所计算出的估算混合比供应给混合比确定部分403。步骤S1422的处理细节与步骤S402的处理细节相同，因此，这里省略其解释。
在步骤S1423，估算混合比处理器402根据所加起来的像素值，利用对应于未被覆盖的背景区域的模型的计算，为每个像素计算估算混合比。估算混合比处理器402将所计算出的估算混合比供应给混合比确定部分403。步骤S1422的处理细节与步骤S403的处理细节相同，因此，这里省略其解释。
在步骤S1424，混合计算器104确定是否已经对整个帧估算了混合比。如果确定还没有对整个帧估算混合比，则该处理过程前进到步骤S1422，并重复用于估算后续像素的混合比的处理。
如果在步骤S1424确定已经对整个帧估算了混合比，则该处理过程前进到步骤S1425。在步骤S1425，混合比确定部分403根据指示像素所属于的前景区域、背景区域、被覆盖的背景区域和未被覆盖的背景区域区域信息，来设置混合比α。当目标像素属于前景区域时，混合比确定部分403将混合比α设置为0，而当目标像素属于背景区域时，混合比确定部分403将混合比α设置为1。当目标像素属于被覆盖的背景区域时，混合比确定部分403将估算混合比处理器401供应的混合比作为混合比α。当目标像素属于未被覆盖的背景区域时，混合比确定部分403将估算混合比处理器402供应的混合比作为混合比α。该处理过程结束。
如上所述，配置成如图113所示的图像处理设备能够根据区域信息、分量1、分量2和分量3，高精度地计算对应于每个像素的混合比α(是一个特征量)。
上面通过设置混合比α为包含在像素值中的背景分量的比例，讨论了实施例。然而，混合比α可以被设置为包含在像素值中的前景分量的比例。
上面通过设置前景对象的运动方向为从左到右的方向，讨论了实施例。然而，运动方向不限于上述方向。
在上面的说明中，通过使用摄像机将具有三维空间和时间轴信息的现实空间图像投影到具有二维空间和时间轴信息的时间空间上。然而，本发明不限于此实例，本发明也可以适用于下述情形。当一维空间中较大的第一信息量被投影到二维空间中较小的第二信息量时，可以校正由于投影生成的失真，可以提取有效信息，或者可以合成更多的自然图像。
传感器不限于CCD，它可以是其它类型的传感器，比如固态成像装置，如CMOS(互补金属氧化物半导体)图像传感器、BBD(组桶式器件)、CID((Charge Injection Device，电荷注入器件)或者CPD(Charge PrimingDevice，电荷灌注装置)。此外，传感器不一定是以矩阵方式安排检测装置的传感器，它可以是按一行安排检测装置的传感器。
记录执行本发明的图像处理的程序的记录媒体可以由记录程序的软件包媒体构成，该软件包媒体被配置为与计算机分离地向用户提供程序，如图1所示，该媒体可以是比如磁盘51(包括软盘)、光盘52(CD-ROM(光盘只读存储器)和DVD(数字通用光盘))，磁光盘53(包括MD(袖珍盘)(注册商标名称)、或者半导体存储器54。记录媒体还可以由ROM22或者包含在记录程序的存储单元28中硬盘构成，这种记录媒体在计算机中预存后被提供给用户。
形成在记录媒体中记录的程序的步骤可以根据说明书所述的顺序运行。然而它们不一定按照时间顺序方式运行，也可以同时或者单独地运行。
工业应用性
根据第一发明，能够识别图像的混合状态。
根据第二发明，能够识别图像的混合状态。

Claims (50)

1、一种处理图像数据的图像处理设备，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述图像处理设备包括：
区域指定装置，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；以及
混合比检测装置，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成，
其中，至少所述区域指定装置和所述混合比检测装置之一根据所述多种类型的分量执行图像处理。
2、根据权利要求1的图像处理设备，其中，所述区域指定装置包括：
分量混合区域检测装置，用于针对所述多种类型的分量中的每一个检测混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及
混合区域指定装置，用于根据对应于由所述分量混合区域检测装置检测到的所述多种类型的分量的所述混合区域的检测结果，指定对应于所述图像数据的所述混合区域。
3、根据权利要求1的图像处理设备，其中，所述区域指定装置包括：
空间相关性值计算装置，用于根据对应于指定像素的所述多种类型的分量，计算指示在对应于所述图像数据的指定帧的所述指定像素的指定像素数据与在空间方向上定位于所述指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；
时间相关性值计算装置，用于根据对应于指定像素的所述多种类型的分量，计算指示在所述指定像素数据与在时间方向上定位于所述指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及
前景区域指定装置，用于根据对应于所述指定像素的所述空间相关性值和所述时间相关性值，指定仅由所述前景对象分量构成的前景区域。
4、根据权利要求3的图像处理设备，其中，所述区域指定装置还包括混合区域指定装置，用于根据指定帧的所述前景区域和所述指定帧的邻域中的邻接帧的所述前景区域，指定所述混合区域。
5、根据权利要求1的图像处理设备，其中，所述混合比检测装置包括：
分量混合比检测装置，用于针对所述多种类型的分量中的每一个检测混合比；以及
分量积分混合比检测装置，用于通过积分对应于由所述分量混合比检测装置所检测到的所述多种类型的分量的混合比检测结果，检测对应于所述图像数据的混合比。
6、根据权利要求1的图像处理设备，其中，所述混合比检测装置包括：
积分装置，用于针对每个像素积分所述多种类型的分量的像素值，并且将所述值作为积分数据输出；以及
积分数据混合比检测装置，用于根据所述积分数据检测对应于所述图像数据的混合比。
7、根据权利要求6的图像处理设备，其中，所述积分装置将针对每个像素的所述多种类型的分量的像素值相加，并且将相加的结果作为所述积分数据输出。
8、一种用于处理图像数据的图像处理设备的图像处理方法，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述图像处理方法包括：
区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；
混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成；以及
输出控制步骤，用于控制所检测到的混合比的输出，
其中至少所述区域指定步骤和所述混合比检测步骤之一根据所述多种类型的分量执行图像处理。
9、根据权利要求8的图像处理方法，其中，所述区域指定步骤包括：
分量混合区域检测步骤，用于针对所述多种类型的分量中的每一个检测所述混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及
混合区域指定步骤，用于根据对应于在所述分量混合区域检测步骤中检测到的所述多种类型的分量的所述混合区域的检测结果，指定对应于所述图像数据的所述混合区域。
10、根据权利要求8的图像处理方法，其中，所述区域指定步骤包括：
空间相关性值计算步骤，用于根据对应于指定像素的所述多种类型的分量，计算指示在对应于所述图像数据的指定帧的指定像素的指定像素数据与在空间方向上定位于所述指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；
时间相关性值计算步骤，用于根据对应于所述指定像素的所述多种类型的分量，计算指示在所述指定像素数据与在时间方向上定位于所述指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及
前景区域指定步骤，用于根据对应于所述指定像素的所述空间相关性值和所述时间相关性值，指定仅由所述前景对象分量构成的前景区域。
11、根据权利要求10的图像处理方法，其中，所述区域指定步骤包括混合区域指定步骤，用于根据所述指定帧的所述前景区域和所述指定帧的邻域中的邻接帧的所述前景区域，指定所述混合区域。
12、根据权利要求8的图像处理方法，其中，所述混合比检测步骤包括：
分量混合比检测步骤，用于针对所述多种类型的分量中的每一个检测混合比；以及
分量积分混合比检测步骤，用于通过积分对应于由所述分量混合比检测步骤所检测到的所述多种类型的分量的混合比检测结果，检测对应于所述图像数据的混合比。
13、根据权利要求8的图像处理方法，其中，所述混合比检测步骤包括：
积分步骤，用于针对每个像素积分所述多种类型的分量的像素值，并且将所述值作为积分数据输出；以及
积分数据混合比检测步骤，用于根据所述积分数据检测对应于所述图像数据的混合比。
14、根据权利要求13的图像处理方法，其中，在所述积分步骤中，将针对每个像素的所述多种类型的分量的所述像素值相加，并且将相加的结果作为所述积分数据输出。
15、一种已经在其上记录了用于处理图像数据的计算机可读程序的记录介质，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述程序包括：
区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；
混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成；以及
输出控制步骤，用于控制所检测到的混合比的输出，
其中，至少所述区域指定步骤和所述混合比检测步骤之一根据所述多种类型的分量执行图像处理。
16、根据权利要求15的记录介质，其中，所述区域指定步骤包括：
分量混合区域检测步骤，用于针对所述多种类型的分量中的每一个检测所述混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及
混合区域指定步骤，用于根据对应于在所述分量混合区域检测步骤中检测到的所述多种类型的分量的所述混合区域的检测结果，指定对应于所述图像数据的所述混合区域。
17、根据权利要求15的记录介质，其中，所述区域指定步骤包括：
空间相关性值计算步骤，用于根据对应于指定像素的所述多种类型的分量，计算指示在对应于所述图像数据的指定帧的指定像素的指定像素数据与在空间方向上定位于所述指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；
时间相关性值计算步骤，用于根据对应于所述指定像素的所述多种类型的分量，计算指示在所述指定像素数据与在时间方向上定位于所述指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及
前景区域指定步骤，用于根据对应于所述指定像素的所述空间相关性值和所述时间相关性值，指定仅由所述前景对象分量构成的前景区域。
18、根据权利要求17的记录介质，其中，所述区域指定步骤包括混合区域指定步骤，用于根据所述指定帧的所述前景区域和所述指定帧的邻域中的邻接帧的所述前景区域，指定所述混合区域。
19、根据权利要求15的记录介质，其中，所述混合比检测步骤包括：
分量混合比检测步骤，用于针对所述多种类型的分量中的每一个检测混合比；以及
分量积分混合比检测步骤，用于通过积分对应于由所述分量混合比检测步骤所检测到的所述多种类型的分量的混合比检测结果，检测对应于所述图像数据的混合比。
20、根据权利要求15的记录介质，其中，所述混合比检测步骤包括：
积分步骤，用于针对每个像素积分所述多种类型的分量的像素值，并且将所述值作为积分数据输出；以及
积分数据混合比检测步骤，用于根据所述积分数据检测对应于所述图像数据的混合比。
21、根据权利要求20的记录介质，其中，在所述积分步骤中，将针对每个像素的所述多种类型的分量的所述像素值相加，并且将相加的结果作为所述积分数据输出。
22、一种能让计算机执行的程序，所述计算机被用于处理图像数据，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述程序包括：
区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；
混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成；以及
输出控制步骤，用于控制所检测到的混合比的输出，
其中，至少所述区域指定步骤和所述混合比检测步骤之一根据所述多种类型的分量执行图像处理。
23、根据权利要求22的程序，其中，所述区域指定步骤包括：
分量混合区域检测步骤，用于针对所述多种类型的分量中的每一个检测所述混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及
混合区域指定步骤，用于根据对应于在所述分量混合区域检测步骤中检测到的所述多种类型的分量的所述混合区域的检测结果，指定对应于所述图像数据的所述混合区域。
24、根据权利要求22的程序，其中，所述区域指定步骤包括：
空间相关性值计算步骤，用于根据对应于指定像素的所述多种类型的分量，计算指示在对应于所述图像数据的指定帧的指定像素的指定像素数据与在空间方向上定位于所述指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；
时间相关性值计算步骤，用于根据对应于所述指定像素的所述多种类型的分量，计算指示在所述指定像素数据与在时间方向上定位于所述指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及
前景区域指定步骤，用于根据对应于所述指定像素的所述空间相关性值和所述时间相关性值，指定仅由所述前景对象分量构成的前景区域。
25、根据权利要求24的程序，其中，所述区域指定步骤包括混合区域指定步骤，用于根据所述指定帧的所述前景区域和所述指定帧的邻域中的邻接帧的所述前景区域，指定所述混合区域。
26、根据权利要求22的程序，其中，所述混合比检测步骤包括：
分量混合比检测步骤，用于针对所述多种类型的分量中的每一个检测混合比；以及
分量积分混合比检测步骤，用于通过积分对应于由所述分量混合比检测步骤所检测到的所述多种类型的分量的混合比检测结果，检测对应于所述图像数据的混合比。
27、根据权利要求22的程序，其中，所述混合比检测步骤包括：
积分步骤，用于针对每个像素积分所述多种类型的分量的像素值，并且将所述值作为积分数据输出；以及
积分数据混合比检测步骤，用于根据所述积分数据检测对应于所述图像数据的混合比。
28、根据权利要求27的程序，其中，所述积分步骤将针对每个像素的所述多种类型的分量的所述像素值相加，并且将相加的结果作为所述积分数据输出。
29、一种图像捕获设备，包括：
图像捕获装置，用于输出由包括具有时间积分功能的预定数量的像素图像捕获器件捕获的主题图像，作为由在同一像素位置上具有多种类型的分量的预定数量的像素数据形成的图像数据；
区域指定装置，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象；以及
混合比检测装置，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成，
其中，至少所述区域指定装置和所述混合比检测装置之一根据所述多种类型的分量执行图像处理。
30、根据权利要求29的图像捕获设备，其中，所述区域指定装置包括：
分量混合区域检测装置，用于针对所述多种类型的分量中的每一个检测所述混合区域，并输出对应于各个分量的检测结果作为分量混合区域信息；以及
混合区域指定装置，用于根据由所述分量混合区域检测装置检测到的、对应于多种类型的分量的混合区域的检测结果，指定对应于所述图像数据的混合区域。
31、根据权利要求29的图像捕获设备，其中，所述区域指定装置包括：
空间相关性值计算装置，用于根据对应于指定像素的所述多种类型的分量，计算指示在对应于所述图像数据的指定帧的指定像素的指定像素数据与在空间方向上定位于所述指定像素的邻域的空间邻接像素的像素数据之间的相关性的空间相关性值；
时间相关性值计算装置，用于根据对应于所述指定像素的所述多种类型的分量，计算指示在所述指定像素数据与在时间方向上定位于所述指定像素的邻域的时间邻接像素的像素数据之间的相关性的时间相关性值；以及
前景区域指定装置，用于根据对应于所述指定像素的所述空间相关性值和所述时间相关性值，指定仅由所述前景对象分量构成的前景区域。
32、根据权利要求31的图像捕获设备，其中，所述区域指定装置包括混合区域指定装置，用于根据所述指定帧的所述前景区域和所述指定帧的邻域中的邻接帧的所述前景区域，指定所述混合区域。
33、根据权利要求29的图像捕获设备，其中，混合比检测装置包括：
分量混合比检测装置，用于针对所述多种类型的分量中的每一个检测混合比；以及
分量积分混合比检测装置，用于通过积分由分量混合比检测装置所检测到的、对应于多种类型的分量的混合比检测结果，检测对应于图像数据的混合比。
34、根据权利要求29的图像捕获设备，其中，所述混合比检测装置包括：
积分装置，用于针对每个像素积分所述多种类型的分量的像素值，并且将所述值作为积分数据输出；以及
积分数据混合比检测装置，用于根据所述积分数据检测对应于所述图像数据的混合比。
35、根据权利要求34的图像捕获设备，其中，所述积分装置将针对每个像素的所述多种类型的分量的所述像素值相加，并且将相加的结果作为所述积分数据输出。
36、一种用于处理图像数据的图像处理设备，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述图像处理设备包括：
用于获得图像数据的图像数据获得装置；以及
处理执行装置，用于根据所获得的图像数据的所述多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，和(ii)混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
37、根据权利要求36的图像处理设备，其中，所述处理执行装置根据所获得的图像数据的所述多种类型的分量执行一区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
38、根据权利要求36的图像处理设备，其中，所述处理执行装置根据所获得的图像数据的所述多种类型的分量执行一混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
39、一种用于处理图像数据的图像处理方法，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述图像处理设备包括：
用于获得图像数据的图像数据获得步骤；以及
处理执行步骤，用于根据所获得的图像数据的所述多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，和(ii)混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
40、根据权利要求39的图像处理方法，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
41、根据权利要求39的图像处理方法，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
42、一种已经在其上记录了用于处理图像数据的计算机可读程序的记录介质，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述程序包括：
用于获得图像数据的图像数据获得步骤；以及
处理执行步骤，用于根据所获得的图像数据的所述多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，和(ii)混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
43、根据权利要求42的记录介质，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
44、根据权利要求42的记录介质，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
45、一种能让计算机执行的程序，所述计算机被用于处理图像数据，所述图像数据由预定数量的像素数据构成，在同一像素位置上具有多种类型的分量，且由包括具有时间积分功能的预定数量的像素的图像捕获器件获得，所述程序包括：
用于获得图像数据的图像数据获得步骤；以及
处理执行步骤，用于根据所获得的图像数据的所述多种类型的分量，执行下列处理之一：(i)区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，和(ii)混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
46、根据权利要求45的程序，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
47、根据权利要求45的程序，其中，在所述处理执行步骤中，根据所获得的图像数据的所述多种类型的分量执行一混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
48、一种图像捕获设备，包括：
图像捕获装置，用于输出由包括具有时间积分功能的预定数量的像素的图像捕获器件捕获的主题图像，作为由在同一像素位置上具有多种类型的分量的预定数量的像素数据形成的图像数据；以及
处理执行装置，用于根据所获得的图像数据的所述多种类型的分量，执行下列处理之一：(i)区域指定装置，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象，和(ii)混合比检测装置，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
49、根据权利要求48的图像捕获设备，其中，所述处理执行装置根据所获得的图像数据的所述多种类型的分量执行一区域指定步骤，用于相应于所述图像数据、指定由前景对象分量和背景对象分量混和而成的混合区域，其中，所述前景对象分量构成前景对象，所述背景对象分量构成背景对象。
50、根据权利要求48的图像捕获设备，其中，所述处理执行装置根据所获得的图像数据的所述多种类型的分量执行一混合比检测步骤，用于相应于所述图像数据、在一混合区域中检测指示所述前景对象分量的混合与背景对象分量的混合之比的混合比，其中，所述混合区域由所述前景对象分量和所述背景对象分量混和而成。
CNB02802754XA 2001-06-27 2002-06-26 图像处理设备和方法以及图像捕获设备 Expired - Fee Related CN1269080C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001194607A JP4596223B2 (ja) 2001-06-27 2001-06-27 画像処理装置および方法、記録媒体、並びにプログラム
JP194607/01 2001-06-27
JP194607/2001 2001-06-27

Publications (2)

Publication Number Publication Date
CN1471692A true CN1471692A (zh) 2004-01-28
CN1269080C CN1269080C (zh) 2006-08-09

Family

ID=19032711

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB02802754XA Expired - Fee Related CN1269080C (zh) 2001-06-27 2002-06-26 图像处理设备和方法以及图像捕获设备

Country Status (9)

Country Link
US (1) US7352917B2 (zh)
EP (2) EP1403821B1 (zh)
JP (1) JP4596223B2 (zh)
KR (1) KR100864336B1 (zh)
CN (1) CN1269080C (zh)
CA (1) CA2420020C (zh)
DE (1) DE60237687D1 (zh)
MX (1) MXPA03001520A (zh)
WO (1) WO2003003304A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141232A1 (zh) * 2017-02-06 2018-08-09 腾讯科技（深圳）有限公司 图像处理方法、计算机存储介质及计算机设备
CN110018529A (zh) * 2019-02-22 2019-07-16 南方科技大学 降雨测量方法、装置、计算机设备和存储介质
WO2022206679A1 (zh) * 2021-03-29 2022-10-06 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432274B2 (ja) * 2001-04-12 2010-03-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100643230B1 (ko) * 2004-08-30 2006-11-10 삼성전자주식회사 디스플레이장치의 제어방법
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4868236B2 (ja) * 2004-12-21 2012-02-01 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
JP5202246B2 (ja) 2008-11-20 2013-06-05 キヤノン株式会社 動画像処理装置、及び方法、プログラム
EP2280550A1 (en) * 2009-06-25 2011-02-02 Thomson Licensing Mask generation for motion compensation
JP5409481B2 (ja) * 2010-03-29 2014-02-05 富士フイルム株式会社 複眼撮影装置及びプログラム
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9098767B2 (en) 2011-04-11 2015-08-04 Hewlett-Packard Development Company, L.P. System and method for determining the informative zone of an image
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
US10565739B2 (en) * 2017-12-29 2020-02-18 Cerner Innovation, Inc. Automated icon accessibility assessment algorithm and tool

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
JPH05153493A (ja) * 1991-11-27 1993-06-18 Matsushita Electric Ind Co Ltd 映像信号合成装置
GB9204115D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
JPH07336688A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> アンカバー領域の検出方法
US5870103A (en) * 1996-09-25 1999-02-09 Eastman Kodak Company Method for creating realistic-looking composite images
JP3812763B2 (ja) * 1996-12-04 2006-08-23 ソニー株式会社 キー信号生成装置及び方法
JP2952226B2 (ja) * 1997-02-14 1999-09-20 日本電信電話株式会社 動画像の予測符号化方法および復号方法、動画像予測符号化または復号プログラムを記録した記録媒体、および、動画像予測符号化データを記録した記録媒体
US6208351B1 (en) * 1997-12-22 2001-03-27 Adobe Systems Incorporated Conversion of alpha-multiplied color data
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
JP4507044B2 (ja) * 2000-12-21 2010-07-21 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4507045B2 (ja) * 2000-12-21 2010-07-21 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4479098B2 (ja) * 2000-12-21 2010-06-09 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4491965B2 (ja) * 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
US6839463B1 (en) * 2000-12-22 2005-01-04 Microsoft Corporation System and method providing subpixel-edge-offset-based determination of opacity
JP4596202B2 (ja) * 2001-02-05 2010-12-08 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141232A1 (zh) * 2017-02-06 2018-08-09 腾讯科技（深圳）有限公司 图像处理方法、计算机存储介质及计算机设备
CN110018529A (zh) * 2019-02-22 2019-07-16 南方科技大学 降雨测量方法、装置、计算机设备和存储介质
WO2022206679A1 (zh) * 2021-03-29 2022-10-06 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20040067040A1 (en) 2004-04-08
EP1403821A1 (en) 2004-03-31
EP1403821B1 (en) 2010-09-15
US7352917B2 (en) 2008-04-01
KR100864336B1 (ko) 2008-10-17
CA2420020A1 (en) 2003-02-18
CN1269080C (zh) 2006-08-09
DE60237687D1 (de) 2010-10-28
JP2003016452A (ja) 2003-01-17
MXPA03001520A (es) 2003-06-24
EP1862971A2 (en) 2007-12-05
KR20040014958A (ko) 2004-02-18
WO2003003304A1 (fr) 2003-01-09
EP1403821A4 (en) 2006-06-28
EP1862971A3 (en) 2013-08-21
CA2420020C (en) 2010-09-28
JP4596223B2 (ja) 2010-12-08

Similar Documents

Publication Publication Date Title
CN1313974C (zh) 图像处理设备和方法,以及图像捕获设备
CN1293517C (zh) 图像处理装置及方法、图像拾取装置
CN1237488C (zh) 图像处理设备和方法以及图像拾取设备
CN1241147C (zh) 图像处理设备和方法,以及图像拾取设备
CN1248162C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1248163C (zh) 图像处理设备和方法
CN1251148C (zh) 图像处理设备
CN1248164C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1465196A (zh) 图像处理设备和方法、以及图像拍摄设备
CN1269075C (zh) 图像处理设备
CN1267856C (zh) 图像处理设备
CN1279489C (zh) 信号处理方法与设备
CN1269080C (zh) 图像处理设备和方法以及图像捕获设备
CN1251149C (zh) 通信装置和方法
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN1267857C (zh) 图像处理设备和方法以及图像获取设备
CN1969297A (zh) 图像处理设备和方法及图像拍摄设备
CN1754384A (zh) 图像处理装置和方法、学习装置和方法、记录介质以及程序
CN1313975C (zh) 图像处理装置和方法、以及图像捕获装置
CN1672402A (zh) 图像处理设备和方法以及图像捕获设备
CN1324531C (zh) 图像处理装置和图像处理方法
CN1248161C (zh) 图像处理设备
CN1249630C (zh) 图像处理装置和方法及摄像装置
CN1180432C (zh) 时间码运算装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060809

Termination date: 20130626