CN1269075C - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN1269075C
CN1269075C CNB028005821A CN02800582A CN1269075C CN 1269075 C CN1269075 C CN 1269075C CN B028005821 A CNB028005821 A CN B028005821A CN 02800582 A CN02800582 A CN 02800582A CN 1269075 C CN1269075 C CN 1269075C
Authority
CN
China
Prior art keywords
pixel
frame
mixture ratio
background
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028005821A
Other languages
English (en)
Other versions
CN1459078A (zh
Inventor
近藤哲二郎
藤原直树
石桥淳一
泽尾贵志
永野隆浩
三宅彻
和田成司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1459078A publication Critical patent/CN1459078A/zh
Application granted granted Critical
Publication of CN1269075C publication Critical patent/CN1269075C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

可以调整包含在模糊图像中的运动模糊量。处理单元确定部分(901)确定由位于一行上的像素的像素数据形成的处理单元。方程确定部分(903)根据处理单元从多个关系表达式定义联立方程。算术部分(904)求解联立方程以生成其中调整运动模糊量的前景对象成分。本发明可以应用于其中考虑由传感器产生的信号与真实世界之间的差别的图像处理设备。

Description

图像处理设备
技术领域
本发明涉及图像处理设备，特别涉及一种其中考虑由传感器检测的信号与真实世界之间差别的图像处理设备。
背景技术
用于通过传感器检测发生在真实世界中的事件，并且处理从图像传感器输出的采样数据的技术正在广泛的使用当中。
例如，在通过采用视频摄像机拍摄在预定静止背景之前移动的对象而获得的图像中，如果移动速度相对高，则会出现运动模糊。
迄今为止，为了防止这种运动模糊，例如，增加电子快门速度，从而减小曝光时间。
然而，在增加快门时间的方法中，需要在拍摄图像之前调整视频摄像机的快门速度。因此，存在一个问题是，不能对模糊图像进行校正，以获取清晰的图像。
发明内容
本发明是鉴于上述背景而提出的。因此，本发明的目的是使得调整包含在例如模糊图像的检测信号中的运动模糊量成为可能。
本发明的一种图像处理设备，包括：处理单元确定装置，用于根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；联立方程生成装置，用于通过设置根据处理单元确定的处理单元内像素的像素值，并且通过设置用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及计算装置，用于通过求解联立方程，计算其中调整过运动模糊量的前景对象成分。
通过利用下面特性：从来自直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，计算装置可以根据与位于该端的像素对应的关系表达式，顺序求解联立方程，从而计算其中调整过运动模糊量的前景对象成分。
联立方程生成装置可以根据按照前景对象移动量的划分部分数目，生成联立方程。
本发明的一种图像处理方法，包括：处理单元确定步骤，根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；联立方程生成步骤，通过设置根据处理单元确定的处理单元内像素的像素值，并且通过设置用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及计算步骤，通过求解联立方程，计算其中调整过运动模糊量的前景对象成分。
通过利用下面特性：从来自直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，计算步骤可以根据与位于该端的像素对应的关系表达式，求解联立方程，从而计算其中调整过运动模糊量的前景对象成分。
联立方程生成步骤可以根据按照前景对象移动量的划分部分数目，生成联立方程。
本发明的一种记录介质程序，包括：处理单元确定步骤，根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；联立方程生成步骤，通过设置根据处理单元确定的处理单元内像素的像素值，并且通过设置用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及计算步骤，通过求解联立方程，计算其中调整过运动模糊量的前景对象成分。
通过利用下面特性：从来自直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，计算步骤可以根据与位于该端的像素对应的关系表达式，求解联立方程，从而计算其中调整过运动模糊量的前景对象成分。
联立方程生成步骤可以根据按照前景对象移动量的划分部分数目，生成联立方程。
本发明的一种成像设备，包括：成像装置，用于输出主体图像作为由预定数目的像素数据形成的图像数据，主体图像由包括预定数目像素的成像器件进行拍摄，每个像素均具有时间积累功能；处理单元确定装置，用于根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；联立方程生成装置，用于通过设置根据处理单元确定的处理单元内像素的像素值，并且通过设置用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及计算装置，用于通过求解联立方程，计算其中调整过运动模糊量的前景对象成分。
通过利用下面特性：从来自直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，计算装置可以根据与位于该端的像素对应的关系表达式，顺序求解联立方程，从而计算其中调整过运动模糊量的前景对象成分。
联立方程生成装置可以根据按照前景对象移动量的划分部分数目，生成联立方程。
附图说明
图1示出本发明的原理；
图2是应用本发明的结构示例方框图；
图3是图2所示的信号处理器12的结构示例方框图；
图4是示出信号处理器12的方框图；
图5示出由传感器执行的摄像；
图6示出像素的排列；
图7示出检测器件的操作；
图8A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像；
图8B示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像模型；
图9示出背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域；
图10示出通过在时间方向上扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中并排对齐的像素的像素值而获得的模型；
图11示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图12示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图13示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图14示出其中提取前景区域、背景区域以及混合区域中的像素的例子；
图15示出像素与通过在时间方向上扩展像素值而获得的模型之间的关系；
图16示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图17示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图18示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图19示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图20示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图21是示出运动模糊量调整处理的流程图；
图22是区域指定单元103的结构示例方框图；
图23示出对应于前景的对象移动时的图像；
图24示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图25示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图26示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图27示出区域确定条件；
图28A示出通过区域指定单元103指定区域而获得的结果示例；
图28B示出通过区域指定单元103指定区域而获得的结果示例；
图28C示出通过区域指定单元103指定区域而获得的结果示例；
图28D示出通过区域指定单元103指定区域而获得的结果示例；
图29示出通过区域指定单元103指定区域而获得的结果示例；
图30是示出区域指定处理的流程图；
图31是区域指定单元103的另一结构示例方框图；
图32示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图33示出背景图像的例子；
图34是二进制对象图像提取部分302的结构方框图；
图35A示出相关值的计算；
图35B示出相关值的计算；
图36A示出相关值的计算；
图36B示出相关值的计算；
图37示出二进制对象图像的例子；
图38是时间变化检测器303的结构方框图；
图39示出由区域确定部分342作出的确定；
图40示出由时间变化检测器303作出的确定示例；
图41是示出由区域指定单元103执行的区域指定处理的流程图；
图42是示出区域指定处理细节的流程图；
图43是区域指定单元103的另一结构方框图；
图44是鲁棒(robust)处理部分361的结构方框图；
图45示出由运动补偿器381执行的运动补偿；
图46示出由运动补偿器381执行的运动补偿；
图47是示出区域指定处理的流程图；
图48是示出鲁棒处理细节的流程图；
图49是混合比率计算器104的结构示例方框图；
图50示出理想混合比率α的例子；
图51示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图52示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图53示出使用前景成分相关的近似；
图54示出C、N和P之间的关系；
图55是估计混合比率处理器401的结构方框图；
图56示出估计混合比率的例子；
图57是混合比率计算器104的另一结构示例方框图；
图58是示出混合比率计算处理的流程图；
图59是示出计算估计混合比率处理的流程图；
图60示出用于近似混合比率α的直线；
图61示出用于近似混合比率α的平面；
图62示出当计算混合比率α时多个帧内像素之间的关系；
图63是混合比率估计处理器401的另一结构方框图；
图64示出估计混合比率的例子；
图65是示出混合比率计算处理的流程图；
图66是示出通过使用对应于覆盖背景区域的模型的混合比率估计处理的流程图；
图67是前景/背景分离器105的结构示例方框图；
图68A示出输入图像、前景成分图像和背景成分图像；
图68B示出输入图像、前景成分图像和背景成分图像的模型；
图69示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图70示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图71示出在时间方向上扩展像素值并且划分对应于快门时间的周期的模型；
图72是分离部分601的结构示例方框图；
图73A示出分离前景成分图像的例子；
图73B示出分离背景成分图像的例子；
图74是示出前景和背景分离处理的流程图；
图75是运动模糊调整单元106的结构示例方框图；
图76示出处理单元；
图77示出表示像素值与前景成分之间关系的模型；
图78示出前景成分的计算；
图79示出前景成分的计算；
图80示出在时间方向上扩展前景成分的像素值，并且划分对应于快门时间的周期的模型；
图81是示出包含在前景中的运动模糊调整处理的流程图；
图82是信号处理器12的另一功能结构方框图；
图83示出合成器1001的结构；
图84是信号处理器12的另一功能结构方框图；
图85是混合比率计算器1101的结构方框图；
图86是前景/背景分离器1102的结构方框图。
具体实施方式
图1示出本发明的原理。如图1所示，作为具有空间和时间轴的真实世界1信息的第一信号由传感器2进行获得，并且形成为数据。数据3作为由传感器2获得的检测信号是通过将真实世界1的信息投影到维数比真实世界小的时空上而获得的信息。因此，投影信息具有因投影产生的失真。换句话说，从传感器2输出的数据3相对于真实世界1的信息具有失真。虽然数据3具有因投影产生的失真，但是它包含用于校正失真的重要信息。
因此，在本发明中，通过信号处理器4对从传感器2输出的数据执行信号处理，可以消除、减小或调整失真。另外，在本发明中，通过信号处理器4对从传感器2输出的数据执行信号处理，可以提取重要信息。
图2示出应用本发明的信号处理装置的结构示例。由例如视频摄像机形成的传感器11拍摄真实世界的图像，并且将所获得的图像数据输出到信号处理器12。由例如个人计算机形成的信号处理器12处理从传感器11输入的数据，调整因投影产生的失真量，指定其中通过投影嵌入重要信息的区域，从指定区域中提取重要信息，或者根据所提取的重要信息处理输入数据。
上述重要信息例如是下面将要讨论的混合比率。
可以认为，表示其中包含通过投影嵌入的重要信息的区域的信息也是重要信息。下面将要讨论的区域信息对应于该重要信息。
其中包含重要信息的区域例如是下面将要讨论的混合区域。
信号处理器12例如图3所示进行构造。CPU(Central Processing Unit，中央处理器)21根据存储在ROM(Read Only Memory，只读存储器)22或者存储单元28中的程序执行各种类型的处理。由CPU 21执行的程序以及数据根据需要存储在RAM(Random Access Memory，随机访问存储器)中。CPU 21、ROM 22和RAM 23通过总线24相互连接。
输入/输出接口25也通过总线24连接到CPU 21。由键盘、鼠标、麦克风等形成的输入单元26以及由显示器、扬声器等形成的输出单元27连接到输入/输出接口25。CPU 21执行各种类型的处理以响应从输入单元26输入的命令。CPU 21然后将通过处理获得的图像或声音输出到输出单元27。
连接到输入/输出接口25的存储单元28由例如硬盘形成，并且存储由CPU 21执行的程序以及各种类型的数据。通信单元29通过因特网或其它网络与外部设备进行通信。在本例中，通信单元29用作获取传感器输出的获取单元。
可选地，程序可以利用通信单元29进行获取，然后存储在存储单元28中。
当这种记录介质连到驱动器30时，连接到输入/输出接口25的驱动器30驱动磁盘51、光盘52、光磁盘53、半导体存储器54等，并获取存储在其中的程序或数据。如果必要，所获取的程序或数据传输到存储单元28，并且存储在其中。
现在举一个更具体的例子，对执行处理，如指定其中嵌有重要信息的区域或者从由传感器获取的数据中提取嵌入在其中的重要信息的信号处理装置进行描述。在随后的示例中，CCD线传感器或CCD区域传感器对应于传感器，区域信息或者混合比率对应于重要信息，并且前景和背景的混合状态或者混合区域中的运动模糊对应于失真。
图4是示出信号处理器12的方框图。
信号处理器12的各个功能是以软件还是以硬件进行实现是没有关系的。也就是，本说明书的方框图可以是硬件方框图，也可以是软件方框图。
运动模糊是由于真实世界中被拍摄对象的移动和传感器11的摄像特性而产生的包含在对应于移动对象的图像中的失真。
在本说明书中，对应于真实世界对象的拍摄图像称作图像对象。
提供给信号处理器12的输入图像提供给对象提取单元101、区域指定单元103、混合比率计算器104和前景/背景分离器105。
对象提取单元101提取对应于包含在输入图像中的前景对象的粗略图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101例如检测包含在输入图像中的前景图像对象的轮廓，从而提取对应于前景对象的粗略图像对象。
对象提取单元101提取对应于包含在输入图像中的背景对象的粗略图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101根据例如输入图像与所提取的对应于前景对象的图像对象的差别，提取对应于背景对象的粗略图像对象。
可选地，例如，对象提取单元101可以根据存储在内置背景存储器中的背景图像与输入图像的差别，提取对应于前景对象的粗略图像对象和对应于背景对象的粗略图像对象。
运动检测器102根据例如分块匹配(block matching)、斜率、相位相关或象元递归(pel-recursive)技术的技术，计算粗略提取的对应于前景对象的图像对象的运动向量，并且将算出的运动向量和运动向量位置信息(用于指定对应于运动向量的像素位置的信息)提供给区域指定单元103、混合比率计算器104和运动模糊调整单元106。
从运动检测器102输出的运动向量包含对应于移动量v的信息。
运动检测器102可以将每个图像对象的运动向量与用于指定图像对象像素的像素位置信息一起输出到运动模糊调整单元106。
移动量v是以像素间距为单位表示对应于移动对象的图像位置变化的值。例如，如果对应于前景的对象图像移动使得它在下一帧中定位时显示在离参考帧四个像素的位置，则对应于前景的对象图像的移动量v为4。
当调整对应于移动对象的运动模糊量时，需要对象提取单元101和运动检测器102。
区域指定单元103确定输入图像的每个像素属于前景区域、背景区域、或者混合区域中的哪个区域，并且将表示每个像素属于哪个区域的信息(以下称作“区域信息”)提供给混合比率计算器104、前景/背景分离器105和运动模糊调整单元106。
混合比率计算器104根据输入图像以及从区域指定单元103提供的区域信息，计算对应于包含在混合区域63中的像素的混合比率(以下称作“混合比率α”)，并且将混合比率α提供给前景/背景分离器105。
混合比率α是表示对应于背景对象的图像成分(以下也称作“背景成分”)与用如下所示方程(3)表达的像素值的比率的值。
前景/背景分离器105根据从区域指定单元103提供的区域信息和从混合比率计算器104提供的混合比率α，将输入图像分离为只由对应于前景对象的图像成分(以下也称作“前景成分”)形成的前景成分图像和只由背景成分形成的背景成分图像，并且将前景成分图像提供给运动模糊调整单元106和选择器107。所分离的前景成分图像可以设为最终输出。与其中只指定前景和背景而不考虑混合区域的已知方法相比可以获取更精确的前景和背景。
运动模糊调整单元106根据从运动向量获得的移动量v以及区域信息，确定表示包含在前景成分图像中的至少一个像素的处理单元。处理单元是指定要进行运动模糊调整的一组像素的数据。
根据输入到信号处理器12的要调整的运动模糊量、从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量及其位置信息、以及处理单元，运动模糊调整单元106通过消除、减小或者增加包含在前景成分图像中的运动模糊，调整包含在前景成分图像中的运动模糊量。运动模糊调整单元106然后将其中调整过运动模糊量的前景成分图像输出到选择器107。使用运动向量及其位置信息不是必需的。
选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器105提供的前景成分图像和从运动模糊调整单元106提供的其中调整过运动模糊量的前景成分图像之一，并且输出所选前景成分图像。
下面将参照图5到20对提供给信号处理器12的输入图像进行讨论。
图5示出由传感器执行的图像拍摄。传感器11由例如提供有作为固态成像器件的CCD(Charge-Coupled Device，电荷耦合器件)区域传感器的CCD视频摄像机形成。真实世界中对应于前景的对象111例如在对应于背景的对象112与传感器之间从左向右水平移动。
传感器11拍摄对应于前景的对象111的图像以及对应于背景的对象112的图像。传感器11以帧为单位输出拍摄图像。例如，传感器11输出每秒30帧的图像。传感器11的曝光时间可以是1/30秒。曝光时间是从传感器11开始将输入光转化为电荷到完成将输入光转化为电荷的周期。曝光时间也称作“快门时间”。
图6示出像素的排列。在图6中，A到I分别表示单个像素。这些像素排列在相应图像的平面上。与各个像素一一对应的检测器件排列在传感器11上。当传感器11执行摄像时，每个检测器件输出形成图像的相应像素的像素值。例如，检测器件在X方向上的位置对应于图像的水平方向，而检测器件在Y方向上的位置对应于图像的垂直方向。
如图7所示，例如作为CCD的检测器件在对应于快门时间的周期内将输入光转化为电荷，并且存储所转化的电荷。电荷量与输入光的强度和输入光的周期几乎成正比。检测器件在对应于快门时间的周期内将从输入光转化的电荷顺序加到所存储的电荷。也就是，检测器件在对应于快门时间的周期内积累输入光，并且存储对应于积累光量的电荷。可以认为检测器件具有相对于时间的积累功能。
存储在检测器件中的电荷通过电路(未示出)转换为电压值，并且该电压值进一步转换为像素值例如数字数据，然后进行输出。因此，从传感器11输出的每个像素值是投影到线性空间上的值，它是相对于快门时间的对应于前景或背景的对象的某三维部分的积累结果。
信号处理器12提取通过传感器11的存储操作嵌入在输出信号中的重要信息，例如混合比率α。信号处理器12调整因前景图像对象自身的混合而产生的失真量，例如运动模糊量。信号处理器12还调整因前景图像对象与背景图像对象的混合而产生的失真量。
图8A示出通过拍摄对应于前景的移动对象和对应于背景的静止对象而获得的图像。在图8A所示的例子中，对应于前景的对象相对于屏幕从左向右水平移动。
图8B示出通过在时间方向上扩展对应于图8A所示的图像的一条直线的像素值而获得的模型。图8B所示的水平方向对应于图8A的空间方向X。
背景区域中的像素值只从背景成分，即对应于背景对象的图像成分形成。前景区域中的像素值只从前景成分，即对应于前景对象的图像成分形成。
混合区域中的像素值从背景成分和前景成分形成。由于混合区域中的像素值从背景成分和前景成分形成，因此它可以称作“失真区域”。混合区域进一步分为覆盖背景区域和非覆盖背景区域。
覆盖背景区域是位于对应于前景对象移动方向的起始端的混合区域，其中，背景成分随着时间被前景逐渐覆盖。
相反，非覆盖背景区域是对应于前景对象移动方向的结束端的混合区域，其中，背景成分随着时间逐渐出现。
如上所述，包含前景区域、背景区域、或者覆盖背景区域或非覆盖背景区域的图像作为输入图像输入到区域指定单元103、混合比率计算器104和前景/背景分离器105。
图9示出如上所述的背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域。在对应于图8B所示的图像的区域中，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景区域是从背景变为前景的部分，并且混合区域的非覆盖背景区域是从前景变为背景的部分。
图10示出通过在时间方向上扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中并排对齐的像素的像素值而获得的模型。例如，可以选择在屏幕的一条直线上排列的像素作为并排对齐的像素。
图10所示的以F01到F04表示的像素值为对应于静止前景对象的像素值。图10所示的以B01到B04表示的像素值为对应于静止背景对象的像素值。
时间在图10中从上到下的垂直方向流逝。图10中矩形上边位置对应于传感器11开始将输入光转换为电荷的时间，并且矩形下边位置对应于传感器11完成将输入光转换为电荷的时间。也就是，图10中矩形上边到下边的距离对应于快门时间。
下面将假定例如快门时间等于帧大小，对图10所示的像素进行描述。
图10中的水平方向对应于图8A中的空间方向X。更具体地说，在图10所示的例子中，从图10中以“F01”表示的矩形的左边到以“B04”表示的矩形的右边的距离是8倍像素间距，即8个连续像素。
当前景对象和静止图像静止时，输入到传感器11的光在对应于快门时间的周期内没有变化。
对应于快门时间的周期划分为两个或多个相等周期部分。例如，如果虚拟划分部分的数目为4，图10所示的模型可以用图11所示的模型进行表示。虚拟划分部分的数目可以根据对应于前景的对象在快门时间内的移动量v进行设置。例如，当移动量v为4时，虚拟划分部分的数目设为4，并且将对应于快门时间的周期划分为四个部分。
图11中的最上一条线对应于从打开快门时开始的第一划分周期。图11中的第二条线对应于从打开快门时开始的第二划分周期。图11中的第三条线对应于从打开快门时开始的第三划分周期。图11中的第四条线对应于从打开快门时开始的第四划分周期。
根据移动量v划分的快门时间以下也称作“快门时间/v”。
当对应于前景的对象为静止时，输入到传感器11的光不发生变化，因此，前景成分F01/v等于像素值F01除以虚拟划分部分的数目而获得的值。类似地，当对应于前景的对象为静止时，前景成分F02/v等于像素值F02除以虚拟划分部分的数目而获得的值，前景成分F03/v等于像素值F03除以虚拟划分部分的数目而获得的值，并且前景成分F04/v等于像素值F04除以虚拟划分部分的数目而获得的值。
当对应于背景的对象为静止时，输入到传感器11的光不发生变化，因此，背景成分B01/v等于像素值B01除以虚拟划分部分的数目而获得的值。类似地，当对应于背景的对象为静止时，背景成分B02/v等于像素值B02除以虚拟划分部分的数目而获得的值，背景成分B03/v等于像素值B03除以虚拟划分部分的数目而获得的值，并且背景成分B04/v等于像素值B04除以虚拟划分部分的数目而获得的值。
更具体地说，当对应于前景的对象为静止时，输入到传感器11的对应于前景对象的光在对应于快门时间的周期内不发生变化。因此，对应于从打开快门时开始的第一快门时间/v部分的前景成分F01/v、对应于从打开快门时开始的第二快门时间/v部分的前景成分F01/v、对应于从打开快门时开始的第三快门时间/v部分的前景成分F01/v、以及对应于从打开快门时开始的第四快门时间/v部分的前景成分F01/v变为相同的值。如同F01/v的情况，同样适用于F02/v到F04/v。
当对应于背景的对象为静止时，输入到传感器11的对应于背景对象的光在对应于快门时间的周期内不发生变化，因此，对应于从打开快门时开始的第一快门时间/v部分的背景成分B01/v、对应于从打开快门时开始的第二快门时间/v部分的背景成分B01/v、对应于从打开快门时开始的第三快门时间/v部分的背景成分B01/v、以及对应于从打开快门时开始的第四快门时间/v部分的背景成分B01/v变为相同的值。同样适用于B02/v到B04/v。
下面将描述对应于前景的对象为移动并且对应于背景的对象为静止的情况。
图12示出当对应于前景的对象向图12的右方移动时，通过在时间方向上扩展一条包括覆盖背景区域的直线上像素的像素值而获得的模型。在图12中，移动量v为4。由于一帧的时间长度很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图12中，对应于前景的对象图像移动，使得当它显示在下一帧中时，它位于相对于参考帧向右四个像素的位置。
在图12中，从最左像素到第四像素属于前景区域。在图12中，左起第五像素到第七像素属于混合区域，这是覆盖背景区域。在图12中，最右像素属于背景区域。
对应于前景的对象移动使得它随着时间逐渐覆盖对应于背景的对象。因此，包含在属于覆盖背景区域的像素的像素值中的成分在对应于快门时间的周期内的某个时间从背景成分变为前景成分。
例如，用下面方程(1)表示图12中用粗框包围的像素值M：
M＝B02/v+B02/v+F07/v+F06/v               (1)
例如，左起第五像素包含对应于一个快门时间/v部分的背景成分和对应于三个快门时间/v部分的前景成分，因此，左起第五像素的混合比率α为1/4。左起第六像素包含对应于两个快门时间/v部分的背景成分和对应于两个快门时间/v部分的前景成分，因此，左起第六像素的混合比率α为1/2。左起第七像素包含对应于三个快门时间/v部分的背景成分和对应于一个快门时间/v部分的前景成分，因此，左起第七像素的混合比率α为3/4。
可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而在下一帧中它向右显示四个像素。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图12中左起第四像素的前景成分F07/v等于对应于从打开快门时开始的第二快门时间/v部分的图12中左起第五像素的前景成分。类似地，前景成分F07/v等于对应于从打开快门时开始的第三快门时间/v部分的图12中左起第六像素的前景成分，以及对应于从打开快门时开始的第四快门时间/v部分的图12中左起第七像素的前景成分。
可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而在下一帧中它向右显示四个像素。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图12中左起第三像素的前景成分F06/v等于对应于从打开快门时开始的第二快门时间/v部分的图12中左起第四像素的前景成分。类似地，前景成分F06/v等于对应于从打开快门时开始的第三快门时间/v部分的图12中左起第五像素的前景成分，以及对应于从打开快门时开始的第四快门时间/v部分的图12中左起第六像素的前景成分。
可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而在下一帧中它向右显示四个像素。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图12中左起第二像素的前景成分F05/v等于对应于从打开快门时开始的第二快门时间/v部分的图12中左起第三像素的前景成分。类似地，前景成分F05/v等于对应于从打开快门时开始的第三快门时间/v部分的图12中左起第四像素的前景成分，以及对应于从打开快门时开始的第四快门时间/v部分的图12中左起第五像素的前景成分。
可以假定，对应于前景的对象是刚体，并且前景对象匀速移动，从而在下一帧中它向右显示四个像素。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图12中左起第一像素的前景成分F04/v等于对应于从打开快门时开始的第二快门时间/v部分的图12中左起第二像素的前景成分。类似地，前景成分F04/v等于对应于从打开快门时开始的第三快门时间/v部分的图12中左起第三像素的前景成分，以及对应于从打开快门时开始的第四快门时间/v部分的图12中左起第四像素的前景成分。
由于对应于移动对象的前景区域如上所述包含运动模糊，因此它也可以称作“失真区域”。
图13示出当对应于前景的对象向图13的右方移动时，通过在时间方向上扩展一条包括非覆盖背景区域的直线上像素的像素值而获得的模型。在图13中，移动量v为4。由于一帧的时间长度很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图13中，对应于前景的对象图像移动使得当它显示在下一帧中时，它位于相对于参考帧向右四个像素的位置。
在图13中，最左像素到第四像素属于背景区域。在图13中，左起第五像素到第七像素属于混合区域，这是非覆盖背景区域。在图13中，最右像素属于前景区域。
覆盖对应于背景的对象的对应于前景的对象正在移动，使得随着时间逐渐显现被覆盖的对应于背景的对象。因此，包含在属于非覆盖背景区域的像素的像素值中的成分在对应于快门时间的周期内的某时间从前景成分变为背景成分。
例如，用方程(2)表示图13中用粗框包围的像素值M′：
M′＝F02/v+F01/v+B26/v+B26/v               (2)
例如，左起第五像素包含对应于三个快门时间/v部分的背景成分和对应于一个快门时间/v部分的前景成分，因此，左起第五像素的混合比率α为3/4。左起第六像素包含对应于两个快门时间/v部分的背景成分和对应于两个快门时间/v部分的前景成分，因此，左起第六像素的混合比率α为1/2。左起第七像素包含对应于一个快门时间/v部分的背景成分和对应于三个快门时间/v部分的前景成分，因此，左起第七像素的混合比率α为1/4。
当推广方程(1)和(2)时，可以用方程(3)表示像素值M：
M = α · B + Σ i Fi / v · · · ( 3 )
其中α是混合比率，B表示背景像素值，而Fi/v表示前景成分。
可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图13中左起第五像素的前景成分F01/v等于对应于从打开快门时开始的第二快门时间/v部分的图13中左起第六像素的前景成分。类似地，前景成分F01/v等于对应于从打开快门时开始的第三快门时间/v部分的图13中左起第七像素的前景成分，以及对应于从打开快门时开始的第四快门时间/v部分的图13中左起第八像素的前景成分。
可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图13中左起第六像素的前景成分F02/v等于对应于从打开快门时开始的第二快门时间/v部分的图13中左起第七像素的前景成分。类似地，前景成分F02/v等于对应于从打开快门时开始的第三快门时间/v部分的图13中左起第八像素的前景成分。
可以假定，对应于前景的对象是匀速移动的刚体，并且移动量v为4。因此，例如，对应于从打开快门时开始的第一快门时间/v部分的图13中左起第七像素的前景成分F03/v等于对应于从打开快门时开始的第二快门时间/v部分的图13中左起第八像素的前景成分。
已参照图11到13对虚拟划分部分的数目为4的情况进行了描述。虚拟划分部分的数目对应于移动量v。一般，移动量v对应于前景对象的移动速度。例如，如果对应于前景的对象正在移动使得当它位于下一帧时，它相对于特定帧向右显示四个像素，则移动量v设为4。虚拟划分部分的数目根据移动量v设为4。类似地，如果对应于前景的对象正在移动使得当它位于下一帧时，它相对于特定帧向左显示六个像素，则移动量v设为6，并且虚拟划分部分的数目设为6。
图14和15示出如上所述前景区域、背景区域、包括覆盖背景或非覆盖背景的混合区域与对应于快门时间划分周期的前景成分和背景成分之间的关系。
图14示出从包含对应于在静止背景之前移动的对象的前景的图像中提取前景区域、背景区域和混合区域的例子。在图14所示的例子中，对应于前景的对象相对于屏幕水平移动。
帧#n+1是帧#n的下一帧，并且帧#n+2是帧#n+1的下一帧。
从帧#n到帧#n+2中的一个提取前景区域、背景区域和混合区域中的像素，并且移动量v设为4。图15示出通过在时间方向上扩展所提取像素的像素值而获得的模型。
由于对应于前景的对象正在移动，因此背景区域中的像素值由四个不同的对应于快门时间/v的前景成分形成。例如，图15所示的前景区域像素中的最左像素包括F01/v、F02/v、F03/v和F04/v。也就是，前景中的像素包含运动模糊。
由于对应于背景的对象是静止的，因此在快门时间内对应于背景的输入到传感器11的光不发生变化。在这种情况下，背景区域中的像素值不包含运动模糊。
包括覆盖背景区域或非覆盖背景区域的混合区域中的像素值由前景成分和背景成分形成。
下面将描述，当对应于对象的图像移动时，通过在时间方向上扩展多个帧中并排对齐并且在重叠这些帧时处于相同位置的像素的像素值而获得的模型。例如，当对应于对象的图像关于屏幕在水平方向移动时，可以将屏幕上对齐的像素选择为并列对齐的像素。
图16示出通过在时间方向上扩展在通过拍摄对应于静止背景的对象而获得的三个图像帧中并排对齐并且在重叠这些帧时处于相同位置的像素而获得的模型。帧#n是帧#n-1的下一帧，并且帧#n+1是帧#n的下一帧。同样适用于其它帧。
图16所示的像素值B01到B12是对应于静止背景对象的像素值。由于对应于背景的对象是静止的，因此帧#n-1到帧#n+1中对应像素的像素值不发生变化。例如，位于帧#n-1中具有像素值B05的像素的对应位置的帧#n中的像素和帧#n+1中的像素具有像素值B05。
图17示出通过在时间方向上扩展通过拍摄向图17的向右移动的对应于前景的对象以及对应于静止背景的对象而获得的三个图像帧中并排对齐并且在重叠这些帧时处于相同位置的像素而获得的模型。图17所示的模型包含覆盖背景区域。
在图17中，可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，移动量v为4，并且虚拟划分部分的数目为4。
例如，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n-1的最左像素的前景成分为F12/v，并且对应于从打开快门时开始的第二快门时间/v部分的图17中左起第二像素的前景成分也为F12/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第三像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图17中左起第四像素的前景成分为F12/v。
对应于从打开快门时开始的第二快门时间/v部分的图17中帧#n-1的最左像素的前景成分为F11/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第二像素的前景成分也为F11/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第三像素的前景成分为F11/v。
对应于从打开快门时开始的第三快门时间/v部分的图17中帧#n-1的最左像素的前景成分为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第二像素的前景成分也为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中帧#n-1的最左像素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n-1的左起第二像素的背景成分为B01/v。对应于从打开快门时开始的第一和第二快门时间/v部分的图17中帧#n-1的左起第三像素的背景成分为B02/v。对应于从打开快门时开始的第一到第三快门时间/v部分的图17中帧#n-1的左起第四像素的背景成分为B03/v。
在图17的帧#n-1中，左起最左像素属于前景区域，并且左起第二到第四像素属于作为覆盖背景区域的混合区域。
图17中的帧#n-1的左起第五到第十二像素属于背景区域，并且其像素值分别为B04到B11。
图17中的帧#n的左起第一到第五像素属于前景区域。帧#n的前景区域中的快门时间/v的前景成分是F05/v到F12/v中的任一个。
可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n的左起第五像素的前景成分为F12/v，并且对应于从打开快门时开始的第二快门时间/v部分的图17中左起第六像素的前景成分也为F12/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第七像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图17中左起第八像素的前景成分为F12/v。
对应于从打开快门时开始的第二快门时间/v部分的图17中帧#n的左起第五像素的前景成分为F11/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第六像素的前景成分也为F11/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第七像素的前景成分为F11/v。
对应于从打开快门时开始的第三快门时间/v部分的图17中帧#n的左起第五像素的前景成分为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第六像素的前景成分也为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中帧#n的左起第五像素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n的左起第六像素的背景成分为B05/v。对应于从打开快门时开始的第一和第二快门时间/v部分的图17中帧#n的左起第七像素的背景成分为B06/v。对应于从打开快门时开始的第一到第三快门时间/v部分的图17中帧#n的左起第八像素的背景成分为B07/v。
在图17的帧#n中，左起第六到第八像素属于作为覆盖背景区域的混合区域。
图17中的帧#n的左起第九到第十二像素属于背景区域，并且其像素值分别为B08到B11。
图17中的帧#n+1的左起第一到第九像素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分是F01/v到F12/v中的任一个。
可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n+1的左起第九像素的前景成分为F12/v，并且对应于从打开快门时开始的第二快门时间/v部分的图17中左起第十像素的前景成分也为F12/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第十一像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图17中左起第十二像素的前景成分为F12/v。
对应于从打开快门时开始的第二快门时间/v部分的图17中帧#n+1的左起第九像素的前景成分为F11/v。对应于从打开快门时开始的第三快门时间/v部分的图17中左起第十像素的前景成分也为F11/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第十一像素的前景成分为F11/v。
对应于从打开快门时开始的第三快门时间/v部分的图17中帧#n+1的左起第九像素的前景成分为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中左起第十像素的前景成分也为F10/v。对应于从打开快门时开始的第四快门时间/v部分的图17中帧#n+1的左起第九像素的前景成分为F09/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第一快门时间/v部分的图17中帧#n+1的左起第十像素的背景成分为B09/v。对应于从打开快门时开始的第一和第二快门时间/v部分的图17中帧#n+1的左起第十一像素的背景成分为B10/v。对应于从打开快门时开始的第一到第三快门时间/v部分的图17中帧#n+1的左起第十二像素的背景成分为B11/v。
在图17的帧#n+1中，左起第十到第十二像素属于作为覆盖背景区域的混合区域。
图18示出通过从图17所示的像素值中提取前景成分而获得的图像模型。
图19示出通过在时间方向上扩展在通过拍摄向图19的右方移动的对应于前景的对象以及对应于静止背景的对象而获得的三个图像帧中并排对齐并且在重叠这些帧时处于相同位置的像素而获得的模型。图19所示的模型包含非覆盖背景区域。
在图19中，可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，移动量v为4。
例如，对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n-1的最左像素的前景成分为F13/v，并且对应于从打开快门时开始的第二快门时间/v部分的图19中左起第二像素的前景成分也为F13/v。对应于从打开快门时开始的第三快门时间/v部分的图19中左起第三像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图19中左起第四像素的前景成分为F13/v。
对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n-1的左起第二像素的前景成分为F14/v。对应于从打开快门时开始的第二快门时间/v部分的图19中左起第三像素的前景成分也为F14/v。对应于从打开快门时开始的第一快门时间/v部分的图19中左起第三像素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第二到第四快门时间/v部分的图19中帧#n-1的最左像素的背景成分为B25/v。对应于从打开快门时开始的第三和第四快门时间/v部分的图19中帧#n-1的左起第二像素的背景成分为B26/v。对应于从打开快门时开始的第四快门时间/v部分的图19中帧#n-1的左起第三像素的背景成分为B27/v。
在图19的帧#n-1中，最左像素到第三像素属于作为非覆盖背景区域的混合区域。
图19中的帧#n-1的左起第四到第十二像素属于前景区域，该帧的前景成分是F13/v到F24/v中的任一个。
图19中的帧#n的左起第一到第四像素属于背景区域，并且其像素值分别为B25到B28。
可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n的左起第五像素的前景成分为F13/v，并且对应于从打开快门时开始的第二快门时间/v部分的图19中左起第六像素的前景成分也为F13/v。对应于从打开快门时开始的第三快门时间/v部分的图19中左起第七像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图19中左起第八像素的前景成分为F13/v。
对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n的左起第六像素的前景成分为F14/v。对应于从打开快门时开始的第二快门时间/v部分的图19中左起第七像素的前景成分也为F14/v。对应于从打开快门时开始的第一快门时间/v部分的图19中左起第八像素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第二到第四快门时间/v部分的图19中帧#n的左起第五像素的背景成分为B29/v。对应于从打开快门时开始的第三和第四快门时间/v部分的图19中帧#n的左起第六像素的背景成分为B30/v。对应于从打开快门时开始的第四快门时间/v部分的图19中帧#n的左起第七像素的背景成分为B31/v。
在图19的帧#n中，左起第五像素到第七像素属于作为非覆盖背景区域的混合区域。
图19中的帧#n的左起第八到第十二像素属于前景区域。对应于快门时间/v周期的帧#n的前景区域中的值是F13/v到F20/v中的任一个。
图19中的帧#n+1的最左像素到左起第八像素属于背景区域，并且其像素值分别为B25到B32。
可以假定对应于前景的对象是匀速移动的刚体，并且它正在移动使得在下一帧中它向右显示四个像素。因此，对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n+1的左起第九像素的前景成分为F13/v，并且对应于从打开快门时开始的第二快门时间/v部分的图19中左起第十像素的前景成分也为F13/v。对应于从打开快门时开始的第三快门时间/v部分的图19中左起第十一像素的前景成分，和对应于从打开快门时开始的第四快门时间/v部分的图19中左起第十二像素的前景成分为F13/v。
对应于从打开快门时开始的第一快门时间/v部分的图19中帧#n+1的左起第十像素的前景成分为F14/v。对应于从打开快门时开始的第二快门时间/v部分的图19中左起第十一像素的前景成分也为F14/v。对应于从打开快门时开始的第一快门时间/v部分的图19中左起第十二像素的前景成分为F15/v。
由于对应于背景的对象是静止的，因此，对应于从打开快门时开始的第二到第四快门时间/v部分的图19中帧#n+1的左起第九像素的背景成分为B33/v。对应于从打开快门时开始的第三和第四快门时间/v部分的图19中帧#n+1的左起第十像素的背景成分为B34/v。对应于从打开快门时开始的第四快门时间/v部分的图19中帧#n+1的左起第十一像素的背景成分为B35/v。
在图19的帧#n+1中，左起第九像素到第十一像素属于作为非覆盖背景区域的混合区域。
图19中的帧#n+1的左起第十二像素属于前景区域。帧#n+1的前景区域中的快门时间/v的前景成分分别是F13到F16中的任一个。
图20示出通过从图19所示的像素值中提取前景成分而获得的图像模型。
回到图4，区域指定单元103通过使用多个帧的像素值，指定表示输入图像的各个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的标志，并且将这些标志作为区域信息提供给混合比率计算器104和运动模糊调整单元106。
混合比率计算器104根据多个帧的像素值以及区域信息为包含在混合区域中的每个像素计算混合比率α，并且将算出的混合比率α提供给前景/背景分离器105。
前景/背景分离器105根据多个帧的像素值、区域信息和混合比率α提取只包括前景成分的前景成分图像，并且将前景成分图像提供给运动模糊调整单元106。
运动模糊调整单元106根据从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量以及从区域指定单元103提供的区域信息，调整包含在前景成分图像中的运动模糊量，然后输出其中调整过运动模糊的前景成分图像。
下面将参照图21的流程图对由信号处理器12执行的用于调整运动模糊量的处理进行描述。在步骤S11，区域指定单元103根据输入图像执行区域指定处理，用于生成表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息。区域指定处理的细节在下面给出。区域指定单元103将所生成的区域信息提供给混合比率计算器104。
在步骤S11，区域指定单元103可以根据输入图像生成表示输入图像的每个像素属于前景区域、背景区域或混合区域(不管每个像素是属于覆盖背景区域还是属于非覆盖背景区域)中的哪个区域的区域信息。在这种情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向确定混合区域是覆盖背景区域还是非覆盖背景区域。例如，如果输入图像在运动向量的方向上以前景区域、混合区域和背景区域的次序进行排列，确定混合区域为覆盖背景区域。如果输入图像在运动向量的方向上以背景区域、混合区域和前景区域的次序进行排列，确定混合区域为非覆盖背景区域。
在步骤S12，混合比率计算器104根据输入图像和区域信息，为包含在混合区域中的每个像素计算混合比率α。混合比率计算处理的细节在下面给出。混合比率计算器104将算出的混合比率α提供给前景/背景分离器105。
在步骤S13，前景/背景分离器105根据区域信息和混合比率α从输入图像提取前景成分，并且将前景成分作为前景成分图像提供给运动模糊调整单元106。
在步骤S14，运动模糊调整单元106根据运动向量和区域信息，生成表示在移动方向上排列并且属于非覆盖背景区域、前景区域和覆盖背景区域中的任一个的连续像素位置的处理单元，并且调整包含在对应于处理单元的前景成分中的运动模糊量。用于调整运动模糊量的处理的细节在下面给出。
在步骤S15，信号处理器12确定是否完成对整个屏幕的处理。如果确定尚未完成对整个屏幕的处理，过程进入步骤S14，并且重复用于为对应于处理单元的前景成分调整运动模糊量的处理。
如果在步骤S15确定已完成对整个屏幕的处理，处理结束。
通过这种方式，信号处理器12能够通过分离前景和背景，调整包含在前景中的运动模糊量。也就是，信号处理器12能够调整包含在表示前景像素的像素值的采样数据中的运动模糊量。
下面将分别描述区域指定单元103、混合比率计算器104、前景/背景分离器105和运动模糊调整单元106的结构。
图22是区域指定单元103的结构示例方框图。图22所示的区域指定单元103不使用运动向量。帧存储器201以帧为单位存储输入图像。当要处理的图像为帧#n时，帧存储器201存储帧#n-2(帧#n前两帧的帧)、帧#n-1(帧#n前一帧的帧)、帧#n、帧#n+1(帧#n后一帧的帧)、帧#n+2(帧#n后两帧的帧)。
静止/移动确定部分202-1从帧存储器201读取位于与确定像素所属区域的帧#n的特定像素相同的位置的帧#n+2像素的像素值，并且读取位于与帧#n的特定像素相同的位置的帧#n+1像素的像素值，并且计算所读取像素值之间的差值绝对值。静止/移动确定部分202-1确定帧#n+2的像素值与帧#n+1的像素值之间的差值绝对值是否大于预设阀值Th。如果确定该差值大于阀值Th，表示“移动”的静止/移动确定结果提供给区域确定部分203-1。如果确定帧#n+2像素的像素值与帧#n+1像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动确定部分202-1将表示“静止”的静止/移动确定结果提供给区域确定部分203-1。
静止/移动确定部分202-2从帧存储器201读取确定像素所属区域的帧#n的特定像素的像素值，并且读取位于与帧#n的特定像素相同的位置的帧#n+1像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动确定部分202-2确定帧#n+1的像素值与帧#n的像素值之间的差值绝对值是否大于预设阀值Th。如果确定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动确定结果提供给区域确定部分203-1和区域确定部分203-2。如果确定帧#n+1像素的像素值与帧#n像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动确定部分202-2将表示“静止”的静止/移动确定结果提供给区域确定部分203-1和区域确定部分203-2。
静止/移动确定部分202-3从帧存储器201读取确定像素所属区域的帧#n的特定像素的像素值，并且读取位于与帧#n的特定像素相同的位置的帧#n-1像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动确定部分202-3确定帧#n的像素值与帧#n-1的像素值之间的差值绝对值是否大于预设阀值Th。如果确定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动确定结果提供给区域确定部分203-2和区域确定部分203-3。如果确定帧#n像素的像素值与帧#n-1像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动确定部分202-3将表示“静止”的静止/移动确定结果提供给区域确定部分203-2和区域确定部分203-3。
静止/移动确定部分202-4从帧存储器201读取位于与确定像素所属区域的帧#n的特定像素相同的位置的帧#n-1像素的像素值，并且读取位于与帧#n的特定像素相同的位置的帧#n-2像素的像素值，并且计算这些像素值之间的差值绝对值。静止/移动确定部分202-4确定帧#n-1的像素值与帧#n-2的像素值之间的差值绝对值是否大于预设阀值Th。如果确定像素值之间的差值绝对值大于阀值Th，表示“移动”的静止/移动确定结果提供给区域确定部分203-3。如果确定帧#n-1像素的像素值与帧#n-2像素的像素值之间的差值绝对值小于或等于阀值Th，静止/移动确定部分202-4将表示“静止”的静止/移动确定结果提供给区域确定部分203-3。
当从静止/移动确定部分202-1提供的静止/移动确定结果表示“静止”，并且从静止/移动确定部分202-2提供的静止/移动确定结果表示“移动”时，区域确定部分203-1确定帧#n的特定像素属于非覆盖背景区域，并且将与该特定像素相关联的非覆盖背景区域确定标志设为“1”，表示该特定像素属于非覆盖背景区域。
当从静止/移动确定部分202-1提供的静止/移动确定结果表示“移动”，或者从静止/移动确定部分202-2提供的静止/移动确定结果表示“静止”时，区域确定部分203-1确定帧#n的特定像素不属于非覆盖背景区域，并且将与该特定像素相关联的非覆盖背景区域确定标志设为“0”，表示该特定像素不属于非覆盖背景区域。
区域确定部分203-1将如上所述设为“1”或“0”的非覆盖背景区域确定标志提供给确定标志存储帧缓冲器204。
当从静止/移动确定部分202-2提供的静止/移动确定结果表示“静止”，并且从静止/移动确定部分202-3提供的静止/移动确定结果表示“静止”时，区域确定部分203-2确定帧#n的特定像素属于静止区域，并且将与该特定像素相关联的静止区域确定标志设为“1”，表示该像素属于静止区域。
当从静止/移动确定部分202-2提供的静止/移动确定结果表示“移动”，或者从静止/移动确定部分202-3提供的静止/移动确定结果表示“移动”时，区域确定部分203-2确定帧#n的特定像素不属于静止区域，并且将与该特定像素相关联的静止区域确定标志设为“0”，表示该像素不属于静止区域。
区域确定部分203-2将如上所述设为“1”或“0”的静止区域确定标志提供给确定标志存储帧缓冲器204。
当从静止/移动确定部分202-2提供的静止/移动确定结果表示“移动”，并且从静止/移动确定部分202-3提供的静止/移动确定结果表示“移动”时，区域确定部分203-2确定帧#n的特定像素属于移动区域，并且将与该特定像素相关联的移动区域确定标志设为“1”，表示该特定像素属于移动区域。
当从静止/移动确定部分202-2提供的静止/移动确定结果表示“静止”，或者从静止/移动确定部分202-3提供的静止/移动确定结果表示“静止”时，区域确定部分203-2确定帧#n的特定像素不属于移动区域，并且将与该特定像素相关联的移动区域确定标志设为“0”，表示该像素不属于移动区域。
区域确定部分203-2将如上所述设为“1”或“0”的移动区域确定标志提供给确定标志存储帧缓冲器204。
当从静止/移动确定部分202-3提供的静止/移动确定结果表示“移动”，并且从静止/移动确定部分202-4提供的静止/移动确定结果表示“静止”时，区域确定部分203-3确定帧#n的特定像素属于覆盖背景区域，并且将与该特定像素相关联的覆盖背景区域确定标志设为“1”，表示该特定像素属于覆盖背景区域。
当从静止/移动确定部分202-3提供的静止/移动确定结果表示“静止”，或者从静止/移动确定部分202-4提供的静止/移动确定结果表示“移动”时，区域确定部分203-3确定帧#n的特定像素不属于覆盖背景区域，并且将与该特定像素相关联的覆盖背景区域确定标志设为“0”，表示该特定像素不属于覆盖背景区域。
区域确定部分203-3将如上所述设为“1”或“0”的覆盖背景区域确定标志提供给确定标志存储帧缓冲器204。
确定标志存储帧缓冲器204因此存储从区域确定部分203-1提供的非覆盖背景区域确定标志、从区域确定部分203-2提供的静止区域确定标志、从区域确定部分203-2提供的移动区域确定标志以及从区域确定部分203-3提供的覆盖背景区域确定标志。
确定标志存储帧缓冲器204将存储在其中的非覆盖背景区域确定标志、静止区域确定标志、移动区域确定标志以及覆盖背景区域确定标志提供给合成器205。合成器205根据从确定标志存储帧缓冲器204提供的非覆盖背景区域确定标志、静止区域确定标志、移动区域确定标志以及覆盖背景区域确定标志，生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且将该区域信息提供给确定标志存储帧缓冲器206。
确定标志存储帧缓冲器206存储从合成器205提供的区域信息，并且还输出存储在其中的区域信息。
下面将参照图23到27对由区域指定单元103执行的处理示例进行描述。
当对应于前景的对象正在移动时，对应于该对象的图像在屏幕上的位置在每一帧中都发生变化。如图23所示，在帧#n中位于用Yn(x，y)表示的位置的对应于该对象的图像在帧#n之后的帧#n+1中位于Yn+1(x，y)。
通过在时间方向上扩展在对应于前景对象的图像的移动方向上并排对齐的像素的像素值而获得的模型如图24所示。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，图24所示的模型是通过在时间方向上扩展在并排排列行的像素的像素值而获得的模型。
在图24中，帧#n中的行等于帧#n+1中的行。
对应于包含在帧#n的左起第二像素到第十三像素中的对象的前景成分包含在帧#n+1的左起第六像素到第十七像素中。
在帧#n中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在帧#n+1中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。
在图24所示的例子中，由于包含在帧#n中的前景成分在帧#n+1中移动四个像素，因此移动量v为4。虚拟划分部分的数目根据移动量v为4。
现在将对在特定帧之前和之后的帧中属于混合区域的像素的像素值变化进行描述。
在图25中，在背景是静止的并且前景的移动量v为4的帧#n中属于覆盖背景区域的像素为左起第十五到第十七像素。由于移动量v为4，因此前一帧#n-1中左起第十五到第十七像素只包含背景成分，并且属于背景区域。帧#n-1前一帧的帧#n-2中左起第十五到第十七像素只包含背景成分，并且属于背景区域。
由于对应于背景的对象是静止的，因此帧#n-1中左起第十五像素的像素值与帧#n-2中左起第十五像素的像素值相比没有变化。类似地，帧#n-1中左起第十六像素的像素值与帧#n-2中左起第十六像素的像素值相比没有变化，并且帧#n-1中左起第十七像素的像素值与帧#n-2中左起第十七像素的像素值相比没有变化。
也就是，与帧#n中属于覆盖背景区域的像素对应的帧#n-1和帧#n-2中的像素只包括背景成分，并且其像素值不发生变化。因此，这些像素值之间的差值绝对值几乎为0。因此，静止/移动确定部分202-4对与帧#n中属于混合区域的像素对应的帧#n-1和帧#n-2中的像素进行的静止/移动确定为“静止”。
因为帧#n中属于覆盖背景区域的像素包含前景成分，所以其像素值不同于只包括背景成分的帧#n-1的像素值。因此，静止/移动确定部分202-3对帧#n中属于混合区域的像素与帧#n-1中的对应像素进行的静止/移动确定为“移动”。
当如上所述从静止/移动确定部分202-3提供表示“移动”的静止/移动确定结果，并且从静止/移动确定部分202-4提供表示“静止”的静止/移动确定结果时，区域确定部分203-3确定相应像素属于覆盖背景区域。
在图26中，在背景是静止的并且前景的移动量v为4的帧#n中，包含在非覆盖背景区域中的像素为左起第二到第四像素。由于移动量v为4，因此后一帧#n+1中左起第二到第四像素只包含背景成分，并且属于背景区域。在帧#n+1之后的帧#n+2中，左起第二到第四像素只包含背景成分，并且属于背景区域。
由于对应于背景的对象是静止的，因此帧#n+2中左起第二像素的像素值与帧#n+1中左起第二像素的像素值相比没有变化。类似地，帧#n+2中左起第三像素的像素值与帧#n+1中左起第三像素的像素值相比没有变化，并且帧#n+2中左起第四像素的像素值与帧#n+1中左起第四像素的像素值相比没有变化。
也就是，与帧#n中属于非覆盖背景区域的像素对应的帧#n+1和帧#n+2中的像素只包括背景成分，并且其像素值不发生变化。因此，这些像素值之间的差值绝对值几乎为0。因此，静止/移动确定部分202-1对与帧#n中属于混合区域的像素对应的帧#n+1和帧#n+2中的像素作出的静止/移动确定结果为“静止”。
因为帧#n中属于非覆盖背景区域的像素包含前景成分，所以其像素值不同于只包括背景成分的帧#n+1的像素值。因此，静止/移动确定部分202-2对帧#n中属于混合区域的像素与帧#n+1中的对应像素作出的静止/移动确定结果为“移动”。
当如上所述从静止/移动确定部分202-2提供表示“移动”的静止/移动确定结果，并且从静止/移动确定部分202-1提供表示“静止”的静止/移动确定结果时，区域确定部分203-1确定相应像素属于非覆盖背景区域。
图27示出区域指定单元103对帧#n进行确定的条件。当对与待处理的帧#n像素处于相同图像位置的帧#n-2像素以及与帧#n像素处于相同位置的帧#n-1像素的确定结果为静止，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的确定结果为移动时，区域指定单元103确定帧#n像素属于覆盖背景区域。
当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的确定结果为静止，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的确定结果为静止时，区域指定单元103确定帧#n像素属于静止区域。
当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n-1像素的确定结果为移动，并且对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的确定结果为移动时，区域指定单元103确定帧#n像素属于移动区域。
当对帧#n像素以及与帧#n像素处于相同图像位置的帧#n+1像素的确定结果为移动，并且对与帧#n像素处于相同图像位置的帧#n+1像素以及与帧#n像素处于相同图像位置的帧#n+2像素的确定结果为静止时，区域指定单元103确定帧#n像素属于非覆盖背景区域。
图28A到28D示出由区域指定单元103获得的区域确定结果的例子。在图28A中，确定为属于覆盖背景区域的像素用白色表示。在图28B中，确定为属于非覆盖背景区域的像素用白色表示。
在图28C中，确定为属于移动区域的像素用白色表示。在图28D中，确定为属于静止区域的像素用白色表示。
图29以图像形式示出从由确定标志存储帧缓冲器206输出的区域信息中选择的表示混合区域的区域信息。在图29中，确定为属于覆盖背景区域或非覆盖背景区域的像素，即确定为属于混合区域的像素用白色表示。从确定标志存储帧缓冲器206输出的表示混合区域的区域信息指定混合区域以及前景区域中由不带纹理的部分包围的带纹理部分。
下面将参照图30的流程图对由区域指定单元103执行的区域指定处理进行描述。在步骤S201，帧存储器201获取包括帧#n的帧#n-2到帧#n+2。
在步骤S202，静止/移动确定部分202-3确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果是否为静止。如果确定该确定结果为静止，过程进入步骤S203，其中静止/移动确定部分202-2确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果是否为静止。
如果在步骤S203确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果为静止，过程进入步骤S204。在步骤S204中，区域确定部分203-2将与待处理像素相关联的静止区域确定标志设为“1”，表示该待处理像素属于静止区域。区域确定部分203-2将静止区域确定标志提供给确定标志存储帧缓冲器204，并且过程进入步骤S205。
如果在步骤S202确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果为移动，或者在步骤S203确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果为移动，那么待处理像素不属于静止区域。因此，跳过步骤S204的处理，并且过程进入步骤S205。
在步骤S205，静止/移动确定部分202-3确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果是否为移动。如果确定该确定结果为移动，过程进入步骤S206，其中静止/移动确定部分202-2确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果是否为移动。
如果在步骤S206确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果为移动，过程进入步骤S207。在步骤S207中，区域确定部分203-2将与待处理像素相关联的移动区域确定标志设为“1”，表示该待处理像素属于移动区域。区域确定部分203-2将移动区域确定标志提供给确定标志存储帧缓冲器204，并且过程进入步骤S208。
如果在步骤S205确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果为静止，或者在步骤S206确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果为静止，那么帧#n像素不属于移动区域。因此，跳过步骤S207的处理，并且过程进入步骤S208。
在步骤S208，静止/移动确定部分202-4确定对处于相同位置的帧#n-2像素以及帧#n-1像素的确定结果是否为静止。如果确定该确定结果为静止，过程进入步骤S209，其中静止/移动确定部分202-3确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果是否为移动。
如果在步骤S209确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果为移动，过程进入步骤S210。在步骤S210中，区域确定部分203-3将与待处理像素相关联的覆盖背景区域确定标志设为“1”，表示该待处理像素属于覆盖背景区域。区域确定部分203-3将覆盖背景区域确定标志提供给确定标志存储帧缓冲器204，并且过程进入步骤S211。
如果在步骤S208确定对处于相同位置的帧#n-2像素以及帧#n-1像素的确定结果为移动，或者在步骤S209确定对处于相同位置的帧#n-1像素以及帧#n像素的确定结果为静止，那么帧#n像素不属于覆盖背景区域。因此，跳过步骤S210的处理，并且过程进入步骤S211。
在步骤S211，静止/移动确定部分202-2确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果是否为移动。如果在步骤S211确定该确定结果为移动，过程进入步骤S212，其中静止/移动确定部分202-1确定对处于相同位置的帧#n+1像素以及帧#n+2像素的确定结果是否为静止。
如果在步骤S212确定对处于相同位置的帧#n+1像素以及帧#n+2像素的确定结果为静止，过程进入步骤S213。在步骤S213中，区域确定部分203-1将与待处理像素相关联的非覆盖背景区域确定标志设为“1”，表示该待处理像素属于非覆盖背景区域。区域确定部分203-1将非覆盖背景区域确定标志提供给确定标志存储帧缓冲器204，并且过程进入步骤S214。
如果在步骤S211确定对处于相同位置的帧#n像素以及帧#n+1像素的确定结果为静止，或者在步骤S212确定对处于相同位置的帧#n+1像素以及帧#n+2像素的确定结果为移动，那么帧#n像素不属于非覆盖背景区域。因此，跳过步骤S213的处理，并且过程进入步骤S214。
在步骤S214，区域指定单元103确定是否指定完毕帧#n中所有像素的区域。如果确定尚未指定帧#n中所有像素的区域，那么过程返回到步骤S202，并且对剩余像素重复区域指定处理。
如果在步骤S214确定指定完毕帧#n中所有像素的区域，那么过程进入步骤S215。在步骤S215，合成器215根据存储在确定标志存储帧缓冲器204中的非覆盖背景区域确定标志和覆盖背景区域确定标志，生成表示混合区域的区域信息，并且还生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且在确定标志存储帧缓冲器206中设置所生成的区域信息。然后处理结束。
如上所述，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息。
区域指定单元103可以对与非覆盖背景区域对应的区域信息和与覆盖背景区域对应的区域信息应用逻辑或操作，从而生成对应于混合区域的区域信息，然后可以生成由表示包含在帧中的各个像素属于移动区域、静止区域或混合区域中的哪一个区域的标志组成的区域信息。
当对应于前景的对象具有纹理(texture)时，区域指定单元103能够更精确地指定移动区域。
区域指定单元103能够输出表示移动区域的区域信息作为表示前景区域的区域信息，并且输出表示静止区域的区域信息作为表示背景区域的区域信息。
本实施例是假定对应于背景的对象是静止的而进行描述的。然而，即使对应于背景区域的图像包含运动时，也可以应用上述区域指定处理。例如，如果对应于背景区域的图像一致移动，区域指定单元103根据该运动偏移整个图像，从而以与对应于背景的对象为静止的情况类似的方式执行处理。如果对应于背景区域的图像包含局部不同运动时，区域指定单元103选择对应于运动的像素，并且执行上述处理。
图31是区域指定单元103的另一结构示例方框图。图31所示的区域指定单元103不使用运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且将所生成的背景图像提供给二进制对象图像提取部分302。背景图像生成器301提取例如与包含在输入图像中的背景对象对应的图像对象，并且生成背景图像。
通过在时间方向上扩展在对应于前景对象的图像的移动方向上并排对齐的像素的像素值而获得的模型示例如图32所示。例如，如果对应于前景对象的图像的移动方向相对于屏幕是水平的，图32所示的模型是通过在时域内扩展在一条直线上并排排列的像素的像素值而获得的模型。
在图32中，帧#n直线与帧#n-1直线和帧#n+1直线相同。
在帧#n中，与包含在左起第六到第十七像素中的对象对应的前景成分包含在帧#n-1中左起第二到第十三像素中，并且还包含在帧#n+1中左起第十到第二十一像素中。
在帧#n-1中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在帧#n中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。在帧#n+1中，属于覆盖背景区域的像素为左起第十九到第二十一像素，并且属于非覆盖背景区域的像素为左起第十到第十二像素。
在帧#n-1中，属于背景区域的像素为左起第一像素以及左起第十四到第二十一像素。在帧#n中，属于背景区域的像素为左起第一到第五像素以及左起第十八到第二十一像素。在帧#n+1中，属于背景区域的像素为左起第一到第九像素。
由背景图像生成器301生成的对应于图32所示例子的背景图像例子如图33所示。背景图像包括对应于背景对象的像素，并且不包含对应于前景对象的图像成分。
二进制对象图像提取部分302根据背景图像与输入图像的相关，生成一个二进制对象图像，并且将所生成的二进制对象图像提供给时间变化检测器303。
图34是二进制对象图像提取部分302的结构方框图。相关值计算器321计算从背景图像生成器301提供的背景图像与输入图像之间的相关，从而生成相关值，并且将所生成的相关值提供给阀值处理器322。
相关值计算器321将方程(4)应用于例如图35A所示的以X4为中心的3×3背景图像块，以及例如图35B所示的对应于该背景图像块的以Y4为中心的3×3背景图像块，从而计算对应于Y4的相关值。
Figure C0280058200391
X ‾ = Σ i = 0 8 Xi 9 · · · ( 5 )
Y ‾ = Σ i = 0 8 Yi 9 · · · ( 6 )
相关值计算器321将如上所述为每个像素计算的相关值提供给阀值处理器322。
可选地，相关值计算器321可将方程(7)应用于例如图36A所示的以X4为中心的3×3背景图像块，以及例如图36B所示的对应于该背景图像块的以Y4为中心的3×3背景图像块，从而计算对应于Y4的差值绝对值之和。
Figure C0280058200401
相关值计算器321将如上所述算出的差值绝对值之和作为相关值提供给阀值处理器322。
阀值处理器322将相关图像的像素值与阀值th0进行比较。如果相关值小于或等于阀值th0，那么将二进制对象图像的像素值设为1。如果相关值大于阀值th0，那么将二进制对象图像的像素值设为0。阀值处理器322然后输出其像素值设为0或1的二进制对象图像。阀值处理器322可以预先将阀值th0存储在其中，或者可以使用从外部源输入的阀值th0。
图37示出对应于图32所示输入图像模型的二进制对象图像。在二进制对象图像中，将与背景图像具有更高相关的像素的像素值设为0。
图38是时间变化检测器303的结构方框图。当确定帧#n像素的区域时，帧存储器341存储从二进制对象图像提取部分302提供的帧#n-1、帧#n和帧#n+1的二进制对象图像。
区域确定部分342根据帧#n-1、帧#n和帧#n+1的二进制对象图像，确定帧#n中每个像素的区域以生成区域信息，并且输出所生成的区域信息。
图39示出由区域确定部分342作出的确定。当帧#n二进制对象图像的感兴趣(interest)像素为0时，区域确定部分342确定帧#n的感兴趣像素属于背景区域。
当帧#n中的二进制对象图像的感兴趣像素为1，帧#n-1中的二进制对象图像的对应像素为1，并且帧#n+1中的二进制对象图像的对应像素为1时，区域确定部分342确定帧#n中的感兴趣像素属于前景区域。
当帧#n中的二进制对象图像的感兴趣像素为1，并且帧#n-1中的二进制对象图像的对应像素为0时，区域确定部分342确定帧#n的感兴趣像素属于覆盖背景区域。
当帧#n二进制对象图像的感兴趣像素为1，并且帧#n+1中的二进制对象图像的对应像素为0时，区域确定部分342确定帧#n的感兴趣像素属于非覆盖背景区域。
图40示出时间变化检测器303对与图32所示输入图像模型对应的二进制对象图像作出的确定结果示例。时间变化检测器303确定帧#n中左起第一到第五像素属于背景区域，因为帧#n中的二进制对象图像的对应像素为0。
时间变化检测器303确定左起第六到第九像素属于非覆盖背景区域，因为帧#n中的二进制对象图像的像素为1，并且帧#n+1的对应像素为0。
时间变化检测器303确定左起第十到第十三像素属于前景区域，因为帧#n的二进制对象图像的像素为1，帧#n-1的对应像素为1，并且帧#n+1的对应像素为1。
时间变化检测器303确定左起第十四到第十七像素属于覆盖背景区域，因为帧#n的二进制对象图像的像素为1，并且帧#n-1的对应像素为0。
时间变化检测器303确定左起第十八到第二十一像素属于背景区域，因为帧#n的二进制对象图像的对应像素为0。
下面将参照图41的流程图对由区域指定单元103执行的区域指定处理进行描述。在步骤S301，区域指定单元103的背景图像生成器301根据输入图像提取例如与包含在输入图像中的背景对象对应的图像对象，以生成背景图像，并且将所生成的背景图像提供给二进制对象图像提取部分302。
在步骤S302，二进制对象图像提取部分302根据例如参照图35A和35B所述的计算操作，计算输入图像与从背景图像生成器301提供的背景图像之间的相关值。在步骤S303，二进制对象图像提取部分302通过例如比较相关值与阀值th0，根据相关值与阀值th0计算二进制对象图像。
在步骤S304，时间变化检测器303执行区域确定处理，然后处理结束。
下面将参照图42的流程图对步骤S304的区域确定处理的细节进行描述。在步骤S321，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n的感兴趣像素是否为0。如果确定帧#n的感兴趣像素为0，过程进入步骤S322。在步骤S322，确定帧#n的感兴趣像素属于背景区域，然后处理结束。
如果在步骤S321确定帧#n的感兴趣像素为1，过程进入步骤S323。在步骤S323，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n的感兴趣像素是否为1，并且帧#n-1的对应像素是否为0。如果确定帧#n的感兴趣像素为1，并且帧#n-1的对应像素为0，过程进入步骤S324。在步骤S324，确定帧#n的感兴趣像素属于覆盖背景区域，然后处理结束。
如果在步骤S323确定帧#n的感兴趣像素为0，或者帧#n-1的对应像素为1，过程进入步骤S325。在步骤S325，时间变化检测器303的区域确定部分342确定存储在帧存储器341中的帧#n的感兴趣像素是否为1，并且帧#n+1的对应像素是否为0。如果确定帧#n的感兴趣像素为1，并且帧#n+1的对应像素为0，过程进入步骤S326。在步骤S326，确定帧#n的感兴趣像素属于非覆盖背景区域，然后处理结束。
如果在步骤S325确定帧#n的感兴趣像素为0，或者帧#n+1的对应像素为1，过程进入步骤S327。在步骤S327，时间变化检测器303的区域确定部分342确定帧#n的感兴趣像素属于前景区域，然后处理结束。
如上所述，区域指定单元103能够根据输入图像与对应背景图像之间的相关值指定输入图像的每个像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域，并且生成对应于指定结果的区域信息。
图43是区域指定单元103的另一结构方框图。区域指定单元103使用从运动检测器102提供的运动向量及其位置信息。用相同的标号表示与图31所示相同的单元，并且因此省略其说明。
鲁棒处理部分361根据从二进制对象图像提取部分302提供的N帧二进制对象图像生成鲁棒二进制对象图像，并且将鲁棒二进制对象图像输出到时间变化检测器303。
图44是鲁棒处理部分361的结构方框图。运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，补偿N帧二进制对象图像的运动，并且将经过运动补偿的二进制对象图像提供给开关382。
下面将参照图45和46对由运动补偿器381执行的运动补偿进行讨论。现在假定，例如要对帧#n的区域进行处理。当输入图45所示的帧#n-1、帧#n和帧#n+1的二进制对象图像时，运动补偿器381根据从运动检测器102提供的运动向量，如图46所示的例子所示，补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，并且将经过运动补偿的二进制对象图像提供给开关382。
开关382将经过运动补偿的第一帧二进制对象图像输出到帧存储器383-1，并且将经过运动补偿的第二帧二进制对象图像输出到帧存储器383-2。类似地，开关382将经过运动补偿的第三到第(N-1)帧二进制对象图像输出到帧存储器383-3到383-(N-1)，并且将经过运动补偿的第N帧二进制对象图像输出到帧存储器383-N。
帧存储器383-1存储经过运动补偿的第一帧二进制对象图像，并且将所存储的二进制对象图像输出到加权部分384-1。帧存储器383-2存储经过运动补偿的第二帧二进制对象图像，并且将所存储的二进制对象图像输出到加权部分384-2。
类似地，帧存储器383-3到383-(N-1)存储经过运动补偿的第三到第(N-1)帧二进制对象图像，并且将所存储的二进制对象图像输出到加权部分384-3到384-(N-1)。帧存储器383-N存储经过运动补偿的第N帧二进制对象图像，并且将所存储的二进制对象图像输出到加权部分384-N。
加权部分384-1将从帧存储器383-1提供的经过运动补偿的第一帧二进制对象图像与预定权值w1进行相乘，然后将经过加权的二进制对象图像提供给累加器385。加权部分384-2将从帧存储器383-2提供的经过运动补偿的第二帧二进制对象图像与预定权值w2进行相乘，然后将经过加权的二进制对象图像提供给累加器385。
同样地，加权部分384-3到384-(N-1)将从帧存储器383-3到383-(N-1)提供的经过运动补偿的第三到第(N-1)帧二进制对象图像与预定权值w3到w(N-1)进行相乘，然后将经过加权的二进制对象图像提供给累加器385。加权部分384-N将从帧存储器383-N提供的经过运动补偿的第N帧二进制对象图像与预定权值wN进行相乘，然后将经过加权的二进制对象图像提供给累加器385。
累加器385累加第一到第N帧的与权值w1到wN进行相乘的经过运动补偿的二进制对象图像的像素值，并且将累加出的像素值与预定阀值th0进行比较，从而生成二进制对象图像。
如上所述，鲁棒处理部分361从N个二进制对象图像生成鲁棒二进制对象图像，并且将它提供给时间变化检测器303。因此，即使输入图像包含噪声，如图43所示构造的区域指定单元103也能够比图31所示构造的区域指定单元103更精确地指定区域。
下面将参照图47的流程图对由如图43所示构造的区域指定单元103执行的区域指定处理进行描述。步骤S341到步骤S343的处理类似于参照图41所述的步骤S301到步骤S303的处理，并且因此省略其说明。
在步骤S344，鲁棒处理部分361执行鲁棒处理。
在步骤S345，时间变化检测器303执行区域确定处理，然后处理结束。步骤S345的处理的细节类似于参照图42的流程图所述的处理，并且因此省略其说明。
下面将参照图48的流程图对与图47中步骤S344的处理对应的鲁棒处理的细节进行描述。在步骤S361，运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，执行对输入二进制对象图像的运动补偿。在步骤S362，帧存储器383-1到383-N之一存储通过开关382提供的对应经过运动补偿的二进制对象图像。
在步骤S363，鲁棒处理部分361确定是否存储了N个二进制对象图像。如果确定没有存储N个二进制对象图像，过程返回到步骤S361，并且重复二进制对象图像运动补偿处理和二进制对象图像存储处理。
如果在步骤S363确定存储了N个二进制对象图像，过程进入步骤S364，其中，执行加权。在步骤S364，加权部分384-1到384-N将N个二进制对象图像与对应的权值w1到wN进行相乘。
在步骤S365，累加器385累加N个经过加权的二进制对象图像。
在步骤S366，累加器385通过例如将累加值与预定阀值th1进行比较，从累加图像生成二进制对象图像，然后处理结束。
如上所述，如图43所示构造的区域指定单元103能够根据鲁棒二进制对象图像生成区域信息。
从前面描述可以看到，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、非覆盖背景区域或覆盖背景区域中的哪一个区域的区域信息。
图49是混合比率计算器104的结构方框图。估计混合比率处理器401通过根据输入图像计算覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率确定部分403。
估计混合比率处理器402通过根据输入图像计算非覆盖背景区域的模型，为每个像素计算估计混合比率，并且将算出的估计混合比率提供给混合比率确定部分403。
因为可以假定对应于前景的对象在快门时间内匀速移动，所以属于混合区域的像素的混合比率α显示出下面特性。也就是，混合比率α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，可以线性地表示混合比率α的变化。如果像素的位置变化是二维的，可以在平面上表示混合比率α的变化。
由于一帧的周期很短，因此可以假定对应于前景的对象是匀速移动的刚体。
混合比率α的斜率与前景在快门时间内的移动量v成反比。
理想混合比率α的例子如图50所示。混合区域中理想混合比率α的斜率1可以用移动量v的倒数(reciprocal)来表示。
如图50所示，理想混合比率α的值在背景区域中为1，在前景区域中为0，并且在混合区域中大于0且小于1。
在图51所示的例子中，帧#n中左起第七像素的像素值C06可以通过使用帧#n-1中左起第七像素的像素值P06，用方程(8)来表示。
C 06 = B 06 / v + B 06 / v + F 01 / v + F 02 / v
= P 06 / v + P 06 / v + F 01 / v + F 02 / v
= 2 / v · P 06 + Σ i = 1 2 Fi / v · · · ( 8 )
在方程(8)中，像素值C06用混合区域像素的像素值M来表示，而像素值P06用背景区域像素的像素值B来表示。也就是，混合区域像素的像素值M和背景区域像素的像素值B可以分别用方程(9)和(10)来表示。
M＝C06                                            (9)
B＝P06                                            (10)
在方程(8)中，2/v对应于混合比率α。由于移动量v为4，因此帧#n中左起第七像素的混合比率α为0.5。
如上所述，把感兴趣的帧n像素值C视为混合区域的像素值，而把帧#n之前的帧#n-1像素值P视为背景区域的像素值。
因此，表示混合比率α的方程(3)可以用方程(11)来表示：
C＝α·P+f                                        (11)
其中，方程(11)中的f表示包含在感兴趣像素中的前景成分之和∑iFi/v。包含在方程(11)中的变量是两个因子，即混合比率α和前景成分之和f。
类似地，通过在时间方向上扩展非覆盖背景区域中移动量为4并且虚拟划分部分的数目为4的像素值而获得的模型如图52所示。
如同覆盖背景区域的表示，在非覆盖背景区域中，把感兴趣的帧n像素值C视为混合区域的像素，而把帧#n之后的帧n+1像素值N视为背景区域。因此，表示混合比率α的方程(3)可以用方程(12)表示：
C＝α·N+f               (12)
本实施例是假定背景对象是静止的而进行描述的。然而，通过使用与背景移动量v对应位置像素的像素值，方程(8)到(12)可以应用于背景图像为移动的情况。现在假定，例如，在图51中，对应于背景的对象的移动量v为2，并且虚拟划分部分的数目为2。在这种情况下，当对应于背景的对象在图49中向右移动时，方程(10)中背景区域像素的像素值B用像素值P04表示。
由于方程(11)和(12)都包含两个变量，因此，不修改方程就不能确定混合比率α。一般，图像具有强空间相关性，并且因此位置相近像素的像素值几乎相同。
由于前景成分具有强空间相关性，因此修改方程使得从前一帧或后一帧中推导出前景成分之和f，从而确定混合比率α。
图53中帧#n左起第七像素的像素值Mc可以用方程(13)表示：
Mc = 2 v · B 06 + Σ i = 11 12 Fi / v · · · ( 13 )
方程(13)右边的第一项2/v对应于混合比率α。方程(13)右边的第二项通过使用后一帧#n+1的像素值，可以用方程(14)表示。
Σ i = 11 12 Fi / v = β · Σ i = 7 10 Fi / v · · · ( 14 )
现在假定，通过使用前景成分的空间相关性，方程(15)成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12        (15)
方程(14)利用方程(15)可以修改为方程(16)。
Σ i = 11 12 Fi / v = 2 v · F · · · ( 16 )
= β · 4 v · F
因而，β可以用方程(17)表示。
β＝2/4                                          (17)
如果假定如方程(15)所示，混合区域中的前景成分相等，那么方程(18)由于内部比率对混合区域中的所有像素均成立。
β＝1-α                            (18)
如果方程(18)成立，则方程(11)可以演变为方程(19)。
C = α · P + f
= α · P + ( 1 - α ) · Σ i = γ γ + v - 1 Fi / v
= α · P + ( 1 - α ) · N · · · ( 19 )
类似地，如果方程(18)成立，则方程(12)可以演变为方程(20)。
C = α · N + f
= α · N + ( 1 - α ) · Σ i = γ γ + v - 1 Fi / v
= α · N + ( 1 - α ) · P · · · ( 20 )
在方程(19)和(20)中，由于C、N和P是已知像素值，因此，包含在方程(19)和(20)中的变量只是混合比率α。方程(19)和(20)中C、N和P之间的关系如图54所示。C是为其计算混合比率α的帧#n感兴趣像素的像素值。N是位于空间上对应于感兴趣像素的位置的帧#n+1像素的像素值。P是位于空间上对应于感兴趣像素的位置的帧#n-1像素的像素值。
因此，由于在方程(19)和(20)中都包含一个变量，因此可以通过利用三个帧中的像素，计算混合比率α。用于通过求解方程(19)和(20)来求解正确混合比率α的条件如下所述。在混合区域内具有相同前景成分的图像对象中，即，在前景对象静止时拍摄的前景图像对象中，位于对应于前景对象移动方向的图像对象边界的连续像素的像素值，像素数目为移动量v的两倍，必须不变。
如上所述，通过方程(21)计算属于覆盖背景区域的像素的混合比率α，并且通过方程(22)计算属于非覆盖背景区域的像素的混合比率α。
α＝(C-N)/(P-N)                (21)
α＝(C-P)/(N-P)                (22)
图55是估计混合比率处理器401的结构方框图。帧存储器421以帧为单位存储输入图像，并且将作为输入图像输入的帧的后一帧提供给帧存储器422和混合比率计算器423。
帧存储器422以帧为单位存储输入图像，并且将从帧存储器421提供的帧的后一帧提供给混合比率计算器423。
因此，当帧#n+1作为输入图像输入到混合比率计算器423时，帧存储器421将帧#n提供给混合比率计算器423，并且帧存储器422将帧#n-1提供给混合比率计算器423。
混合比率计算器423根据帧#n感兴趣像素的像素值C、所在位置对应于感兴趣像素位置的帧#n+1像素的像素值N以及所在位置对应于感兴趣像素位置的帧#n-1像素的像素值P，通过求解方程(21)计算感兴趣的估计混合比率，并且输出算出的估计混合比率。例如，当背景静止时，混合比率计算器423根据帧#n感兴趣像素的像素值C、所在位置与感兴趣像素位置相同的帧#n+1像素的像素值N以及所在位置与感兴趣像素位置相同的帧#n-1像素的像素值P，计算感兴趣像素的估计混合比率，并且输出算出的估计混合比率。
通过这种方式，估计混合比率处理器401根据输入图像计算估计混合比率，并且将它提供给混合比率确定部分403。
估计混合比率计算器401通过求解方程(21)，计算感兴趣像素的估计混合比率。除了估计混合比率计算器402通过求解方程(22)，计算感兴趣像素的不同估计混合比率外，估计混合比率计算器402的操作类似于估计混合比率计算器401。因此，省略对估计混合比率计算器402的说明。
图56示出通过估计混合比率处理器401算出的估计混合比率的例子。图56所示的估计混合比率是当匀速移动的前景对象的移动量v为11时用一条线表示的结果。
可以看到，估计混合比率在混合区域中的变化几乎是线性的，如图50所示。
回到图49，混合比率确定部分403根据从区域指定单元103提供并且表示要为其计算混合比率α的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率α。当对应像素属于前景区域时，混合比率确定部分403将混合比率α设为0，并且当对应像素属于背景区域时，将混合比率α设为1。当对应像素属于覆盖背景区域时，混合比率确定部分403将混合比率α设为从估计混合比率处理器401提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率确定部分403将混合比率α设为从估计混合比率处理器402提供的估计混合比率。混合比率确定部分403输出根据区域信息设定的混合比率α。
图57是混合比率计算器104的另一结构方框图。选择器441根据从区域指定单元103提供的区域信息，将属于覆盖背景区域的像素以及前一帧和后一帧的对应像素提供给估计混合比率处理器442。选择器441根据从区域指定单元103提供的区域信息，将属于非覆盖背景区域的像素以及前一帧和后一帧的对应像素提供给估计混合比率处理器443。
估计混合比率处理器442根据从选择器441输入的像素值，通过方程(21)所表示的计算操作，计算属于覆盖背景区域的感兴趣像素的估计混合比率，并且将算出的估计混合比率提供给选择器444。
估计混合比率处理器443根据从选择器441输入的像素值，通过方程(22)所表示的计算操作，计算属于非覆盖背景区域的感兴趣像素的估计混合比率，并且将算出的估计混合比率提供给选择器444。
根据从区域指定单元103提供的区域信息，当感兴趣像素属于前景区域时，选择器444选择估计混合比率0，并且将它设为混合比率α，并且当感兴趣像素属于背景区域时，选择估计混合比率1，并且将它设为混合比率α。当感兴趣像素属于覆盖背景区域时，选择器444选择从估计混合比率处理器442提供的估计混合比率，并且将它设为混合比率α。当感兴趣像素属于非覆盖背景区域时，选择器444选择从估计混合比率处理器443提供的估计混合比率，并且将它设为混合比率α。选择器444然后输出根据区域信息所选择并设置的混合比率α。
如上所述，如图57所示构造的混合比率计算器104能够为包含在图像中的每个像素计算混合比率α，并且输出算出的混合比率α。
下面将参照图58的流程图对由如图49所示构造的混合比率计算器104执行的混合比率α计算处理进行讨论。在步骤S401，混合比率计算器104获取从区域指定单元103提供的区域信息。在步骤S402，估计混合比率处理器401通过使用对应于覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率确定部分403。下面将参照图59的流程图对混合比率估计处理的细节进行讨论。
在步骤S403，估计混合比率处理器402通过使用对应于非覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率确定部分403。
在步骤S404，混合比率计算器104确定是否估计完毕整个帧的混合比率。如果确定尚未估计整个帧的混合比率，过程返回到步骤S402，并且为下一像素执行混合比率估计处理。
如果在步骤S404确定估计完毕整个帧的混合比率，过程进入步骤S405。在步骤S405，混合比率确定部分403根据从区域指定单元103提供并且表示要为其计算混合比率α的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率确定部分403将混合比率α设为0，并且当对应像素属于背景区域时，将混合比率α设为1。当对应像素属于覆盖背景区域时，混合比率确定部分403将混合比率α设为从估计混合比率处理器401提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率确定部分403将混合比率α设为从估计混合比率处理器402提供的估计混合比率。然后处理结束。
如上所述，混合比率计算器104能够根据从区域指定单元103提供的区域信息以及输入图像，计算表示对应于每个像素的特征量的混合比率α。
由如图57所示构造的混合比率计算器104执行的混合比率α计算处理与参照图58所述的类似，并且因此省略其说明。
现在将参照图59的流程图对图58的步骤S402中通过使用对应于覆盖背景区域的模型的混合比率估计处理进行描述。
在步骤S421，混合比率计算器423从帧存储器421获取帧#n感兴趣像素的像素值C。
在步骤S422，混合比率计算器423从帧存储器422获取与包含在输入图像中的感兴趣像素对应的帧#n-1像素的像素值P。
在步骤S423，混合比率计算器423获取与包含在输入图像中的感兴趣像素对应的帧#n+1像素的像素值N。
在步骤S424，混合比率计算器423根据帧#n感兴趣像素的像素值C、帧#n-1像素的像素值P以及帧#n+1像素的像素值N，计算估计混合比率。
在步骤S425，混合比率计算器423确定是否对整个帧完成估计混合比率计算处理。如果确定尚未对整个帧完成估计混合比率计算处理，过程返回到步骤S421，为下一像素重复估计混合比率计算处理。
如果在步骤S425确定对整个帧完成估计混合比率计算处理，则处理结束。
如上所述，估计混合比率处理器401能够根据输入图像计算估计混合比率。
图58的步骤S403中通过使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于通过使用对应于覆盖背景区域的模型而执行的如图59的流程图所示的处理，并且因此省略其说明。
图57所示的估计混合比率处理器442和估计混合比率处理器443通过执行类似于图59的流程图的处理，计算估计混合比率，并且因此省略其说明。
本实施例是假定对应于背景的对象是静止的而进行描述的。然而，即使对应于背景区域的图像包含运动，也可以应用上述用于确定混合比率α的处理。例如，如果对应于背景区域的图像一致移动，估计混合比率处理器401可以根据背景运动偏移整个图像，从而以类似于对应于背景的对象为静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动时，估计混合比率处理器401选择对应于运动的像素作为属于混合区域的对应像素，并且执行上述处理。
混合比率计算器104可以仅通过使用对应于覆盖背景区域的模型，为所有像素执行混合比率估计处理，从而输出算出的估计混合比率作为混合比率α。在这种情况下，混合比率α对于属于覆盖背景区域的像素表示背景成分比率，并且对于属于非覆盖背景区域的像素表示前景成分比率。对于属于非覆盖背景区域的像素，计算混合比率α与1的差值绝对值，并且将算出的绝对值设为混合比率α。然后，信号处理器12能够为属于非覆盖背景区域的像素确定表示背景成分比率的混合比率α。
类似地，混合比率计算器104可以仅通过使用对应于非覆盖背景区域的模型，为所有像素执行混合比率估计处理，从而输出算出的估计混合比率作为混合比率α。
下面讨论由混合比率计算器104执行的另一处理。
由于对应于前景的对象匀速移动，混合比率α根据像素位置变化而线性变化。通过利用该特性，在空间方向上近似混合比率α和前景成分之和f的方程可以成立。通过利用多组属于混合区域的像素的像素值和属于背景区域的像素的像素值，可以通过求解近似混合比率α和前景成分之和f的方程，计算混合比率α。
当混合比率α变化近似为一条直线时，可以用方程(23)表示混合比率α。
α＝il+p                                    (23)
在方程(23)中，i表示感兴趣像素的位置设为0时的空间索引，l表示混合比率α直线的斜率，并且p表示混合比率α直线的截距，并且还表示感兴趣像素的混合比率α。在方程(23)中，索引i是已知的，而斜率l和截距p是未知的。
索引i、斜率l和截距p之间的关系如图60所示。
通过将混合比率α近似为方程(23)，可以用两个变量表示多个像素的多个不同混合比率α。在图60所示的例子中，用两个变量，即斜率l和截距p表示五个像素的五个混合比率。
当在图61所示的平面中近似混合比率α时，通过考虑对应于两个方向的运动v，即图像的水平方向和垂直方向，将方程(23)推广到平面中，并且可以用方程(24)表示混合比率α。
α＝jm+kq+p                            (24)
在方程(24)中，当感兴趣像素的位置为0时，j是水平方向的索引，并且k是垂直方向的索引。在方程(24)中，m表示混合比率α在平面中的水平斜率，并且q表示混合比率α在平面中的垂直斜率。在方程(24)中，p表示混合比率α在平面中的截距。
例如，在图51所示的帧#n中，方程(25)到(27)分别对于C05到C07成立。
C05＝α05·B05/v+f05                    (25)
C06＝α06·B06/v+f06                    (26)
C07＝α07·B07/v+f07                    (27)
假定位置相近的前景成分相等，即F01到F03相等，通过用fc替代F01到F03，方程(28)成立。
f(x)＝(1-α(x))·Fc                     (28)
在方程(28)中，x表示空间方向上的位置。
当用方程(24)替代α(x)时，方程(28)可以用方程(29)表示。
f(x)＝(1-(jm+kq+p))·Fc                                (29)
＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)
＝js+kt+u
在方程(29)中，如方程(30)到(32)所示，分别对(-m·Fc)、(-q·Fc)和(1-p)·Fc进行替代。
s＝-m·Fc                                    (30)
t＝-q·Fc                                    (31)
u＝(1-p)·Fc                                 (32)
在方程(29)中，当感兴趣像素的位置为0时，j是水平方向的索引，并且k是垂直方向的索引。
如上所述，由于可以假定对应于前景的对象在快门周期内匀速移动，并且位置相近的前景成分相同，因此用方程(29)近似前景成分之和。
当通过直线近似混合比率α时，可以用方程(33)表示前景成分之和。
f(x)＝is+u                                   (33)
通过使用方程(24)和(29)替代混合比率α和前景成分之和，可以用方程(34)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u                      (34)
＝jB·m+kB·q+B·p+j·s+k·t+u
在方程(34)中，未知变量为六个因子，如混合比率α在平面中的水平斜率m、混合比率α在平面中的垂直斜率q和混合比率α在平面中的截距p、s、t和u。
根据邻近于感兴趣像素的像素在方程(34)中设置像素值M和像素值B，然后通过最小二乘法(least square)求解其中设有像素值M和像素值B的多个方程，从而计算混合比率α。
现在假定例如感兴趣像素的水平索引j设为0，并且感兴趣像素的垂直索引k设为0。在这种情况下，当对于位于感兴趣像素附近的3×3像素在方程(34)所示的普通方程中设置像素值M或像素值B时，获得方程(35)到(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(35)
M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u         (36)
M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u     (37)
M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u         (38)
M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u              (39)
M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u         (40)
M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u     (41)
M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u          (42)
M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u     (43)
由于感兴趣像素的水平索引j为0，并且感兴趣像素的垂直索引k为0，因此感兴趣像素的混合比率α等于在方程(24)中j为0且k为0时的值，也就是，混合比率α等于方程(24)的截距p。
因此，根据这九个方程，即方程(35)到(43)，通过最小二乘法计算水平斜率m、垂直斜率q和截距p、s、t和u，并且输出截距p作为混合比率α。
用于通过应用最小二乘法计算混合比率α的特定过程如下所述。
当索引i和索引k用一个索引x来表示时，索引i、索引k和索引x之间的关系可以用方程(44)进行表示。
x＝(j+1)·3+(k+1)                                       (44)
现在假定分别用w0、w1、w2、w3、w4和w5表示水平斜率m、垂直斜率q和截距p、s、t和u，并且jB、kB、B、j、k和l分别由a0、a1、a2、a3、a4和a5表示。考虑到误差ex，方程(35)到(43)可以修改为方程(45)。
Mx = Σ y = 0 5 ay · wy + ex · · · ( 45 )
在方程(45)中，x是0到8之间的任一整数。
可以从方程(45)得到方程(46)。
ex = Mx - Σ y = 0 5 ay · wy · · · ( 46 )
由于应用最小二乘法，误差的平方和E如下面的方程(47)所示进行定义。
E = Σ x = 0 8 e x 2 · · · ( 47 )
为使误差最小，变量Wv关于误差平方和E的偏导值(partialdifferential value)应为0。v是0到5之间的任一整数。因此，确定wy以便满足方程(48)。
∂ E ∂ Wv = 2 · Σ x = 0 8 ex · ∂ ex ∂ Wv
= 2 · Σ x = 0 8 ex · av = 0 · · · ( 48 )
通过将方程(46)代入方程(48)，获得方程(49)。
Σ x = 0 8 ( av · Σ y = 0 8 ay · Wy ) = Σ x = 0 8 av · Mx · · · ( 49 )
例如，对由通过将方程(49)的v替代为0到5之间的一个整数而获得的六个方程组成的普通方程应用消元(sweep-out)法(Gauss-Jordan消元)，从而获得wy。如上所述，w0是水平斜率m，w1是垂直斜率q，w2是截距p，w3是s，w4是t，并且w5是u。
如上所述，通过对其中设置像素值M和像素值B的方程应用最小二乘法，可以确定水平斜率m、垂直斜率q以及截距p、s、t和u。
当索引i和k为0时，截距p为混合比率α，也就是，截距p位于中心位置。因此，输出截距p。
描述是通过假定包含在混合区域中的像素的像素值为M并且包含在背景区域中的像素的像素值为B参照方程(35)到(43)而给出的。在这种情况下，为感兴趣像素包含在覆盖背景区域中或者感兴趣像素包含在非覆盖背景区域中的每种情况设置普通方程是必要的。
例如，如果确定图51所示的包含在帧#n的覆盖背景区域中的像素的混合比率α，在普通方程中设置帧#n像素C04到C08和帧#n-1像素的像素值P04到P08。
如果确定图52所示的包含在帧#n的非覆盖背景区域中的像素的混合比率α，在普通方程中设置帧#n像素C28到C32和帧#n+1像素的像素值N28到N32。
而且，如果例如计算图62所示的包含在覆盖背景区域中的像素的混合比率α，设置下面方程(50)到(58)。为其计算混合比率α的像素的像素值为Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u    (50)
Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u      (51)
Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u    (52)
Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u      (53)
Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u        (54)
Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u      (55)
Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u    (56)
Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u      (57)
Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u    (58)
当计算帧#n中包含在覆盖背景区域中的像素的混合比率α时，使用分别对应于帧#n像素的方程(50)到(58)中帧#n-1背景区域像素的像素值Bc1到Bc9。
如果例如计算图62所示的包含在非覆盖背景区域中的像素的混合比率α，设置下面方程(59)到(67)。为其计算混合比率α的像素的像素值为Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u    (59)
Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u      (60)
Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u    (61)
Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u     (62)
Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u       (63)
Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u     (64)
Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u   (65)
Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u     (66)
Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u   (67)
当计算帧#n中包含在非覆盖背景区域中的像素的混合比率α时，使用分别对应于帧#n像素的方程(59)到(67)中帧#n+1背景区域像素的像素值Bu1到Bu9。
图63是估计混合比率处理器401的结构方框图。输入到估计混合比率处理器401的图像提供给延时部分501和加法器502。
延时电路501对输入图像延时一帧，并且将图像提供给加法器502。当帧#n作为输入图像提供给加法器502时，延时电路501将帧#n-1提供给加法器502。
加法器502在普通方程中设置与为其计算混合比率α的像素相邻的像素的像素值，以及帧#n-1的像素值。例如，加法器502分别根据方程(50)到(58)设置普通方程中的像素值Mc1到Mc9和像素值Bc1到Bc9。加法器502将其中设置这些像素值的普通方程提供给计算器503。
计算器503通过采用例如消元法求解从加法器502提供的普通方程，确定估计混合比率，并且输出所确定的估计混合比率。
通过这种方式，估计混合比率处理器401能够根据输入图像计算估计混合比率，并且将它提供给混合比率确定部分403。
估计混合比率处理器402类似于估计混合比率处理器401进行构造，并且因此省略其说明。
图64示出由估计混合比率处理器401计算的估计混合比率的例子。图64所示的估计混合比率是当对应于匀速移动对象的前景的移动v为11时用一条线表示并且通过以7×7像素块为单位生成方程而执行计算所获得的结果。
估计混合比率在混合区域中的变化几乎是线性的，如图50所示。
混合比率确定部分403根据从区域指定单元103提供并且表示要为其计算混合比率的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率确定部分403将混合比率设为0，并且当对应像素属于背景区域时，将混合比率设为1。当对应像素属于覆盖背景区域时，混合比率确定部分403将混合比率设为从估计混合比率处理器401提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率确定部分403将混合比率设为从估计混合比率处理器402提供的估计混合比率。混合比率确定部分403输出根据区域信息设定的混合比率。
下面将参照图65的流程图对估计混合比率处理器401如图63所示进行构造时由混合比率计算器102执行的混合比率计算处理进行讨论。在步骤S501，混合比率计算器102获取从区域指定单元101提供的区域信息。在步骤S502，估计混合比率处理器401通过使用对应于覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率确定部分403。下面将参照图66的流程图对混合比率估计处理的细节进行讨论。
在步骤S503，估计混合比率处理器402通过使用对应于非覆盖背景区域的模型，执行混合比率估计处理，并且将估计混合比率提供给混合比率确定部分403。
在步骤S504，混合比率计算器102确定是否估计完毕整个帧的混合比率。如果确定尚未估计整个帧的混合比率，过程返回到步骤S502，并且为下一像素执行混合比率估计处理。
如果在步骤S504确定估计完毕整个帧的混合比率，过程进入步骤S505。在步骤S505，混合比率确定部分403根据从区域指定单元101提供并且表示要为其计算混合比率的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率。当对应像素属于前景区域时，混合比率确定部分403将混合比率设为0，并且当对应像素属于背景区域时，将混合比率设为1。当对应像素属于覆盖背景区域时，混合比率确定部分403将混合比率设为从估计混合比率处理器401提供的估计混合比率。当对应像素属于非覆盖背景区域时，混合比率确定部分403将混合比率设为从估计混合比率处理器402提供的估计混合比率。然后处理结束。
如上所述，混合比率计算器102能够根据从区域指定单元101提供的区域信息以及输入图像，计算表示对应于每个像素的特征量的混合比率α。
通过利用混合比率α，在保持包含在对应于移动对象的图像中的运动模糊信息的同时，分离包含在像素值中的前景成分和背景成分，是可能的。
通过根据混合比率α组合图像，创建包含与移动对象速度一致的正确运动模糊并且忠实反映真实世界的图像，也是可能的。
现在将参照图66的流程图对图65的步骤S502中通过使用覆盖背景区域模型的混合比率估计处理进行描述。
在步骤S521，加法器502在对应于覆盖背景区域模型的普通方程中设置包含在输入图像中的像素值以及包含在从延时电路221提供的图像中的像素值。
在步骤S522，估计混合比率处理器401确定是否完成目标像素的设置。如果确定尚未完成目标像素的设置，过程返回到步骤S521，并且重复普通方程中像素值的设置处理。
如果在步骤S522确定完成目标像素的设置，过程进入步骤S523。在步骤S523，计算器173根据其中设置像素值的普通方程，计算估计混合比率，并且输出算出的混合比率。
如上所述，估计混合比率处理器401能够根据输入图像计算估计混合比率。
图65的步骤S153中通过使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于通过使用对应于非覆盖背景区域模型的普通方程而执行的如图66的流程图所示的处理，并且因此省略其说明。
本实施例是假定对应于背景的对象是静止的而进行描述的。然而，即使对应于背景区域的图像包含运动，也可以应用上述混合比率计算处理。例如，如果对应于背景区域的图像一致移动，估计混合比率处理器401可以根据背景运动偏移整个图像，从而以类似于对应于背景的对象为静止的情况的方式执行处理。如果对应于背景区域的图像包含局部不同的运动时，估计混合比率处理器401选择对应于运动的像素作为属于混合区域的像素，并且执行上述处理。
下面对前景/背景分离器105进行讨论。图67是前景/背景分离器105的结构示例方框图。提供给前景/背景分离器105的输入图像提供给分离部分601、开关602和开关604。从区域指定单元103提供并且表示覆盖背景区域和非覆盖背景区域信息的区域信息提供给分离部分601。表示前景区域的区域信息提供给开关602。表示背景区域的区域信息提供给开关604。
从混合比率计算器104提供的混合比率α提供给分离部分601。
分离部分601根据表示覆盖背景区域的区域信息、表示非覆盖背景区域的区域信息以及混合比率α从输入图像中分离前景成分，并且将分离出的前景成分提供给合成器603。分离部分601还从输入图像中分离背景成分，并且将分离出的背景成分提供给合成器605。
当根据表示前景区域的区域信息输入对应于前景的像素时，闭合开关602，并且只将包含在输入图像中的对应于前景的像素提供给合成器603。
当根据表示背景区域的区域信息输入对应于背景的像素时，闭合开关604，并且只将包含在输入图像中的对应于背景的像素提供给合成器605。
合成器603根据从分离部分601提供的前景成分和从开关602提供的对应于前景的像素，合成前景成分图像，并且输出所合成的前景成分图像。由于前景区域和混合区域不重叠，因此合成器603对前景成分和前景像素应用例如逻辑或操作，从而合成前景成分图像。
在前景成分图像合成处理的开始所执行的初始化处理中，合成器603在内置帧存储器中存储其像素值全为0的图像。然后，在前景成分图像合成处理中，合成器603存储前景成分图像(用前景成分图像覆盖前面图像)。因此，在从合成器603输出的前景成分图像中对应于背景区域的像素存储0。
合成器605根据从分离部分601提供的背景成分和从开关604提供的对应于背景的像素，合成背景成分图像，并且输出所合成的背景成分图像。由于背景区域和混合区域不重叠，因此合成器605对背景成分和背景像素应用例如逻辑或操作，从而合成背景成分图像。
在背景成分图像合成处理的开始所执行的初始化处理中，合成器605在内置帧存储器中存储其像素值全为0的图像。然后，在背景成分图像合成处理中，合成器605存储背景成分图像(用背景成分图像覆盖前面图像)。因此，在从合成器605输出的背景成分图像中对应于前景区域的像素存储0。
图68A示出输入到前景/背景分离器105中的输入图像以及从前景/背景分离器105输出的前景成分图像和背景成分图像。图68B示出通过在时间方向上扩展包括对应于图68A的属于前景区域的像素、属于背景区域的像素和属于混合区域的像素且在一条线上排列的像素而获得的模型。
如图68A和68B所示，从前景/背景分离器105输出的背景成分图像包括属于背景区域的像素和包含在混合区域像素中的背景成分。
如图68A和68B所示，从前景/背景分离器105输出的前景成分图像包括属于前景区域的像素和包含在混合区域像素中的前景成分。
混合区域中像素的像素值由前景/背景分离器105分离为背景成分和前景成分。分离出的背景成分与属于背景区域的像素一起形成背景成分图像。分离出的前景成分与属于前景区域的像素一起形成前景成分图像。
如上所述，在前景成分图像中，对应于背景区域的像素的像素值设为0，并且在对应于前景区域的像素和对应于混合区域的像素中设置有效像素值。类似地，在背景成分图像中，对应于前景区域的像素的像素值设为0，并且在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。
下面将对由分离部分601执行的用于从属于混合区域的像素中分离前景成分和背景成分的处理进行描述。
图69示出表示包括从图69的左边向右移动的前景对象的两个帧中前景成分和背景成分的图像模型。在图69所示的图像模型中，移动量v为4，并且虚拟划分部分的数目为4。
在帧#n中，最左像素以及左起第十四到第十八像素只包括背景成分，并且属于背景区域。在帧#n中，左起第二到四像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n中，左起第十一到第十三像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，左起第五到第十像素只包括前景成分，并且属于前景区域。
在帧#n+1中，左起第一到第五像素以及左起第十八像素只包括背景成分，并且属于背景区域。在帧#n+1中，左起第六到八像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n+1中，左起第十五到第十七像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，左起第九到第十四像素只包括前景成分，并且属于前景区域。
图70示出从属于覆盖背景区域的像素中分离前景成分的处理。在图70中，α1到α18表示帧#n各个像素的混合比率。在图70中，左起第十五到第十七像素属于覆盖背景区域。
可以用方程(68)表示帧#n中左起第十五像素的像素值C15：
C15＝B15/v+F09/v+F08/v+F07/v                     (68)
＝α15·B15+F09/v+F08/v+F07/v
＝α15·P15+F09/v+F08/v+F07/v
其中，α15表示帧#n中左起第十五像素的混合比率，并且P15表示帧#n-1中左起第十五像素的像素值。
帧#n中左起第十五像素的前景成分之和f15可以根据方程(68)用方程(69)进行表示。
f15＝F09/v+F08/v+F07/v                    (69)
＝C15-α15·P15
类似地，可以用方程(70)表示帧#n中左起第十六像素的前景成分之和f16，并且可以用方程(71)表示帧#n中左起第十七像素的前景成分之和f17。
f16＝C16-α16·P16                        (70)
f17＝C17-α17·P17                        (71)
通过这种方式，可以用方程(72)表示包含在属于覆盖背景区域的像素的像素值C中的前景成分fc：
fc＝C-α·P                               (72)
其中，P表示前一帧中对应像素的像素值。
图71示出从属于非覆盖背景区域的像素中分离前景成分的处理。在图71中，α1到α18表示帧#n各个像素的混合比率。在图71中，左起第二到第四像素属于非覆盖背景区域。
可以用方程(73)表示帧#n中左起第二像素的像素值C02：
C02＝B02/v+B02/v+B02/v+F01/v              (73)
＝α2·B02+F01/v
＝α2·N02+F01/v
其中，α2表示帧#n中左起第二像素的混合比率，并且N02表示帧#n+1中左起第二像素的像素值。
帧#n中左起第二像素的前景成分之和f02可以根据方程(73)用方程(74)进行表示。
f02＝F01/v                                (74)
＝C02-α2·N02
类似地，可以用方程(75)表示帧#n中左起第三像素的前景成分之和f03，并且可以用方程(76)表示帧#n中左起第四像素的前景成分之和f04。
f03＝C03-α3·N03                         (75)
f04＝C04-α4·N04                         (76)
通过这种方式，可以用方程(77)表示包含在属于非覆盖背景区域的像素的像素值C中的前景成分fu：
fu＝C-α·N                    (77)
其中，N表示后一帧中对应像素的像素值。
如上所述，分离部分601能够根据包含在区域信息中的表示覆盖背景区域和非覆盖背景区域的信息以及每个像素的混合比率α，从属于混合区域的像素中分离前景成分，并且从属于混合区域的像素中分离背景成分。
图72是用于执行上述处理的分离部分601的结构示例方框图。输入到分离部分601的图像提供给帧存储器621，并且从混合比率计算器104提供的表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α提供给分离处理块622。
帧存储器621以帧为单位存储输入图像。当要处理的帧为帧#n时，帧存储器621存储帧#n-1(帧#n的前一帧)、帧#n和帧#n+1(帧#n的后一帧)。
帧存储器621将帧#n-1、帧#n和帧#n+1中的对应像素提供给分离处理块622。
分离处理块622根据表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α，对从帧存储器621提供的帧#n-1、帧#n和帧#n+1中的对应像素的像素值应用参照图70和71所述的计算操作，从而从帧#n中属于混合区域的像素中分离前景成分和背景成分，并且将它们提供给帧存储器623。
分离处理块622由非覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634形成。
非覆盖区域处理器631的乘法器641将从帧存储器621提供的帧#n+1像素的像素值与混合比率α进行相乘，并且将结果像素值输出到开关642。当从帧存储器621提供的帧#n像素(对应于帧#n+1像素)属于非覆盖背景区域时，闭合开关642，并且将从乘法器641提供的与混合比率α进行相乘的像素值提供给计算器643和合成器634。从开关642输出的通过相乘帧#n+1像素的像素值和混合比率α而获得的值相当于帧#n中对应像素的像素值的背景成分。
计算器643从由帧存储器621提供的帧#n像素的像素值中减去从开关642提供的背景成分，从而获得前景成分。计算器643将属于非覆盖背景区域的帧#n像素的前景成分提供给合成器633。
覆盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1像素的像素值与混合比率α进行相乘，并且将结果像素值输出到开关652。当从帧存储器621提供的帧#n像素(对应于帧#n-1像素)属于覆盖背景区域时，闭合开关652，并且将从乘法器651提供的与混合比率α进行相乘的像素值提供给计算器653和合成器634。从开关652输出的通过相乘帧#n-1像素的像素值和混合比率α而获得的值相当于帧#n中对应像素的像素值的背景成分。
计算器653从由帧存储器621提供的帧#n像素的像素值中减去从开关652提供的背景成分，从而获得前景成分。计算器653将属于覆盖背景区域的帧#n像素的前景成分提供给合成器633。
合成器633组合属于非覆盖背景区域且从计算器643提供的像素的前景成分与属于覆盖背景区域且从计算器653提供的像素的前景成分，并且将所合成的前景成分提供给帧存储器623。
合成器643组合属于非覆盖背景区域且从开关642提供的像素的背景成分与属于覆盖背景区域且从开关652提供的像素的背景成分，并且将所合成的背景成分提供给帧存储器623。
帧存储器623存储从分离处理块622提供的帧#n混合区域像素的前景成分和背景成分。
帧存储器623输出所存储的帧#n混合区域像素的前景成分和所存储的帧#n混合区域像素的背景成分。
通过利用表示特征量的混合比率α，可以完全分离包含在像素值中的前景成分和背景成分。
合成器603组合从分离部分601输出的帧#n混合区域像素的前景成分和属于前景区域的像素，从而生成前景成分图像。合成器605组合从分离部分601输出的帧#n混合区域像素的背景成分和属于背景区域的像素，从而生成背景成分图像。
图73A示出对应于图69帧#n的前景成分图像的例子。在分离前景和背景之前，最左像素以及左起第十四像素只包括背景成分，并且因此像素值设为0。
在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，背景成分设为0，并且保持前景成分。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，背景成分设为0，并且保持前景成分。左起第五到第十像素只包括前景成分，因此保持这些像素。
图73B示出对应于图69帧#n的背景成分图像的例子。在分离前景和背景之前，最左像素以及左起第十四像素只包括背景成分，并且因此保持这些背景成分。
在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，前景成分设为0，并且保持背景成分。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，前景成分设为0，并且保持背景成分。左起第五到第十像素只包括前景成分，因此像素值设为0。
下面将参照图74的流程图对由前景/背景分离器105执行的前景和背景分离处理进行描述。在步骤S601，分离部分601的帧存储器621获取输入图像，并且与前一帧#n-1和后一帧#n+1一起存储为其分离前景和背景的帧#n。
在步骤S602，分离部分601的分离处理块622获取从混合比率计算器104提供的区域信息。在步骤S603，分离部分601的分离处理块622获取从混合比率计算器104提供的混合比率α。
在步骤S604，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取背景成分。
在步骤S605，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取前景成分。
在步骤S606，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取背景成分。
在步骤S607，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取前景成分。
在步骤S608，合成器633组合在步骤S605的处理中提取的属于非覆盖背景区域的像素的前景成分与在步骤S607的处理中提取的属于覆盖背景区域的像素的前景成分。所合成的前景成分提供给合成器603。合成器603进一步组合通过开关602提供的属于前景区域的像素和从分离部分601提供的前景成分，从而生成前景成分图像。
在步骤S609，合成器634组合在步骤S604的处理中提取的属于非覆盖背景区域的像素的背景成分与在步骤S606的处理中提取的属于覆盖背景区域的像素的背景成分。所合成的背景成分提供给合成器605。合成器605进一步组合通过开关604提供的属于背景区域的像素和从分离部分601提供的背景成分，从而生成背景成分图像。
在步骤S610，合成器603输出前景成分图像。在步骤S611，合成器605输出背景成分图像。然后处理结束。
如上所述，前景/背景分离器105能够根据区域信息和混合比率α从输入图像中分离前景成分和背景成分，并且输出只包括前景成分的前景成分图像和只包括背景成分的背景成分图像。
图75是运动模糊调整单元106的结构示例方框图。从运动检测器102提供的运动向量及其位置信息提供给处理单元确定部分901和调整部分905。从区域指定单元103提供的区域信息提供给处理单元确定部分901。从前景/背景分离器105提供的前景成分图像提供给计算器904。
处理单元确定部分901将根据运动向量及其位置信息以及区域信息生成的处理单元与运动向量一起提供给模型形成部分902。
如图76的A所示，例如，由处理单元确定部分901生成的处理单元表示从对应于前景成分图像的覆盖背景区域的像素开始直至对应于非覆盖背景区域的像素的移动方向上所排列的连续像素，或者表示从对应于非覆盖背景区域的像素开始直至对应于覆盖背景区域的像素的移动方向上所排列的连续像素。处理单元由两个数据形成，这两个数据例如表示左上点(由处理单元指定的图像最左或最上像素位置)和右下点。
模型形成部分902根据运动向量和输入处理单元形成模型。更具体地说，例如，模型形成部分902可以根据包含在处理单元中的像素数目、时间方向上像素值的虚拟划分部分数目以及每个像素的前景成分数目，可以预先存储多个模型。模型形成部分902然后可以根据处理单元和时间方向上像素值的虚拟划分部分数目，选择例如图77所示指定像素值和前景成分之间相关的模型。
现在假定例如对应于处理单元的像素数目为12，并且快门时间内的移动量v为5。然后，模型形成部分902将虚拟划分部分设为5，并且选择由八种类型的前景成分形成的模型，从而最左像素包含一个前景成分，左起第二像素包含两个前景成分，左起第三像素包含三个前景成分，左起第四像素包含四个前景成分，左起第五像素包含五个前景成分，左起第六像素包含五个前景成分，左起第七像素包含五个前景成分，左起第八像素包含五个前景成分，左起第九像素包含四个前景成分，左起第十像素包含三个前景成分，左起第十一像素包含两个前景成分，并且左起第十二像素包含一个前景成分。
代替从预先存储的模型中选择一个模型，当提供运动向量和处理单元时，模型形成部分902可以根据运动向量和处理单元生成一个模型。
方程生成器903根据从模型形成部分902提供的模型生成方程。
下面将参照图77到79所示的前景成分模型，描述当前景成分数目为8，对应于处理单元的像素数目为12并且移动量v为5时由方程生成器903生成的方程。
当对应于快门时间/v的包含在前景成分图像中的前景成分为F01/v到F08/v时，可以用方程(78)到(89)表F01/v到F08/v与像素值C01到C12之间的关系。
C01＝F01/v                            (78)
C02＝F02/v+F01/v                      (79)
C03＝F03/v+F02/v+F01/v                (80)
C04＝F04/v+F03/v+F02/v+F01/v          (81)
C05＝F05/v+F04/v+F03/v+F02/v+F01/v    (82)
C06＝F06/v+F05/v+F04/v+F03/v+F02/v    (83)
C07＝F07/v+F06/v+F05/v+F04/v+F03/v    (84)
C08＝F08/v+F07/v+F06/v+F05/v+F04/v    (85)
C09＝F08/v+F07/v+F06/v+F05/v          (86)
C10＝F08/v+F07/v+F06/v                (87)
C11＝F08/v+F07/v                      (88)
C12＝F08/v                            (89)
通过考虑像素值C12和C11，像素值C12包含前景成分F08/v，如方程(90)所示，并且像素值C11包含前景成分F08/v与前景成分F07/v的乘积和。因此，可以通过方程(91)得到前景成分F07/v。
F08/v＝C12                            (90)
F07/v＝C11-C12                            (91)
类似地，通过考虑包含在像素值C10到C01中的前景成分，可以分别通过方程(92)到(97)得到前景成分F06/v到F01/v
F06/v＝C10-C11                            (92)
F05/v＝C09-C10                            (93)
F04/v＝C08-C09                            (94)
F03/v＝C07-C08+C12                        (95)
F02/v＝C06-C07+C11-C12                    (96)
F01/v＝C05-C06+C10-C11                    (97)
方程生成器903通过像素值之间的差值生成用于计算前景成分的方程，如方程(90)到(97)的例子所示。方程生成器903将所生成的方程提供给计算器904。
计算器904在从方程生成器903提供的方程中设置前景成分图像的像素值，从而根据其中设有像素值的方程获得前景成分。例如，当从方程生成器903提供方程(90)到(97)时，计算器904在方程(90)到(97)中设置像素值C05到C12。
计算器904根据其中设有像素值的方程计算前景成分。例如，计算器904根据其中设有像素值C05到C12的方程(90)到(97)的计算操作，计算如图78所示的前景成分F01/v到F08/v。计算器904将前景成分F01/v到F08/v提供给调整部分905。
调整部分905将从计算器904提供的前景成分与从处理单元确定部分901提供的包含在运动向量中的移动量v进行相乘，从而获取其中消除了运动模糊的前景像素值。例如，当从计算器904提供前景成分F01/v到F08/v时，调整部分905将每个前景成分F01/v到F08/v与移动量v，即5，进行相乘，从而获得其中消除了运动模糊的前景像素值F01到F08，如图79所示。
调整部分905将由如上所述算出的没有运动模糊的前景像素值组成的前景成分图像提供给运动模糊加法器906和选择器907。
运动模糊加法器906能够通过使用运动模糊调整量v′来调整运动模糊量，其中，运动模糊调整量v′不同于移动量v，例如，运动模糊调整量v′是移动量v值的一半，或者运动模糊调整量v′与移动量v值无关。例如，如图80所示，运动模糊加法器906将没有运动模糊的前景像素值Fi除以运动模糊调整量v′，从而获得前景成分Fi/v′。运动模糊加法器906然后计算前景成分Fi/v′之和，从而生成其中调整过运动模糊量的像素值。例如，当运动模糊调整量v′为3时，像素值C02设为(F01)/v′，像素值C03设为(F01+F02)/v′，像素值C04设为(F01+F02+F03)/v′，并且像素值C05设为(F02+F03+F04)/v′。
运动模糊加法器906将其中调整过运动模糊量的前景成分图像提供给选择器907。
选择器907根据反映用户选择的选择信号，选择从调整部分905提供的没有运动模糊的前景成分图像或者从运动模糊加法器906提供的其中调整过运动模糊量的前景成分图像，并且输出所选的前景成分图像。
如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′来调整运动模糊量。
下面将参照图81的流程图对由运动模糊调整单元106执行的用于调整前景运动模糊量的处理进行描述。
在步骤S901，运动模糊调整单元106的处理单元确定部分901根据运动向量和区域信息生成处理单元，并且将所生成的处理单元提供给模型形成部分902和调整部分905。
在步骤S902，运动模糊调整单元106的模型形成部分902根据移动量v和处理单元，选择或生成模型。在步骤S903，方程生成器903根据所选择或所生成的模型，生成用于通过前景成分图像的像素值之间的差值来计算前景成分的方程。
在步骤S904，计算器904在所生成的方程中设置前景成分图像的像素值，并且根据其中设置像素值的方程，通过使用像素值之间的差值，提取前景成分。在步骤S905，计算器904确定是否已提取对应于处理单元的所有前景成分。如果确定尚未提取对应于处理单元的所有前景成分，过程返回到步骤S904，并且重复前景成分提取处理。
如果在步骤S905确定已提取对应于处理单元的所有前景成分，过程进入步骤S906。在步骤S906，调整部分905根据移动量v调整从计算器904提供的每个前景成分F01/v到F08/v，从而获得其中消除了运动模糊的前景像素值F01/v到F08/v。
在步骤S907，运动模糊加法器906计算其中调整过运动模糊量的前景像素值，并且选择器907选择没有运动模糊的图像或者其中调整过运动模糊量的图像，并且输出所选的图像。然后处理完成。
如上所述，如图75所示构造的运动模糊调整单元106能够调整包含运动模糊的前景图像的运动模糊。
用于部分消除运动模糊的已知技术如Wiener滤波器在理想状态下使用时是有效的，但是对于经过量化和包含噪声的实际图像是不够的。相反，经过证实，如图75所示构造的运动模糊调整单元106对于经过量化和包含噪声的实际图像是足够有效的。因此，以高精确度消除运动模糊是可能的。
图82是信号处理器12的另一功能结构方框图。
用相同的标号表示类似于图4所示的单元，并且因此省略其说明。
区域指定单元103将区域信息提供给混合比率计算器104和合成器1001。
混合比率计算器104将混合比率α提供给前景/背景分离器105和合成器1001。
前景/背景分离器105将前景成分图像提供给合成器1001。
合成器1001根据从混合比率计算器104提供的混合比率α和从区域指定单元103提供的区域信息，组合特定背景图像与从前景/背景分离器105提供的前景成分图像，并且输出其中组合特定背景图像与前景成分图像的合成图像。
图83示出合成器1001的结构。背景成分生成器1021根据混合比率α和特定背景图像生成背景成分图像，并且将背景成分图像提供给混合区域图像合成部分1022。
混合区域图像合成部分1022组合从背景成分生成器1021提供的背景成分图像与前景成分图像，从而生成混合区域合成图像，并且将所生成的混合区域合成图像提供给图像合成部分1023。
图像合成部分1023根据区域信息组合前景成分图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及特定背景图像，从而生成合成图像，并且对它进行输出。
如上所述，合成器1001能够组合前景成分图像和特定背景图像。
通过根据作为特征量的混合比率α组合前景成分图像和特定背景图像而获得的图像与通过简单组合像素而获得的图像相比，看上去更自然。
图84是用于调整运动模糊量的信号处理器12的另一功能结构方框图。图4所示的信号处理器12顺序执行区域指定操作和混合比率α计算操作。与之相对，图84所示的信号处理器12同时执行区域指定操作和混合比率α计算操作。
用相同的标号表示类似于图4的方框图中的功能单元，并且因此省略其说明。
输入图像提供给混合比率计算器1101、前景/背景分离器1102、区域指定单元103和对象提取部分101。
混合比率计算器1101根据输入图像计算假定包含在输入图像中的每个像素属于覆盖背景区域时的估计混合比率，并且计算假定包含在输入图像中的每个像素属于非覆盖背景区域时的估计混合比率，然后将如上所述算出的估计混合比率提供给前景/背景分离器1102。
图85是混合比率计算器1101的结构示例方框图。
图85所示的估计混合比率处理器401与图49所示的估计混合比率处理器401相同。图85所示的估计混合比率处理器402与图49所示的估计混合比率处理器402相同。
估计混合比率处理器401根据输入图像通过对应于覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出所算出的估计混合比率。
估计混合比率处理器402根据输入图像通过对应于非覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出所算出的估计混合比率。
前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率、从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给运动模糊调整单元106和选择器107。
图86是前景/背景分离器1102的结构示例方框图。
用相同的标号表示类似于图67所示的前景/背景分离器105的单元，并且因此省略其说明。
选择器1121根据从区域指定单元103提供的区域信息，选择从混合比率计算器1101提供的假定像素属于覆盖背景区域时算出的估计混合比率，或者从混合比率计算器1101提供的假定像素属于非覆盖背景区域时算出的估计混合比率，并且将所选估计混合比率作为混合比率α提供给分离部分601。
分离部分601根据从选择器1121提供的混合比率α以及区域信息，从属于混合区域的像素的像素值中提取前景成分和背景成分，并且将所提取的前景成分提供给合成器603，并且还将背景成分提供给合成器605。
分离部分601可以类似于图72的对应部分进行构造。
合成器603合成前景成分图像，并且对它进行输出。合成器605合成背景成分图像，并且对它进行输出。
图84所示的运动模糊调整单元106可以类似于图4的对应部分进行构造。运动模糊调整单元106根据区域信息和运动向量，调整包含在从前景/背景分离器1102提供的前景成分图像中的运动模糊量，并且输出其中调整过运动模糊量的前景成分图像。
图84所示的选择器107根据例如反映用户选择的选择信号，选择从前景/背景分离器1102提供的前景成分图像或者从运动模糊调整单元106提供的其中调整过运动模糊量的前景成分图像，并且输出所选前景成分图像。
如上所述，图84所示的信号处理器12能够调整包含在对应于输入图像前景对象的图像中的运动模糊量，并且输出结果前景对象图像。如同第一实施例，图84所示的信号处理器12能够计算作为嵌入信息的混合比率α，并且输出所算出的混合比率α。
本实施例在上面是通过将混合比率α设为包含在像素值中的背景成分比率而进行讨论的。然而，混合比率α可以设为包含在像素值中的前景成分比率。
本实施例在上面是通过将前景对象的移动方向设为从左到右的方向而进行讨论的。然而，移动方向不限于上述方向。
在上面描述中，具有三维空间和时间轴信息的真实空间图像通过使用视频摄像机投影到具有二维空间和时间轴信息的时空中。然而，本发明不限于该例子，并且可以应用于下面情况。当一维空间中更大量的第一信息投影到二维空间中更小量的第二信息时，可以校正因投影而产生的失真，提取重要信息或者合成更自然的图像。
传感器11不限于CCD，并且可以是其它类型的传感器，例如固态成像器件，例如CMOS(Complementary Metal Oxide Semiconductor，互补型金属氧化物半导体)、BBD(Bucket Brigade Device，桶组器件)、CID(ChargeInjection Device，电荷注入器件)或者CPD(Charge Priming Device，电荷启动器件)。另外，传感器不一定是其中以矩阵排列检测器件的传感器，并且可以是其中在一条线上排列检测器件的传感器。
其中记录有本发明信号处理执行程序的记录介质可以由其中记录程序的包介质形成，该包介质采用与计算机分开的方式分发给用户，以提供该程序，如图3所示，例如磁盘51(包括软盘)、光盘52(CD-ROM(compact discread-only memory，致密盘只读存储器)和DVD(Digital Versatile Disk，数字多功能盘))、光磁盘53(包括MD(Mini-Disk，微型盘))或者半导体存储器54。该记录介质还可以由其中存储有该程序的ROM 22或包含在存储单元28中的硬盘形成，这种记录介质以预先存储在计算机中的方式提供给用户。
可以根据在本说明书中所述的次序，按时间顺序执行形成记录在记录介质中的程序的步骤。然而，不要求一定以时间序列方式执行这些步骤，并且它们可以同时或单独执行。
工业应用
根据第一发明，可以调整包含在模糊图像中的检测信号中的运动模糊量。
根据第二发明，可以调整运动模糊量。

Claims (9)

1.一种图像处理设备，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的成像器件来获得的，成像器件中的每个像素均具有时间积累功能，所述图像处理设备包括：
处理单元确定装置，用于根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；
联立方程生成装置，用于通过设置根据处理单元确定的处理单元内像素的像素值，并且设置通过用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及
计算装置，用于通过求解联立方程，计算其中消除了运动模糊量的前景对象成分。
2.如权利要求1所述的图像处理设备，其中，通过利用下面特性：从来自所述直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，所述计算装置从与位于该端的像素对应的关系表达式，顺序求解联立方程，从而计算其中消除了运动模糊量的前景对象成分。
3.如权利要求1所述的图像处理设备，其中，所述联立方程生成装置根据按照前景对象移动量的划分部分数目，生成联立方程。
4.一种图像处理方法，用于处理由预定数目的像素数据形成的图像数据，其中，所述图像数据是通过包括预定数目像素的成像器件来获得的，成像器件中的每个像素均具有时间积累功能，所述图像处理方法包括：
处理单元确定步骤，根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；
联立方程生成步骤，通过设置根据处理单元确定的处理单元内像素的像素值，并且设置通过用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及
计算步骤，通过求解联立方程，计算其中消除了运动模糊量的前景对象成分。
5.如权利要求4所述的图像处理方法，其中，在所述计算步骤中，通过利用下面特性：从来自所述直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，从与位于该端的像素对应的关系表达式，求解联立方程，从而计算其中消除了运动模糊量的前景对象成分。
6.如权利要求4所述的图像处理方法，其中，在所述联立方程生成步骤中，根据按照前景对象移动量的划分部分数目，生成联立方程。
7.一种成像设备，包括：
成像装置，用于输出主体图像作为由预定数目的像素数据形成的图像数据，主体图像由包括预定数目像素的成像器件进行拍摄，成像器件中的每个像素均具有时间积累功能；
处理单元确定装置，用于根据图像数据和表示前景区域、背景区域和混合区域的区域信息，确定处理单元，其中，前景区域包括图像数据中形成前景对象的前景对象成分，背景区域包括图像数据中形成背景对象的背景对象成分，并且混合区域中混合有图像数据中的前景对象成分和背景对象成分，混合区域包括在前景对象移动方向的起始端形成的覆盖背景区域，以及在前景对象移动方向的结束端形成的非覆盖背景区域，处理单元由位于与前景对象的移动方向一致的至少一条直线上并且范围从相对于前景区域的覆盖背景区域外侧到非覆盖背景区域外侧的像素数据形成；
联立方程生成装置，用于通过设置根据处理单元确定的处理单元内像素的像素值，并且设置通过用设定数目的划分部分对混合区域中的前景对象成分进行划分而获得的划分已知值，生成由多个关系表达式组成的联立方程；以及
计算装置，用于通过求解联立方程，计算其中消除了运动模糊量的前景对象成分。
8.如权利要求7所述的成像设备，其中，通过利用下面特性：从来自所述直线上混合区域一端的包含在第二像素中的前景对象成分减去来自混合区域该端的包含在第一像素中的前景对象成分，从而计算对应于第二像素的单一前景对象成分，其中，第二像素在位置上相邻于第一像素，所述计算装置根据与位于该端的像素对应的关系表达式，顺序求解联立方程，从而计算其中消除了运动模糊量的前景对象成分。
9.如权利要求7所述的成像设备，其中，所述联立方程生成装置根据按照前景对象移动量的划分部分数目，生成联立方程。
CNB028005821A 2001-02-05 2002-02-05 图像处理设备 Expired - Fee Related CN1269075C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28223/01 2001-02-05
JP28223/2001 2001-02-05
JP2001028223A JP4106874B2 (ja) 2001-02-05 2001-02-05 画像処理装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN1459078A CN1459078A (zh) 2003-11-26
CN1269075C true CN1269075C (zh) 2006-08-09

Family

ID=18892762

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028005821A Expired - Fee Related CN1269075C (zh) 2001-02-05 2002-02-05 图像处理设备

Country Status (7)

Country Link
US (1) US7024050B2 (zh)
EP (1) EP1361540B1 (zh)
JP (1) JP4106874B2 (zh)
KR (1) KR100799011B1 (zh)
CN (1) CN1269075C (zh)
DE (1) DE60219141T2 (zh)
WO (1) WO2002063561A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432274B2 (ja) * 2001-04-12 2010-03-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2002103636A1 (fr) * 2001-06-15 2002-12-27 Sony Corporation Dispositif et procede de traitement d'images et dispositif de saisie d'image
JP4596216B2 (ja) * 2001-06-20 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1798689B1 (en) * 2001-06-26 2008-12-03 Sony Corporation Image processing apparatus and method, and image-capturing apparatus
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4196274B2 (ja) * 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
US7486991B2 (en) * 2003-12-24 2009-02-03 Cardiac Pacemakers, Inc. Baroreflex modulation to gradually decrease blood pressure
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
KR101161706B1 (ko) * 2004-12-21 2012-07-03 소니 가부시끼가이샤 화상 처리 장치와 학습 장치와 계수 생성 장치 및 방법
US7616203B1 (en) * 2006-01-20 2009-11-10 Adobe Systems Incorporated Assigning attributes to regions across frames
US20080099662A1 (en) * 2006-10-31 2008-05-01 Muth Global Visions, Llc Method for adjusting an object detection apparatus
TWI431608B (zh) * 2007-09-12 2014-03-21 Quanta Comp Inc 影像處理方法及電腦可讀取媒介
JP2011091533A (ja) * 2009-10-21 2011-05-06 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2013048717A (ja) 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US9892510B2 (en) 2012-10-24 2018-02-13 Sony Corporation Method and apparatus for automatic cancer diagnosis using percentage scoring
CN109636731B (zh) * 2018-10-23 2020-11-13 惠州Tcl移动通信有限公司 一种图像拖影的消除方法、电子设备及存储介质
US11606500B2 (en) 2018-12-06 2023-03-14 Sony Semiconductor Solutions Corporation Reception apparatus and transmission apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
JPH06501358A (ja) 1990-09-20 1994-02-10 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
JPH04352289A (ja) * 1991-05-30 1992-12-07 Mitsubishi Electric Corp 映像信号処理装置
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
US5831627A (en) * 1996-06-27 1998-11-03 R/Greenberg Associates System and method for providing improved graphics generation performance using memory lookup
KR100224752B1 (ko) * 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video

Also Published As

Publication number Publication date
KR20020089432A (ko) 2002-11-29
CN1459078A (zh) 2003-11-26
DE60219141D1 (de) 2007-05-10
EP1361540A1 (en) 2003-11-12
JP4106874B2 (ja) 2008-06-25
US7024050B2 (en) 2006-04-04
EP1361540B1 (en) 2007-03-28
JP2002230544A (ja) 2002-08-16
WO2002063561A1 (fr) 2002-08-15
DE60219141T2 (de) 2008-01-03
KR100799011B1 (ko) 2008-01-28
US20030174899A1 (en) 2003-09-18
EP1361540A4 (en) 2005-12-21

Similar Documents

Publication Publication Date Title
CN1293517C (zh) 图像处理装置及方法、图像拾取装置
CN1269075C (zh) 图像处理设备
CN1313974C (zh) 图像处理设备和方法,以及图像捕获设备
CN1248162C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1237488C (zh) 图像处理设备和方法以及图像拾取设备
CN1251148C (zh) 图像处理设备
CN1465196A (zh) 图像处理设备和方法、以及图像拍摄设备
CN1248163C (zh) 图像处理设备和方法
CN1241147C (zh) 图像处理设备和方法,以及图像拾取设备
CN1248164C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1267856C (zh) 图像处理设备
CN1279489C (zh) 信号处理方法与设备
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN1251149C (zh) 通信装置和方法
CN1267857C (zh) 图像处理设备和方法以及图像获取设备
CN1969297A (zh) 图像处理设备和方法及图像拍摄设备
CN1269080C (zh) 图像处理设备和方法以及图像捕获设备
CN1754384A (zh) 图像处理装置和方法、学习装置和方法、记录介质以及程序
CN1313975C (zh) 图像处理装置和方法、以及图像捕获装置
CN1324531C (zh) 图像处理装置和图像处理方法
CN1672402A (zh) 图像处理设备和方法以及图像捕获设备
CN1248161C (zh) 图像处理设备
CN1461555A (zh) 图像处理装置及其方法和摄像装置
CN1249630C (zh) 图像处理装置和方法及摄像装置
CN1180432C (zh) 时间码运算装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060809

Termination date: 20140205