CN101753838B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供了图像处理装置、图像处理方法和程序。该图像处理装置包括：动体检测单元，用于检测运动图像中包含的动体；动体区域设定单元，用于在从动体检测单元检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及波动去除处理单元，用于对除了由动体区域设定单元设定的动体区域之外的区域执行波动去除处理。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置、图像处理方法和程序。 

背景技术

当利用视频相机等等来拍摄运动图像时，由于空气的波动(fluctuation)的影响，在所拍摄的图像中可能发生波动。这种空气的波动被认为发生在光的折射率由于温度差异等等而局部变化时。当利用望远镜头来拍摄远景时，因为从对象到视频相机的距离较大，所以光路变得较长。从而，在使用望远镜头时，所拍摄的图像可能很受空气波动的影响，并且在所拍摄的图像中可能出现明显的波动。具体而言，在受到波动影响的图像中，对象的原本是直线状的部分可能看起来是波浪状的，或者可能包含看起来扭曲的部分。 

这种波动的影响表现为下述现象：即，构成图像的每个像素的坐标位置在局部区域中变化。从而，通过对图像中的每个像素的坐标位置进行校正，可以去除波动的影响。例如，通过结合诸如平均化处理和中值处理之类的滤波处理，可以很容易地去除波动对静止对象的影响。然而，如果对运动对象执行滤波处理，则非但不会去除波动的影响，反而会使图像劣化。针对这种问题，日本专利申请早期公开No.2008-160733公开了一种利用动体(dynamic body)检测技术来检测运动对象并且仅对静止对象执行滤波处理的技术。通过使用这种技术，对于运动对象的图像区域将不会执行滤波处理，从而可以防止由于这种滤波处理而造成的图像劣化。 

发明内容

日本专利申请早期公开No.2008-160733中公开的技术是基于能够通过动体检测处理来正确检测运动对象这个假设的。然而，运动对象可能实 际上并不会被动体检测处理正确地检测为动体。因此，可能会对运动对象执行滤波处理，从而运动对象的一部分可能消失或者图像质量可能仅在相应部分劣化。 

本发明是考虑到上述问题而作出的，并且希望提供一种新颖且改进的图像处理装置、图像处理方法和程序，即使在运动对象的一部分未被正确识别为动体的情况下，该图像处理装置、图像处理方法和程序也能够避免图像质量由于波动去除处理而劣化。 

根据本发明的一个实施例，提供了一种图像处理装置，包括：动体检测单元，用于检测运动图像中包含的动体；动体区域设定单元，用于在从动体检测单元检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及波动去除处理单元，用于对除了由动体区域设定单元设定的动体区域之外的区域执行波动去除处理。 

波动去除处理单元可对由动体区域设定单元设定的动体区域的一部分或全部执行其他波动去除处理，在该其他波动去除处理中，动体区域中包含的动体的视频不会消失。 

图像处理装置还可包括超分辨率处理单元，用于对由动体区域设定单元设定的动体区域之中未被波动去除处理单元执行其他波动去除处理的动体区域的一部分或全部执行超分辨率处理。 

波动去除处理单元对运动图像的除了动体区域之外的全部区域执行的波动去除处理是对运动图像的每个帧中包含的像素值的平均化处理或中值处理。另外，对动体区域执行的波动去除处理是基于非刚性体配准(non-rigid body registration)的波动去除处理。 

根据本发明的另一实施例，提供了一种图像处理方法，包括以下步骤：检测运动图像中包含的动体；在从在动体检测步骤中检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及对运动图像的除了在动体区域设定步骤中设定的动体区域之外的全部区域执行波动去除处理。 

根据本发明的另一实施例，提供了一种用于使计算机执行以下功能的程序：动体检测功能，用于检测运动图像中包含的动体；动体区域设定功 能，用于在从动体检测功能检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及波动去除处理功能，用于对运动图像的除了由动体区域设定功能设定的动体区域之外的全部区域执行波动去除处理。 

根据上述的本发明实施例，即使运动对象的一部分未被正确识别为动体，也可以避免由于波动去除处理而使图像质量劣化。 

附图说明

图1是描述当对运动对象执行滤波处理时产生的影响的说明图； 

图2是示出根据本发明一个实施例的图像处理装置的功能配置示例的说明图； 

图3是示出根据该实施例的高分辨率处理方法的一个示例的说明图； 

图4是示出根据本实施例的图像处理的整体流程的说明图； 

图5是示出根据本实施例的图像处理的流程的说明图； 

图6是示出根据该实施例的图像处理方法的示例的说明图；并且 

图7是示出能够实现根据该实施例的图像处理方法的信息处理装置的硬件配置示例的说明图。 

具体实施方式

下面，将参考附图详细描述本发明的优选实施例。注意，在说明书和附图中，具有基本相同的功能和结构的结构要素用相同的标号来指示，并且对这些结构要素的重复说明被省略。 

[关于描述流程] 

将简要描述与下面描述的本发明实施例有关的描述流程。首先，参考图1，将简要描述通过基于平均化处理、中值处理等等来执行波动去除处理而产生的问题。然后将参考图2来描述根据本发明一个实施例的图像处理装置100的功能配置。 

将参考图3来示意性地描述超分辨率处理，超分辨率处理是根据本实施例的高分辨率处理的一个示例。将参考图4和图5来描述根据该实施例 的图像处理的流程。将参考图6来描述将根据该实施例的图像处理应用到区块划分区域的方法。将参考图7来简要描述能够实现根据该实施例的图像处理装置100的功能的信息处理装置的硬件配置示例。最后，将总结该实施例的技术思想，并且将简要描述从这种技术思想获得的效果。 

(描述项目) 

1：问题整理(关于通过滤波进行的波动去除处理) 

2：实施例 

2-1：关于图像处理装置100的功能配置 

2-2：关于非刚性体配准处理技术 

2-3：关于超分辨率处理技术 

2-4：关于图像处理的流程 

2-5：关于通过区块划分来减小计算负担的方法 

2-6：关于图像处理装置100的硬件配置示例 

2-7：总结 

<1：问题整理> 

首先，在详细描述根据本发明一个实施例的技术之前，将参考图1来简要描述该实施例要解决的问题。 

图1示出了基于平均化处理的波动去除方法。如先前已经描述的，当利用视频相机等等来对运动图像成像时，由于空气波动的影响，波动的影响有时出现在所拍摄的图像中。通过对所拍摄的图像执行诸如平均化处理和中值处理之类的滤波处理，可以去除这种波动的影响。然而，如果对包含运动对象(以下称之为动体)的图像区域执行滤波处理，则动体的一部分可能消失，或者在相应部分图像质量可能劣化(残留图像等等)。 

例如，当拍摄运动的汽车时，在构成运动图像的多个所拍摄图像(以下称之为时间系列图像)中，该汽车的位置每秒都在变化。因此，如果针对这些时间系列图像对包含该汽车的图像区域的像素值取平均，则平均值是就汽车运动后记录的背景图像的像素值计算出的，从而汽车的轮廓或颜色因此而减弱。即，由于平均化滤波处理，汽车从所拍摄的图像中消失了。对于中值处理也类似地发生这种现象。因此开发了一种仅对不包含动 体的图像区域执行滤波处理的技术。 

该技术从所拍摄的图像中检测动体，并且对除了检测到动体的区域之外的图像区域执行滤波处理。然而，如果没有正确检测到动体，则只有未被检测到的动体部分消失，或者图像质量劣化。动体检测的这种失败往往发生在包含卡车的后部等等的图像区域中。卡车的后部通常在运动方向上是较长的并且只有一种颜色或者颜色单调。动体检测处理计算在时间系列图像的多个所拍摄图像之间每个像素或每个图像区域的像素值的差异，并且如果差异值大于预定阈值，则将该像素或图像区域确定为包含动体的像素或图像区域。 

因此，如果在要经历差异计算的所拍摄图像的像素或图像区域中像素值没有改变，则该像素或图像区域可能不被确定为动体，虽然它实际上是动体。图1作为示例示出了卡车的后部。在图1中，示意性地示出了时间系列图像P1至P6以及在执行平均化滤波处理之后的平均图像。时间系列图像P1至P6中包括的所拍摄图像P1、P2被分别示出。所拍摄图像P1比所拍摄图像P2更早被记录。 

首先，注意所拍摄图像P1、P2。动体检测处理关注某个像素或图像区域(以下称之为参考区域)，并且判定在多个所拍摄图像之间参考区域的像素值的差异是否大于或等于预定的值，如上所述。例如，将关注图1所示的参考区域R1、R1’。所拍摄图像P1的参考区域R1对应于所拍摄图像P2的参考区域R1’。在所拍摄图像P1中，参考区域R1包含卡车的司机座位部分。然而，所拍摄图像P2的参考区域R1’不包含卡车的司机座位部分，因为卡车在记录所拍摄图像P2的时刻正在运动。从而，在参考区域R1的像素值和参考区域R1’的像素值之间产生较大差异。结果，参考区域R1、R1’中包含的对象被确定为动体。 

然后关注图1所示的参考区域R2、R2’。所拍摄图像P1的参考区域R2对应于所拍摄图像P2的参考区域R2’。在所拍摄图像P1中，参考区域R2包含卡车的后部。在记录所拍摄图像P2的时刻卡车正在运动，如上所述。然而，所拍摄图像P2的参考区域R2’仍包含卡车的后部。如上所述，卡车的后部经常具有单调的颜色。从而，即使拍摄的是实际不同的部分， 参考区域R2的像素值和参考区域R2’的像素值之间也不产生大的差异。结果，参考区域R2、R2’中包含的对象被确定为非动体。 

现在将关注图1所示的平均图像。卡车的司机座位部分等等被确定为动体，而后部被确定为非动体。从而，如果对非动体部分执行平均化滤波处理，则卡车的后部从平均图像中消失了。因此，虽然它实际是动体，但在动体检测处理中却可能不被确定为动体。结果，在滤波处理之后相应部分消失了或者图像质量劣化，从而所拍摄的图像变得不自然且奇怪。在下面要描述的实施例中，提出了一种波动去除方法，其中，即使动体的一部分被确定为非动体，该部分动体也不会消失或者图像质量不会劣化。 

<2：实施例> 

将描述本发明的一个实施例。本实施例在检测到动体时在预定的时间期间将包含该动体的图像区域(以下称之为动体区域)假定为动体区域，并且即使在该动体已运动之后也防止对相应部分执行波动去除处理。 

[2-1：关于图像处理装置100的功能配置] 

首先，将参考图2来描述根据本实施例的图像处理装置100的功能配置。图2是示出根据本实施例的图像处理装置100的功能配置示例的说明图。 

如图2所示，图像处理装置100主要包括图像输入单元102、动体检测单元104、动体区域设定单元106、定时器108、操作输入单元110、第一波动去除单元112、第二波动去除单元114以及高图像质量处理单元116。图像处理装置100还可包括用于对对象的图像成像的成像单元(未示出)。 

首先，图像输入单元102被输入以所拍摄的图像。如果输入运动图像，则图像输入单元102被输入以由多个所拍摄图像构成的时间系列图像。输入到图像输入单元102中的所拍摄图像被输入到动体检测单元104和第一波动去除单元112。当所拍摄图像被从图像输入单元102输入到动体检测单元104时，动体检测单元104基于输入的所拍摄图像来执行动体检测处理。 

例如，动体检测单元104对于时间系列图像的所拍摄图像的每个图像 区域计算在之前时间和之后时间拍摄的所拍摄图像的差分像素值。动体检测单元104还判定计算出的差分像素值是否大于预定的阈值，并且将大于预定阈值的图像区域确定为动体。在以下描述中，被动体检测单元104确定为动体的图像区域有时被称为动体区域。每个图像区域可以以像素为单位来设定，或者可以以像素区块为单位来设定，像素区块是由预定数目的像素构成的。动体检测单元104为动体检测而参考的所拍摄图像的数目并不限于两个，也可以是三个或更多个。另外，可以结合使用下述动体检测方法：即，设定要参考足够大数目的所拍摄图像，以使得诸如树木或波浪之类的按恒定周期波动的对象不会被检测为动体。 

由动体检测单元104检测到的动体区域的信息被输入到动体区域设定单元106。由动体检测单元104检测到的动体区域不包括以卡车后部等等为例的单调颜色的对象。因此，要设定新的动体区域，以使得动体区域包括含有这种对象的图像区域。动体区域设定单元106从而基于从动体检测单元104输入的动体区域的信息来新设定动体区域和非动体区域。动体区域设定单元106并不新检测未被动体检测单元104检测到的动体部分，而是在预定时间期间将动体检测单元104检测到的动体区域维持为动体区域。 

参考图1的示例，例如，所拍摄图像P1的参考区域R1被动体检测单元104确定为动体区域。动体区域设定单元106在预定的时间期间将与参考区域R1相对应的图像区域假定为动体区域。如上所述，所拍摄图像P1的参考区域R2因为与所拍摄图像P2的参考区域R2’的差异较小而被动体检测单元104确定为非动体区域。然而，与参考区域R1相对应的图像区域(参考区域R1’)被动体区域设定单元106在预定时间期间假定为动体区域。即，与参考区域R1’相对应的卡车后部的前侧被设定为动体区域。例如，通过将卡车的整个后部经过与参考区域R1相对应的图像区域所花的时间设定为该预定时间，从而将卡车的整个后部设定为动体区域。 

该预定时间是根据要拍摄的对象等等来适当设定的。该预定时间由定时器108设定。定时器108响应于从动体区域设定单元106接收到的开始计数的指令开始计时，并且在已经过该预定时间的时刻告知动体区域设定 单元106已经过了该预定时间。动体区域设定单元106使用定时器108，来将与该动体区域相对应的图像区域设定为直到已经过了预定时间的时刻为止(以包含由动体检测单元104检测到的动体区域的所拍摄图像作为基准)的所拍摄图像中的动体区域。即，与成为基准的所拍摄图像的动体区域相对应的图像区域被设定为时间系列图像中在该所拍摄图像之后的预定时间内拍摄的所拍摄图像的动体区域。未被动体区域设定单元106设定为动体区域的图像区域被设定为非动体区域。 

由动体区域设定单元106设定的非动体区域的信息被输入到第一波动去除单元112。由动体区域设定单元106设定的动体区域的信息被输入到第二波动去除单元114。另外，如果利用操作输入单元110指定了图像区域，则动体区域设定单元106将该图像区域设定为指定区域，并将指定区域的信息输入到高图像质量处理单元116。指定区域将在下文中描述。 

如上所述，第一波动去除单元112被输入以输入到图像输入单元102的所拍摄图像，以及由动体区域设定单元106设定的非动体区域的信息。第一波动去除单元112基于从动体区域设定单元106输入的非动体区域的信息，对从图像输入单元102输入的所拍摄图像的非动体区域执行波动去除处理。第一波动去除单元112对所拍摄图像执行的波动去除处理例如是诸如平均化处理和中值处理之类的滤波处理(以下称之为第一波动去除处理)。如前所述，如果在动体检测处理中确定的非动体区域包含动体，则会对这种动体执行第一波动去除处理，从而该动体可能从输出图像中消失或者动体区域的图像可能劣化。 

然而，在本实施例中，动体的一部分(该部分实际是动体但在动体检测处理中未被检测到)被动体区域设定单元106进行的处理从非动体区域中排除。因此，不会对在动体检测单元104的动体检测处理中确定的非动体区域中的那部分动体执行第一波动去除处理，从而动体的该部分不会从输出图像中消失。可以认识到，在动体区域设定单元106的处理中未被从非动体区域中排除的那部分动体有时会从第一波动去除处理的输出图像中消失或者图像有时会劣化。然而，在大多数情况下，通过本实施例的技术获得了足够的效果。 

被第一波动去除单元112执行了第一波动去除处理的所拍摄图像(以下称之为第一处理后图像)被输入到第二波动去除单元114。第二波动去除单元114还被输入以来自动体区域设定单元106的动体区域的信息。如上所述，第一处理后图像仅在非动体区域被执行了第一波动去除处理。因此，第二波动去除单元114对第一处理后图像的动体区域执行不会使动体消失或者动体区域中的图像劣化的波动去除处理(以下称之为第二波动去除处理)。被称为非刚性体配准的图像处理技术被用于第二波动去除处理。非刚性体配准处理技术将在下文中描述。第二波动去除单元114可被配置为对通过操作输入单元110指定的动体区域执行第二波动去除处理。 

被第二波动去除单元114执行了第二波动去除处理的所拍摄图像(以下称之为第二处理后图像)被输入到高图像质量处理单元116。在第一波动去除单元112或第二波动去除单元114执行了波动去除处理之后，第一处理后图像或第二处理后图像可被显示在显示屏幕(未示出)上。根据这种配置，用户可以在参考显示屏幕上显示的第一处理后图像或第二处理后图像的同时对操作输入单元110进行操作并且对指定区域进行指定。高图像质量处理单元116对第二处理后图像中的图像区域之中的通过操作输入单元110指定的指定区域执行高图像质量处理。 

为了实现高图像质量处理，通常需要非常高的计算处理能力。因此，图像处理装置100被配置为仅对指定区域执行高图像质量处理，而不是对所拍摄图像中的整个图像区域执行高图像质量处理。可以认识到，如果图像处理装置100是利用具有足够高的计算处理能力的硬件实现的，则可以对所拍摄图像的整个图像区域执行高图像质量处理。超分辨率处理技术等等被用于高图像质量处理。超分辨率技术将在下文中描述。被高图像质量处理单元116执行了高图像质量处理的所拍摄图像(以下称之为处理后图像)随后被输出到图像处理装置100的外部。 

以上已经描述了根据本实施例的图像处理装置100的功能配置。这里描述的配置是一个示例，也可以采用省略了第二波动去除单元114和高图像质量处理单元116的变体。如果省略第二波动去除单元114，则从第一波动去除单元112输出的第一处理后图像被输入到高图像质量处理单元 116。如果省略高图像质量处理单元116，则操作输入单元110也被省略，并且从第二波动去除单元114输出的第二处理后图像被作为处理后图像输出。另外，如果第二波动去除单元114和高图像质量处理单元116都被省略，则从第一波动去除单元112输出的第一处理后图像被作为处理后图像输出到外部。 

与第一波动去除处理有关的图像处理的流程可以被如下修改。在对图2的描述中，示出了这样的流程，即，动体区域设定单元106预先设定动体区域和非动体区域，并且第一波动去除单元112基于设定内容来执行第一波动去除处理。然而，第一波动去除单元112可对由动体检测单元104检测到的非动体区域预先执行第一波动去除处理，并且动体区域设定单元106可适当地选择第一处理后图像的像素值和原始图像的像素值来生成输出图像(处理后图像)。 

在此情况下，第一波动去除单元112对动体检测单元104检测到的动体区域执行第一波动去除处理，而不对动体区域设定单元106重设的动体区域执行第一波动去除处理。动体区域设定单元106不仅利用定时器108重设动体区域和非动体区域，还利用与重设的非动体区域相对应的第一处理后图像的像素和与重设的动体区域相对应的原始图像来生成处理后图像。因此，当执行这种修改时，由动体检测单元104检测到的非动体区域的信息被输入到第一波动去除单元112。动体区域设定单元106被输入以从第一波动去除单元112输出的、基于动体检测单元104的检测结果的第一处理后图像，以及输入到图像输入单元102中的原始图像。由动体区域设定单元106生成的第一处理后图像被输入到第二波动去除单元114。在这种修改中，第二波动去除单元114和高图像质量处理单元116的功能不被修改。 

如上所述，在维持本实施例的技术特征的同时，可以适当改变图像处理装置100的配置。本实施例的技术特征在于，对于从动体检测单元104检测到动体的帧(所拍摄图像)到经历了预定时间之后的帧之间包括的所有帧如上所述地重设动体区域。通过这种重设，可以防止由于波动去除处理造成动体从处理后图像中消失和动体部分图像劣化。 

[2-2：关于非刚性体配准处理技术] 

将简要描述第二波动去除单元114执行的非刚性体配准处理。 

首先，图像处理领域使用的配准常指的是当两个图像重叠时估计图像匹配的转换参数的方法。在假定拍摄对象是非刚性体的情况下估计转换参数的方法有时被特别称为非刚性体配准。在非刚性体配准处理中，把按预定间隔分割图像空间的控制点设定为一参数，并且在改变该参数的同时确定一预定的配准评估函数变得最大的控制点位置。另外，基于所确定的控制点位置来估计图像空间的变形向量场(deformation vector field)。 

包含用于评估要比较的图像的相似度的评估成分的函数被用于该配准评估函数。由该配准评估函数评估的相似度包括熵相关系数、Pearson的积矩相关系数，等等。相似度是基于由要比较的每个图像的控制点构成的多维向量的同时分布来计算的。图像空间的变形向量场由N个控制点定义的N-1条Bezier曲线来表达。 

因此，非刚性体配准指的是估计作为变形参数的图像空间的变形向量场的方法。上述描述很明显是示意性的，而实际上开发了包括许多发展的变形的非刚性体配准处理技术。可以认识到，包括这种发展的变形的各种非刚性体配准处理技术可用于本实施例的第二波动去除单元114中。 

[2-3：关于超分辨率处理技术] 

将参考图3来简要描述作为根据本实施例的高图像质量处理的示例的超分辨率处理。图3是示意性地示出超分辨率处理的内容的说明图。 

如图3所示，超分辨率处理技术利用相对低分辨率的真实图像(例如，P10至P14)来计算相对高分辨率的高分辨率图像。即，超分辨率处理是利用不包含高频成分的多个低分辨率图像来内插出高频成分并且重构成包含高频成分的高分辨率图像的处理。例如，利用相同分辨率的成像传感器以1/2像素的位置偏移拍摄两个图像来作为低分辨率图像，并且一次一个像素地交互组合从这些图像中提取的像素值以便合成。通过执行这种处理可以恢复高频成分。不是对成像传感器的位置进行运动控制，而是可以利用由拍摄时的不稳定性等等引起的小于一个像素的位置偏移来恢复高频成分。 

超分辨率处理被大致划分成用于检测时间系列图像的低分辨率图像之间的相对位置偏移的位置检测处理和在考虑位置偏移的情况下合成低分辨率图像的图像合成处理。在图3的示例中，与位置检测处理相对应的组件被标注为位置检测单元134，而与图像合成处理相对应的组件被标注为图像合成单元132。在位置检测单元134中，以小于或等于像素的精度，检测时间系列图像中的每个低分辨率图像之间采样位置的偏移量。由位置检测单元134检测到的采样位置的偏移量随后被输入到图像合成单元132。图像合成单元132基于由位置检测单元134检测到的采样位置的偏移量来对彼此对应的采样位置的像素值进行组合和合成，以计算重构成的图像(高分辨率图像)的像素值。 

在图3的示例中，通过执行超分辨率处理，由像素PX1形成的低分辨的目标图像RP被重构成由像素PX1’形成的高分辨率的目标图像RP’。超分辨率处理是计算负担非常高的处理。因此，取决于重构成过程中要参考的低分辨率图像的数目或者要处理的低分辨率图像的数目，或者要经历超分辨率处理的图像区域的大小，该处理可能不能在现实的时间内完成。因此，根据本实施例的图像处理装置100被配置为仅对通过操作输入单元110指定的图像区域执行超分辨率处理。 

以上已经示意性地描述了超分辨率处理技术。对于这种超分辨率处理技术，正在进行各种研究和开发，以便高效且准确地执行与位置检测单元134相对应的处理和与图像合成单元132相对应的处理。通过这种研究和开发实现的任意技术都可结合本实施例的技术使用。 

[2-4：关于图像处理的流程] 

现在将参考图4和图5来描述根据本实施例的图像处理的流程。图4是示出根据本实施例的图像处理的整体流程的说明图。图5是示出在图4所示的整体流程中与动体区域的设定处理有关的流程的说明图。 

这里描述的图像处理是利用图2所示的图像处理装置100来实现的。在图4和图5所示的图像处理方法中，通过与图2所示的图像处理装置100中的图像处理的流程略有不同的过程来执行波动去除处理。更具体而言，不同之处在于在该图像处理中，预先对由动体检测单元104检测到的 动体区域和非动体区域执行第一和第二波动去除处理，并且在动体区域设定单元106中重构成通过这种处理获得的第一和第二处理后图像。相似之处在于在预定的时间期间把在动体检测单元104中设定为动体区域的图像区域假定为动体区域，并且不对在动体检测单元104中被设定在非动体区域中而实际是动体的对象执行第一波动去除处理。因此，图4和图5所示的图像处理方法和在对图2的描述中描述的图像处理方法是可基于相同的技术思想实现的实施例。 

首先，将参考图4。如图4所示，图像输入单元102获取时间系列图像(S102)。动体检测单元104执行动体检测处理(S104)。在此情况下，在动体检测单元104中，在时间系列图像中的多个所拍摄图像之间计算像素值的差异，并且基于计算结果来检测动体区域和非动体区域。第一波动去除单元112对由动体检测单元104检测到的非动体区域执行第一波动去除处理(S106)。在此情况下，由图像输入单元102获取的时间系列图像的原始图像和执行第一波动去除处理之后的第一处理后图像被保存在图像处理装置100中。动体区域设定单元106重设动体区域和非动体区域(S108)。步骤S108中执行的处理将在下文中参考图5来描述。 

第二波动去除单元114对在步骤S108中重设的动体区域执行第二波动去除处理(S110)。步骤S110可以是对所有动体区域执行第二波动去除处理，或者可以是仅对通过操作输入单元110指定的指定区域执行第二波动去除处理。诸如非刚性体配准之类的处理是相对大计算量的处理。因此，通过将处理目标限于指定区域，减小了计算负担。如果存在未被执行第二波动去除处理的动体区域，则高图像质量处理单元116对这种动体区域执行高图像质量处理(S112)。同样，对于被执行高图像质量处理的动体区域，从减小负担的角度来看，也最好将处理目标限于指定区域。 

现在将参考图5来描述与步骤S108相对应的动体区域和非动体区域的重设方法。步骤S108的处理主要是利用动体区域设定单元106实现的。图5所示的处理流程是对所拍摄图像中包含的所有像素执行的。 

如图5所示，首先判定像素PX(x，y)是否是动体的像素(S132)。像素PX(x，y)指的是所拍摄图像中包含的任意像素。另外，(x，y)表示像素 PX(x，y)所在的坐标位置。步骤S132中的判定处理是基于由动体检测单元104确定的动体区域和非动体区域的信息来执行的。如果动体区域包括像素PX(x，y)，则动体区域设定单元106进行步骤S146的处理。如果非动体区域包括像素PX(x，y)，则动体区域设定单元106进行步骤S134的处理。 

在步骤S134中，定时器108的时间T被递增(S132)。如果定时器108的时间T是T＝0，则时间T＝0被维持。动体区域设定单元106随后判定定时器108的时间T是否为零(S136)。如果定时器108的时间T是T，则动体区域设定单元106进行步骤S148的处理。如果定时器108的时间T是T＝0，则动体区域设定单元106进行步骤S138的处理。在步骤S138中，动体区域设定单元106输出第一处理后图像的像素PX2(x，y)作为像素PX(x，y)(S138)。 

动体区域设定单元106随后判定在时间系列图像中是否存在下一帧(所拍摄图像)(S142)。如果存在下一帧，则动体区域设定单元106进行步骤S144的处理。如果不存在下一帧，则动体区域设定单元106终止该系列处理。在步骤S144中，动体区域设定单元106参考与下一帧相对应的所拍摄图像(S144)。动体区域设定单元106对要参考的帧的所拍摄图像再执行从步骤S132开始的一系列处理。 

如果处理基于步骤S132的判定处理进行到步骤S146的处理，则动体区域设定单元106在步骤S146中将定时器108的时间T设定到预定时间T0(S146)。在步骤S148中，动体区域设定单元106输出未被执行第一波动去除处理的原始图像的像素PX1(x，y)作为像素PX(x，y)(S148)。在步骤S148之后，动体区域设定单元106进行步骤S142的处理。 

上述流程可被总结如下。首先，在步骤S132中基于由动体检测单元104检测到的动体区域和非动体区域的信息来判定每个像素PX是动体的还是非动体的。如果像素PX是动体的，则定时器108的时间T被设定到预定时间T0。如果像素PX不是动体的，则定时器108的时间T被递减。即，动体区域设定单元106以像素PX被判定为是动体的像素的时刻作为基准，通过递减定时器108的时间T，来计出预定时间T0。 

如上所述，动体区域设定单元106在从检测到动体时起的预定时间T0 期间，将该图像区域假定为动体区域。即，在某个帧中被判定为是动体的像素的像素PX在从该帧起到预定时间T0之后的帧为止的所有帧中被假定为是动体的像素PX。为了实现这种假定处理，在该图像处理方法中，在定时器108的时间T被设定之后，直到时间T＝0为止，原始图像的像素PX1被作为像素PX输出。 

换言之，在步骤S136中判定时间T是否等于0，并且如果时间T不等于0，则在步骤S 148的处理中输出像素PX1。如果定时器108的时间T变为零，则在步骤S138中输出第一处理后图像的像素PX2。在图5所示的图像处理方法中，动体区域和非动体区域的重设是通过以下方式执行的：利用通过预先对非动体区域执行第一波动去除处理而获得的第一处理后图像以及原始图像对于每个像素切换要输出的图像。 

以上已经描述了根据本实施例的图像处理的流程。在本实施例中，在检测到动体之后的预定时间期间将非动体区域重设为动体区域，并且进行调整以使得不对重设的动体区域执行第一波动去除处理。作为这种调整处理的结果，可以避免对实际是动体而往往被检测为非动体区域的图像区域执行第一波动去除处理，从而可以防止由波动去除处理导致的动体的消失和图像的劣化。在对图2的描述中描述的图像处理方法包括重设动体区域和非动体区域并且基于重设信息来执行第一波动去除处理。两种方法都包括本实施例共有的技术特征，即在检测到动体之后的预定时间期间将非动体区域重设为动体区域，从而可以获得防止由波动去除处理导致的动体消失和图像劣化的显著效果。 

[2-5：关于通过区块划分来减小计算负担的方法] 

现在将参考图6来描述通过对所拍摄图像进行区块划分来减小计算负担的方法(以下称之为区块划分方法)。图6是示出通过对所拍摄图像进行区块划分来减小计算负担的方法的说明图。如前所述，第二波动去除处理和高图像质量处理与第一波动去除处理相比是具有较高计算负担的处理。因此，在本实施例中，允许修改这种处理以仅限于对指定区域执行。图6所示的区块划分方法将所拍摄图像划分成预定大小的区块，并且使得区块能够被指定为指定区域。 

例如，如图6所示，所拍摄图像被划分成25个区块。通过显示屏幕向用户呈现所拍摄图像、第一处理后图像或第二处理后图像(以下称之为显示图像)。在显示图像中可以清楚示出区块的边界，也可以不清楚示出区块的边界。在显示图像中可以用颜色、图案等等清楚示出包括动体区域的动体区块B1和不包括动体区域的非动体区块B2。用户在参考显示图像的同时通过操作输入单元110指定要执行第二波动去除处理或高图像质量处理的区块。 

当区块被指定时，第二波动去除单元114或高图像质量处理单元116对该区块中的动体区域执行第二波动去除处理或高图像质量处理。被执行了第二波动去除处理或高图像质量处理的动体区块B1可被显示在一不同的窗口中。通过被配置成对指定区块执行第二波动去除处理或高图像质量处理，图像处理装置100的计算负担从而可得以减小。结果，无需使用安装有昂贵的高性能计算处理装置的信息处理装置，就可实现图像处理装置100的功能。 

[2-6：关于图像处理装置100的硬件配置示例] 

图像处理装置100的每个组件的功能可利用图7所示的信息处理装置的硬件配置来实现。例如，每个组件的功能是通过利用计算机程序控制图7所示的信息处理装置来实现的。这里示出的信息处理装置的模式是任意的，并且可以是个人计算机、便携式电话、诸如PHS之类的便携式信息终端、PDA、视频游戏机、成像设备或各种信息家用电子设备。PHS是个人手持电话系统的缩写。PDA是个人数字助理的缩写。 

如图7所示，信息处理装置主要包括CPU(中央处理单元)902、ROM(只读存储器)904、RAM(随机存取存储器)906、主机总线908、桥接器910、外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924以及通信单元926。 

CPU 902充当算术处理单元或控制单元，并且基于记录在ROM 904、RAM 906、存储单元920或可移除记录介质928中的各种程序来控制全部构成元件或一些构成元件的整体操作。ROM 904例如存储被加载在CPU902上的程序或者算术运算中使用的数据等等。RAM 906临时或永久存储 例如被加载在CPU 902上的程序或者在程序执行期间任意改变的各种参数等等。这些构成元件通过例如能够执行高速数据传送的主机总线908相互连接。主机总线908例如通过桥接器910连接到数据传送速度相对较低的外部总线912。 

输入单元916例如是诸如鼠标、键盘、触摸面板、按钮、开关或操作杆之类的输入单元。输入单元916可以是能够通过使用红外线或其他无线电波来传送控制信号的遥控单元(所谓的遥控器)。输入单元916包括输入控制电路等等，用于通过输入信号将利用操作单元输入的信息传送到CPU 902。 

输出单元918例如是能够在视觉上或听觉上将所获取的信息告知用户的、诸如CRT(阴极射线管)、LCD(液晶显示器)、PDP(等离子显示面板)或ELD(电致发光显示器)之类的显示设备、诸如扬声器或耳机之类的音频输出设备、打印机、移动电话或传真机。 

存储单元920是用于存储各种数据的设备，并且例如包括诸如硬盘驱动器(HDD；Hard Disk Drive)之类的磁存储设备、半导体存储设备、光存储设备或磁光存储设备。 

驱动器922是这样一个设备，其读取记录在诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质928上的信息，或将信息写入到可移除记录介质928中。可移除记录介质928例如是DVD介质、蓝光介质、HD DVD介质、紧凑闪存(CF；compactFlash)(注册商标)、记忆棒或者SD存储卡(安全数字存储卡)等等。当然，可移除记录介质928可以是例如其上安装有非接触式IC芯片的IC卡(集成电路卡)、电子设备等等。 

连接端口924是连接外部连接设备930的端口，例如USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)、RS-232C端口或光音频端子。外部连接设备930例如是打印机、移动音乐播放器、数码相机、数码摄像机、IC记录器等等。 

通信单元926是连接到网络932的通信设备。例如，使用用于有线或无线LAN(局域网)、蓝牙(Bluetooth，注册商标)或WUSB(无线 USB)的通信卡、光通信路由器、ADSL(非对称数字订户线路)路由器、各种通信调制解调器等等。连接到通信单元926的网络932包括有线或无线连接的网络。例如，使用因特网、家用LAN、红外通信、广播、卫星通信等等。 

[2-7：总结] 

最后，将简要总结本实施例的图像处理装置的功能配置和从该功能配置获得的效果。 

首先，根据本实施例的图像处理装置的功能配置可以通过以下方式来表述。该图像处理装置包括动体检测单元、动体区域设定单元和波动去除处理单元。动体检测单元检测运动图像中包含的动体。动体检测单元对构成运动图像的多个帧的像素值进行比较，并且当像素值的差异量大于或等于预定量时，确定与该像素值相对应的图像区域为动体的区域。即，通过动体检测处理检测动体区域。 

在从动体检测单元检测到动体的时刻起的预定时间期间，动体区域设定单元把在相应检测时刻包含动体的区域设定为动体区域。即，对于与在动体检测单元进行的动体检测处理中检测到的动体区域相对应的图像区域，该图像区域被重设为动体区域，即使在动体已移动之后该图像区域会变为非动体区域。结果，即使在动体的一部分中包含不那么可能被动体检测单元进行的动体检测处理检测为动体的部分，也可以避免动体的这样一部分被设定为非动体区域。 

波动去除处理单元对除了由动体区域设定单元设定的动体区域之外的区域执行波动去除处理。波动去除处理单元执行的波动去除处理对应于第一波动去除处理。可以认识到，波动去除处理单元执行的波动去除处理可以是除第一波动去除处理之外的波动去除处理。如果波动去除处理单元执行的波动去除处理是第一波动去除处理，那么如果对包含动体的图像区域执行相应波动去除处理，动体则会消失或者图像会劣化。 

然而，波动去除处理单元对除了由动体区域设定单元设定的动体区域之外的图像区域执行波动去除处理。从而，实际是动体、但在动体检测单元的处理中不那么可能被检测为动体的一部分动体被掩蔽，从而不对其执 行波动去除处理。结果，避免了由波动去除处理引起的该部分动体的消失或者图像的劣化，并且获得了令人满意的处理后图像。 

波动去除处理单元可被配置为对由动体区域设定单元设定的动体区域的一部分或全部执行其他波动去除处理，在该其他波动去除处理中，动体区域中包含的动体的视频不会消失。根据这种配置，对实际是非动体区域、但被动体区域设定单元的掩蔽处理假定为动体区域并从而未被执行波动去除处理的图像区域执行了(其他)波动去除处理。结果，可以更显著地增强处理后图像的图像质量。 

图像处理装置还可包括超分辨率处理单元，用于对由动体区域设定单元设定的动体区域之中的、未被波动去除处理单元执行其他波动去除处理的动体区域的一部分或全部执行超分辨率处理。如上所述，其他波动去除处理可能不对所有动体区域执行。例如，其他波动去除处理可能仅对被动体区域设定单元设定为动体区域但实际不包括动体的图像区域执行，而超分辨率处理可对实际包含动体的动体区域执行。 

如上所述，动体区域设定单元对于从检测到动体的时刻的帧起到经过了预定时间之后的帧为止的所有帧，将与在第一帧中检测到的动体区域相对应的图像区域设定为动体区域，而不论是否存在动体。有时最好对动体区域之中的包含动体的动体区域和不包含动体的动体区域划分最优处理。具体而言，通过使用户能够指定要被执行其他波动去除处理的动体区域和要被执行超分辨率处理的动体区域，可以获得具有更自然的图像质量的处理后图像。从计算负担的角度来看，通过适当地改变处理内容而不是对所有动体区域执行相同的处理，可以有效地分散计算负担。 

波动去除处理单元对运动图像的除了动体区域之外的所有区域执行的波动去除处理是对运动图像的每个帧中包含的像素值的平均化处理或中值处理。对动体区域执行的波动去除处理是基于非刚性体配准的波动去除处理等等。 

如上所述，如果对动体区域执行平均化处理或中值处理，则动体消失或者图像质量劣化。根据基于非刚性体配准的波动去除处理，动体不会消失，并且图像质量不会劣化。然而，非刚性体配准处理的计算量与平均化 处理或中值处理相比非常大。因此，适当地划分诸如平均化处理或中值处理之类的滤波处理和诸如非刚性体配准之类的处理的处理目标。 

在上述图像处理装置中，由动体检测单元和动体区域设定单元设定动体区域和非动体区域，并且对每个区域划分波动去除处理。在这种情况下，可以以上述方式分配平均化处理或中值处理以及非刚性体配准处理，从而可以有效地增强运动图像的图像质量，同时抑制计算负担的增大。 

图像处理装置进行的图像处理方法包括动体检测步骤、动体区域设定步骤和波动去除处理步骤。在动体检测步骤中，检测运动图像中包含的动体。在动体区域设定步骤中，在从在动体检测步骤中检测到动体的时刻起的预定时间期间，将在相应检测时刻包含动体的区域设定为动体区域。在波动去除处理步骤中，对运动图像的除了在动体区域设定步骤中设定的动体区域之外的全部区域执行波动去除处理。当以这种方式在处理步骤中处理运动图像中包含的每个帧时，可以避免由于波动去除处理而引起的动体的消失或者动体部分的图像质量的劣化。 

利用使计算机实现动体检测功能、动体区域设定功能和波动去除处理功能的程序来实现该图像处理方法。在动体检测功能中，检测运动图像中包含的动体。在从动体检测功能检测到动体的时刻起的预定时间期间，动体区域设定功能把在相应检测时刻包含了动体的区域设定为动体区域。波动去除处理功能是对运动图像的除了由动体区域设定功能设定的动体区域之外的全部区域执行波动去除处理的功能。当利用具有这种功能的程序来处理运动图像中包含的每个帧时，可以避免由于波动去除处理而引起的动体的消失或者动体部分的图像质量的劣化。 

第一波动去除单元112和第二波动去除单元114充当波动去除处理单元。高图像质量处理单元116充当超分辨率处理单元。平均化滤波处理和时间中值滤波处理充当波动去除处理。非刚性体配准处理充当其他波动去除处理。 

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于权利要求或其等同物的范围之内。 

例如，在上述实施例中，在图像处理装置100的形式是信息处理装置的情况下进行描述。然而，根据该实施例的图像处理装置100可被配置为成像设备的一部分。在此情况下，图像处理装置100包括被对象反射的光所进入的光学系统，以及用于对通过光学系统进入的光进行光电转换的光电转换元件。被光电转换元件转换成电信号的成像数据作为所拍摄图像被输入到图像输入单元102。在图像输入单元102的前级可布置A/D转换器，以使得作为模拟信号输入的成像数据被数字化，然后被输入到图像输入单元102。根据这种配置，图像处理装置100可以充当成像设备。 

本申请包含与2008年11月27日向日本专利局提交的日本在先专利申请JP 2008-302279中公开的内容相关的主题，这里通过引用将该申请的全部内容并入。 

Claims (5)

1.一种图像处理装置，包括：

动体检测单元，用于检测运动图像中包含的动体；

动体区域设定单元，用于在从所述动体检测单元检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及

波动去除处理单元，用于对除了由所述动体区域设定单元设定的动体区域之外的区域执行波动去除处理。

2.根据权利要求1所述的图像处理装置，其中，所述波动去除处理单元对由所述动体区域设定单元设定的动体区域的一部分或全部执行其他波动去除处理，在所述其他波动去除处理中，动体区域中包含的动体的视频不消失，并且所述其他波动去除处理是基于非刚性体配准的波动去除处理。

3.根据权利要求2所述的图像处理装置，还包括超分辨率处理单元，用于对由所述动体区域设定单元设定的动体区域之中未被所述波动去除处理单元执行所述其他波动去除处理的动体区域的一部分或全部执行超分辨率处理。

4.根据权利要求3所述的图像处理装置，其中

所述波动去除处理单元对所述运动图像的除了动体区域之外的全部区域执行的波动去除处理是对所述运动图像的每个帧中包含的像素值的平均化处理或中值处理。

5.一种图像处理方法，包括以下步骤：

检测运动图像中包含的动体；

在从在动体检测步骤中检测到动体的时刻起的预定时间期间，把在该检测时刻包含动体的区域设定为动体区域；以及

对所述运动图像的除了在动体区域设定步骤中设定的动体区域之外的全部区域执行波动去除处理。

Images