CN100574380C - 成像方法和成像装置 - Google Patents

Abstract

公开了一种成像装置。该成像装置包括图像捕获部件，运动检测部件，可靠性确定部件，抖动补偿部件和滤波部件。该图像捕获部件捕获多个按时间顺序不同的图像。该运动检测部件检测该多个图像的运动并产生运动信息。该可靠性确定部件检测运动信息的可靠性。该抖动补偿部件根据该运动信息来补偿在该多个图像中发生的抖动。该滤波部件通过利用递归滤波器来滤波已经补偿了抖动的图像。该滤波部件的特性根据该运动信息的可靠性而改变。

Description

成像方法和成像装置

技术领域

本发明涉及一种允许获得高质量的静止图像、运动图像等的成像方法和成像装置。

背景技术

有关申请的交叉参考

本发明包含涉及于2005年9月16日在日本专利局提交的日本专利申请JP 2005-269632的主题，该专利申请的整个内容被结合于此以作参考。

有关技术的说明

由于来自处于低光强度的条件的物体的少量入射光减少了成像装置的电荷的存储量，所以包含在作为来自图像传感器的捕获信号输出的信号中的诸如散射噪声之类的随机噪声分量相应地增加。结果，捕获信号的S/N比恶化。当长时间曝光图像传感器时，电荷的存储量增加，而随机噪声分量相应地减少。因此，捕获信号的S/N比可以得到改善。然而，如果长时间曝光图像传感器，则由于成像装置可能被用户的手抖动，所以在捕获的图像中可能出现模糊(在下文中，这种模糊有时被称为曝光模糊)。因此，在有关技术中必须用三脚架等来固定成像装置。

为了解决上述问题，有关技术的参考文献已经被公开为日本专利申请公开No.9-261526。在该有关技术的参考文献中，以例如1/30秒的快门速度来连续地捕获物体的图像，该快门速度几乎防止图像具有曝光模糊，以及大多数捕获的图像的抖动被补偿，并且组合所补偿的图像。抖动以曝光周期的间隔来发生，例如一场或一帧。另一有关技术的参考文献已经被公开为日本专利申请公开No.11-75105。在该有关技术的参考文献中，整个曝光周期被分成多个曝光段，对在曝光段中获得的图像补偿抖动，并且组合所补偿的图像。结果，可以获得高质量的图像。

发明内容

如在这些有关技术的参考文献中所述，多个已经补偿了抖动的图像被简单地组合。因此，存储器容量随着待组合的图像的数量的增加而增加。因此，可被组合的图像数量受到限制，这取决于存储器的存储容量。结果，作为这些有关技术的参考文献的问题，不能充分地改善最终图像的S/N比。此外，如果图像包含不必要的运动物体或者图像的对比度低，则补偿图像抖动的运动向量的准确度变低。结果，不能充分地改善图像质量。

鉴于上述，所希望的是提供一种即使在低光强度的条件下也允许高质量地捕获图像而没有抖动的成像方法和成像装置。

根据本发明的实施例，提供一种成像方法。捕获多个按时间顺序不同的图像。检测所述多个图像的运动并产生运动信息。确定运动信息的可靠性。根据运动信息，补偿在所述多个图像中发生的抖动。通过递归滤波器来滤波已经补偿了抖动的图像。滤波过程的特征根据运动信息的可靠性而改变。

根据本发明的实施例，提供一种成像装置。该成像装置包括图像捕获部件、运动检测部件、可靠性确定部件、抖动补偿部件、以及滤波部件。该图像捕获部件捕获多个按时间顺序不同的图像。该运动检测部件检测所述多个图像的运动并产生运动信息。该可靠性确定部件确定运动信息的可靠性。该抖动补偿部件根据运动信息来补偿在多个图像中发生的抖动。该滤波部件通过利用递归滤波器来滤波已经补偿了抖动的图像。该滤波部件的特性根据运动信息的可靠性而改变。

根据本发明的实施例，在即使在低光强度的条件下也防止图像具有曝光模糊的存储时间中连续地捕获图像。在这种情况下，多个图像被捕获并被补偿抖动。结果，产生了没有抖动的图像。此外，通过递归滤波器来处理该没有抖动的图像。因此，可以产生具有高S/N比的图像。由于递归滤波器是沿时间方向操作的，所以与简单地组合图像的方法不同，可以长时间地捕获图像而没有图像数量的限制。根据本发明的实施例，由于低对比度图像和捕获的图像中的不必要的运动物体使运动向量的可靠性恶化，所以根据可靠性来控制滤波系数。结果，可以改善图像质量。

根据下面对如附图中所示的本发明的最佳模式实施例的详细描述，本发明的这些和其他目的、特征和优点将变得更加明显。

附图说明

根据下面结合附图的详细描述，本发明将得到更全面的理解，其中类似的附图标记表示类似的元件，其中：

图1是示出根据本发明实施例的整体结构的框图；

图2是示出根据本发明实施例的抖动检测部件的实例的框图；

图3是描述根据本发明实施例的运动检测的示意图；

图4是示出在检测运动向量时评价值和偏差(deviation)的三维关系的示意图；

图5是示出在检测运动向量时评价值和偏差的二维关系的示意图；

图6是示出根据本发明实施例的滤波器的实例的框图；

图7是示出根据本发明实施例的过程的流程图；

图8是描述根据本发明实施例的可靠性检测过程的示意图；

图9是描述根据本发明另一实施例的块的示意图；以及

图10是示出根据本发明另一实施例在检测运动向量时评价值和偏差的二维关系的示意图。

具体实施方式

接着将参考附图来描述本发明的实施例。图1示出本发明实施例的整体结构。在图1中，附图标记110表示成像光学系统。该成像光学系统110包括放大和缩小从物体捕获的图像的尺寸的变焦透镜、调整焦距的聚焦透镜、调整光量的光圈(光阑)、中性密度(ND)滤光片、以及驱动这些透镜和光圈的驱动电路。变焦透镜、聚焦透镜、光圈、以及ND滤波片由驱动器111驱动。

物体的光通过成像光学系统110进入图像传感器120，该图像传感器120采用电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等等。该图像传感器120根据物体的光而输出捕获的图像信号。成像装置的实例是数码相机。代之以，成像装置可以是个人数字助理(PDA)、移动电话等。代之以，成像装置可以是捕获运动图像的设备。

图像传感器120可以是原色型或补色型。图像传感器120将进入成像光学系统110的物体的光来光电地转换成RGB原色模拟信号或补色模拟信号。定时信号发生器(图1中缩写为TG)121提供各种定时信号给图像传感器120。根据从定时信号发生器121提供的定时信号来驱动图像传感器120。定时信号发生器121产生导致图像传感器120驱动的各种定时信号。

将来自图像传感器120的图像信号提供给结合在集成电路(IC)内的模拟信号处理部件130。该模拟信号处理部件130采样保持彩色信号，根据自动增益控制(AGC)控制该彩色信号，并且将模拟信号转换成数字信号。结果，模拟信号处理部件130输出数字图像信号。

将来自模拟信号处理部件130的数字图像信号提供给存储器控制器150、抖动检测部件140、以及亮度检测部件180。该抖动检测部件140检测多个捕获的图像的运动并输出作为运动信息的运动向量。该抖动检测部件140由运动向量检测部件141和特征提取部件142组成。该运动向量检测部件141检测来自从模拟信号处理部件130输出的时序数字图像信号的运动向量。该特征提取部件142从该时序数字图像信号中提取特征信息。该特征信息是对应于检测的运动向量的评价值。该亮度检测部件180检测从模拟信号处理部件130输出的信号的亮度级。

将检测的运动向量、提取的特征信息和检测的亮度级提供给系统控制器170。该系统控制器170基于特征信息和亮度级来计算检测的运动向量的可靠性。

该存储器控制器150控制图像存储器151。该图像存储器151是用来调整抖动检测时间和补偿时间的相位的存储器。从模拟信号处理部件130输出的数字图像信号通过存储器控制器150被存储在图像存储器151中。该图像存储器151延迟该输入数字图像信号以检测运动向量。此后，从图像存储器151中读取该延迟的数字图像信号。此外，该存储器控制器150基于由系统控制器170指定的抖动补偿量来补偿数字图像信号的抖动。

将其抖动已经由存储器控制器150补偿的数字图像信号提供给滤波器160。该滤波器160是包括数字电路的递归滤波器。该滤波器160具有用于一场或一帧的存储器。该滤波器160输出其S/N比已经得到改善并且已经补偿了抖动的图像信号。将该输出图像信号进行压缩并记录在诸如存储卡之类的记录介质中。此外，将该输出图像信号在诸如液晶显示器(LCD)之类的图像显示部件上进行显示。

该系统控制器170控制驱动器111、定时信号发生器121和模拟信号处理部件130。将来自运动向量检测部件141、特征提取部件142和亮度检测部件180的运动向量、特征信息和亮度级分别提供给系统控制器170。此外，该系统控制器170控制存储器控制器150以补偿图像信号的抖动，基于分别由特征提取部件142和亮度检测部件180提供的特征量和亮度级来确定运动向量的可靠性，并且基于该可靠性来控制滤波器160的滤波系数。

此外，该亮度检测部件180产生自动聚焦(AF)控制信号、自动曝光信号和自动白平衡信号。将这些信号提供给系统控制器170。该系统控制器170产生导致该图像光学系统110被控制的信号。将所产生的控制信号提供给驱动器111。

此外，为了减少进入图像传感器120的物体的图像的抖动，该系统控制器170控制定时信号发生器121以设置电子快门速度与防止捕获的图像具有曝光模糊的速度一样快。通常认为防止捕获的图像具有曝光模糊的快门速度是“1/焦距”(等于35mm)。该焦距是系统控制器170对于聚焦控制获得的值。

在低光强度的条件下，该系统控制器170控制图像捕获操作，以使以防止捕获的图像具有曝光模糊的快门速度而不是用于长时间曝光的低快门速度来以一场或一帧的预定间隔捕获多个图像。捕获的图像数量取决于物体的亮度。可替换地，可以捕获预定数量的图像。当成像装置是静止图像照相机时，捕获的多个图像是相同的图像，除非物体被改变以及照相机被抖动。通过抖动补偿多个捕获的图像并滤波所补偿的图像来获得输出图像。

抖动检测部件140根据代表(representative)点匹配系统来检测图像平面的全部运动，这是利用块匹配操作的运动检测方法之一。该系统假定在待比较的帧中物体几乎是相同的。因此，当物体在帧中是很大不同时，该系统是不合适的。

图2示出抖动检测部件140的结构的实例。图像输入201是其运动向量将被检测的图像数据的输入部分。将从图像输入201输入的图像数据提供给滤波器处理电路210，该滤波器处理电路210除去对于检测运动不必要的频率分量。滤波器处理电路210的输出被提供给代表点提取电路220。该代表点提取电路220在每个由输入图像数据的多个像素组成的区域中的预定位置(在下文中，预定位置被称为代表点)提取像素数据，并且存储所提取的像素数据的亮度级。

减法设备230从自滤波器处理电路210输出的像素数据中减去自代表点提取电路220输出的代表点。对每个区域执行这个减法过程。绝对值转换电路240计算自减法设备230输出的差信号的绝对值。

运动向量检测电路250检测具有差信号(在下文中，该差信号被称为剩余差)的绝对值的运动向量。该运动向量检测电路250输出检测的运动向量260。该运动向量检测部件141包括滤波器处理电路210、代表点提取电路220、减法设备230、绝对值转换电路240和运动向量检测电路250。

还将由运动向量260表示的坐标位置的评价值提供给特征提取部件142。该特征提取部件142根据检测的运动向量260输出作为特征信息261的评价值。

图3示出在代表点匹配系统上的运动向量检测方法。将一个捕获的图像(例如一帧图像)分成许多区域。在图3中，检测区域301是从中在时间n检测到帧的运动向量的搜索区域。在图3所示的实例中，指定了(5×5)像素的区域。在检测区域301中，与代表点在亮度上具有最强相关性的像素被检测为运动向量。在时间m的帧的参考区域306中指定了代表点302。在时间n的帧的检测区域301在空间位置上对应于在时间m的帧的参考区域306。代表点302是在时间m的图像的一个像素，该图像是比较的基图像。时间n和时间m之间的间隔是多个图像被连续捕获的间隔，例如一场或一帧。

像素303表示检测区域301中的任何一个像素。将检测区域301的每个像素与代表点302进行比较。运动向量304表示检测的运动向量的实例。有阴影线的像素305存在于运动向量指示的坐标处。

在每帧中指定许多对参考区域306和检测区域301。对于每对而言，计算代表点302的亮度级与检测区域301的每个像素的亮度级之间的剩余差。计算在检测区域301的(5×5)像素的位置处的剩余差。结果，计算出一个图像的(5×5)像素的评价值。在评价值分布中最小值的位置处的坐标被检测为运动向量。

在时间m时坐标(u，v)处的代表点的亮度级由km(u，v)来表示。在时间n时坐标(x，y)处的亮度级由kn(x，y)来表示。在这种情况下，根据代表点匹配系统用于检测运动向量的剩余差的计算公式可由下面的公式(1)来表示。

P′(x，y)＝|k_m(u，v)-k_n(x，y)|...(1)

所获得的剩余差是用于一对参考区域306和检测区域301。以相同的方式获得整个帧的许多对剩余差，并且累积在坐标(x，y)处的剩余差。结果，获得在坐标(x，y)处的评价值。在图3中所示的实例中，产生了在25(＝5×5)个像素位置处的评价值。

图4示出偏差和评价值的关系的实例。在其评价值为局部最小值的点“a”处的坐标与代表点的坐标之间的剩余差变成运动向量mv(x，y)。当将一帧的整个图像平面的代表点移动到点“a”处的坐标位置时，点“a”处的坐标的评价值变成局部最小值。这种关系可由下面的公式(2)表示。在公式(2)中，P(x，y)表示在坐标(x，y)处的评价值(即剩余差的绝对值的累积值)。

mv＝(x-u，y-v)for min{P(x，y)}...(2)

当代表点的坐标是(0，0)时，运动向量可由下面的公式(3)表示。

mv＝(x，y)for min{P(x，y)}...(3)

特征提取部件142是输出图4中所示的点“a”处的评价值的电路。换句话说，特征提取部件142输出下面的公式(4)以作为特征信息L。

L＝min{P(x，y)}...(4)

接着将描述检测的运动向量的可靠性的确定。图5示出偏差和评价值的二维关系。图5中的曲线示出在从一个穿过评价值最小的点“a”并平行于图4的x轴和y轴之一的平面观察偏差和评价值的二维关系时评价值的变化。

偏差中的局部最小值在点“a”的x轴或y轴的坐标值上。

在图5中，实线401表示在正常抖动发生时评价值的变化。当在偏差中检测到运动向量时，在最小值点处的评价值的绝对值十分小。除偏差中最小值点处之外的图像的相关性小。在这种情况下，可以确定检测到的运动向量的可靠性高。

相反，可以确定基于低对比度状态中的评价值的变化而检测到的运动向量的可靠性低。在图5中，虚线402表示低对比度状态中的评价值的变化。当在偏差中检测到运动向量时，在最小值点处的评价值的绝对值十分小。在所有偏差中图像的相关性高。然而，由于在这种情况下检测到的运动向量易受到噪声的影响，所以运动向量的可靠性低。在低对比度状态下，由于代表点的亮度级与在检测区域中每个像素的亮度级之间的差通常较小，所以通常的评价值较小。结果，由于运动向量受到噪声的影响，检测准确度可能恶化，或者可以检测到除了抖动之外的运动向量。为了改善待检测的运动向量的可靠性，有必要检测到低对比度状态并将其排除。

根据这个实施例，利用由下面的公式(5)表示的评价值之和，确定低对比度状态是否发生。在公式(5)中，X和Y分别表示在检测区域的水平方向上的像素数和在检测区域的垂直方向上的像素数。通过像素数(X×Y：它对应于检测区域的面积)来归一化在坐标处评价值P(x，y)之和。当所得到的值S小时，确定物体的对比度低。

$S=\frac{\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{X-1}{\mathrm{\Σ}}}P(x,y)}{X\×Y}...\left(5\right)$

接着将参考图8A来描述利用通过公式(5)获得的值S来获得可靠性指数Rs的过程。当可靠性低时，即S值小于阈值thrA，将可靠性指数Rs设置为0。相反，当可靠性高时，即S值大于阈值thrB，将可靠性指数Rs设置为1。否则，将可靠性Rs设置为由下面的公式(6)表示的值，如图8A中所示。

$\mathrm{Rs}=\frac{S-\mathrm{thrA}}{\mathrm{thrB}-\mathrm{thrA}}...\left(6\right)$

在图5中，点划线403表示在所捕获的多个图像包含运动物体的情况下评价值的变化。当在偏差中检测到运动向量时，在最小值点处的评价值的绝对值相对较大。在所有偏差中图像的相关性低。当运动物体出现时，由于图像的相关性变低，所以在最小值点处的评价值的绝对值的水平变大。由于图像的相关性低，所以检测到的运动向量的可靠性低。因此，不可能利用检测到的运动向量来补偿。结果，利用在最小值点处的评价值L来确定可靠性。在最小值点处的评价值L可由公式(7)表示。当评价值L为大时，确定运动物体出现。

L＝min{P(x，y)}...(7)

接着将参考图8B来描述利用通过公式(7)获得的值L来获得可靠性指数R_L的过程。当可靠性高时，即L值小于阈值thrC，将可靠性指数R_L设置为1。相反，当可靠性低时，即L值大于阈值thrD，将可靠性指数R_L设置为0。否则，将可靠性指数R_L设置为由下面的公式(8)表示的值，如图8B中所示。

$R_L=\frac{L-\mathrm{thrD}}{\mathrm{thrC}-\mathrm{thrD}}...\left(8\right)$

运动向量检测部件141将其中结合有前述两个可靠性指数Rs与R_L的可靠性指数R和根据公式(9)检测到的运动向量输出到系统控制器170。当可靠性指数R低时，运动向量的可靠性低。相反，当可靠性指数R大时，运动向量的可靠性高。代之以，该运动向量检测部件141可以提供评价值到系统控制器170，并且系统控制器170可以计算可靠性指数。

R＝Rs x RL...(9)

图6示出在图1中所示的滤波器160的结构的实例。自存储器控制器150输出的数据X(z)501被输入到滤波器160。输出Y(z)502从滤波器160的加法器520中提取。通过放大器510以放大系数k放大输入数据X(z)501的水平，并将放大的数据提供给加法器520。滤波系数k(其中0≤k≤1)由系统控制器170指定。

加法器520的输出数据被作为输出Y(z)提取，并被提供给延迟设备530。延迟设备530的输出数据通过放大器511被提供给加法器520。该放大器511以放大系数(1-k)放大自延迟设备530输出的信号。该延迟设备530是将输出Y(z)502延迟一个采样周期的延迟设备。一个采样周期是包含代表点的参考区域的时间与检测区域的时间之差。一个采样周期例如是一场或一帧。

当图6中所示的滤波器160的滤波系数k是1(即k＝1)时，从放大器511提供给加法器520的前一时间的输出分量是0。在这种情况下，输入数据X(z)501直接作为输出数据Y(z)502被提取。当滤波器160的滤波系数k不是1(即k≠1)时，从放大器511提供给加法器520的前一时间的输出分量不是0。该加法器520将前一时间的输出分量添加到输入数据X(z)501上。不同时间的信号分量相关，而随机噪声分量不相关。因此，加法器520的加法过程允许减少噪声分量。

接着将描述滤波系数Ky。如图8C中所示，根据图像传感器120的信号电平Y来计算该滤波系数Ky，该信号电平Y是来自亮度检测部件180的输出。当亮度级包含大的噪声分量时，即信号电平Y小于阈值thrE，滤波系数Ky可由公式(10)表示。相反，当亮度级不包含大的噪声分量时，即信号电平Y等于或大于阈值thrE，将滤波系数Ky设置成预定滤波系数Kmax。

$\mathrm{Ky}=\frac{K_{\mathrm{MAX}}-K_{\mathrm{MIN}}}{\mathrm{thrE}}Y+K_{\mathrm{MIN}}...\left(10\right)$

通过公式(11)根据可靠性指数R和亮度级来利用滤波系数Ky可以计算图6中所示的滤波器160的滤波系数k。然而，仅仅对于初始图像，将滤波系数k设置为1以便消除滤波器的瞬态响应。

k＝R x K_Y...(11)

接着将参考图7来描述由系统控制器170执行的控制操作。以捕获多个图像的间隔例如一场或一帧来执行该控制操作。执行次数的数目被表示为计数器值。在低光强度的条件下，以防止图像具有曝光模糊的快门速度来连续地捕获图像。预定数目的图像被补偿抖动并滤波。在已经处理了预定数目的图像并且计数器值已经达到预定值后，该过程完成并将所得到的图像看作是最终捕获的图像。

在步骤S10，确定计数器值(在下文中简单地称为计数器)是否为0，每当执行控制操作，该计数器的值就加1。当在步骤S10确定的结果为真，即计数器为0，则该流程前进到步骤S11。当在步骤S10确定的结果为假，即计数器不为0，则该流程前进到步骤S20。

在步骤S11，关闭抖动补偿。换句话说，存储器控制器150不对在图像存储器151中存储的图像补偿抖动，而是直接输出该图像。如果其可靠性为低的状态持续，则在其计数器为0的初始状态中，捕获初始图像以便输出补偿过抖动的信号。

在步骤S12，将滤波器160的滤波系数k设置为1。执行该设置以消除处于初始状态的滤波器的瞬态响应。在步骤S13，计数器加1。此后，该过程完成。在一场或一帧之后输入的下一图像的该过程从步骤S10开始。

在步骤S20，检测抖动并进行补偿。换句话说，系统控制器170根据由运动向量检测部件141检测到的运动向量来通知存储器控制器150用于消除抖动分量的补偿量。存储器控制器150使得图像存储器151输出已经补偿了抖动的图像。

在步骤S21，根据可靠性指数R和滤波系数Ky来计算滤波器的系数k，如由前述公式(11)所表示。在步骤S13，计数器加1。此后，该过程完成。将由系统控制器170计算的滤波系数k提供给滤波器160。将该滤波器160的滤波系数设置为适当的值。

根据本发明的前述实施例，产生用于整个图像平面的运动向量。代之以，该图像平面可分成多个决。可对每块执行抖动补偿和滤波过程。根据本发明的另一实施例，对于每块执行过程。

根据本发明此实施例的成像装置的整体结构与图1中所示的根据前述实施例的相同。因此，图1中所示的结构元件的附图标记也用于此实施例的描述。根据此实施例，包括运动向量检测部件141和特征提取部件142的抖动检测部件140对(I×J)决中的每块执行过程，该(I×J)块是通过将图像传感器120的捕获的图像平面在垂直方向上分成J个部分并在水平方向上分成I个部分而产生的。在每块中，指定了多个参考区域和多个检测区域。因此，对每块执行存储器控制器150的抖动补偿操作和滤波器160的过程。亮度检测部件180对每块检测自模拟信号处理部件130输出的信号的亮度级。

类似于前述实施例，在低光强度的条件下，以防止图像具有曝光模糊的快门速度连续地捕获图像，并且对所获得的多个图像补偿抖动，以及通过递归滤波器进行处理。然而，根据此实施例，对每块执行抖动补偿和滤波过程。

根据代表点系统检测到运动向量的结构与根据前述实施例的结构相同(参考图2)。如参考图3所述，计算在参考区域中的代表点的亮度级与检测区域301中的每个像素的亮度级之间的剩余差的绝对值。在这种情况下，当将在时间m时的块(i，j)(其中i＝0，1，2，...I-1，j＝0，1，2，...，J-1)的坐标(u，v)的代表点的亮度级由k_m，i，j(x，y)表示，并将在时间n时的坐标(x，y)的亮度级为由k_n，i，j(x，y)表示时，则根据代表点匹配系统的用于检测运动向量的剩余差计算公式可以通过公式(12)来表示。

P′_i，j(x，y)＝|k_m，i，j(u，v)-k_n，i，j(x，y)|...(12)

所获得的剩余差是用于一对参考区域306和检测区域301的。同样，可以为每块的许多对获得剩余差。当累积坐标(x，y)的剩余差时，获得了坐标(x，y)的评价值。在此实施例中，为每块获得25(＝5×5)个像素位置的评价值。

为每决获得图4中所示的偏差与评价值的关系。其评价值为局部最小值的点“a”和代表点的坐标之间的剩余差是块(i，j)的运动向量mv_i，j(x，y)。当一块的代表点移动到点“a”时，点“a”的评价值变成局部最小值。每块的运动向量mv_i，j(x，y)可由下面的公式(13)表示。在公式(13)中，P_ij(x，y)表示块(i，j)的坐标(x，y)的评价值(即剩余差的绝对值的评价值)。

mv_i，j＝(x-u，y-v)for min{P_i，j(x，y)}...(13)

当代表值的坐标是(0，0)时，块(i，j)的运动向量可由下面的公式(14)表示。

mv_i，j＝(x，y)...(14)

特征提取部件142是根据为每块获得的运动向量而输出评价值的电路。换句话说，特征提取部件142输出下面的公式(15)的结果以作为块(i，j)的特征信息。

L_i，j＝min{P_i，j(x，y)}...(15)

图10示出每决的偏差和评价值的二维关系。类似于前述实施例(图5中所示)，在图10中实线601表示在发生正常抖动时评价值的变化。当在偏差中检测到运动向量时，在最小值点处的评价值的绝对值十分小。在除了最小值点的偏差中，图像的相关性小。在这种情况下，可以确定检测到的运动向量的可靠性高。

另一方面，可以确定相应于处于低对比度状态中的评价值的变化而检测到的运动向量的可靠性低。在图10中，虚线602表示处于低对比度状态中的评价值的变化。当在偏差中检测到运动向量时，在最小值点处的评价值的绝对值十分小。在所有偏差中，图像的相关性高。然而，由于检测到的运动向量往往易于受到噪声影响，所以运动向量的可靠性低。在低对比度状态中，由于在代表点的亮度级与检测区域的每个像素的亮度级之间的差变得通常较小，所以通常的评价值变得较小。结果，由于运动向量受到噪声等的影响，存在这样的可能性，即检测准确度恶化以及可能检测到除了抖动之外的运动向量。因此，为了增强待检测的运动向量的可靠性，有必要检测低对比度状态并将它排除。

根据此实施例，利用由公式(16)表示的每块的评价值之和sum S_{i， j}来确定物体的对比度是否为低。在公式(16)中，X和Y分别表示在检测区域的水平方向上的像素数和在垂直方向上的像素数。通过用像素数(X×Y：它对应于检测区域的面积)归一化在坐标处的评价值P_{i， j}(x，y)之和来获得值S_i，j。当该值S_i，j小时，确定物体的对比度低。

$S_{i,j}=\frac{\underset{y=0}{\overset{Y-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{X-1}{\mathrm{\Σ}}}{P}_{i,j}(x,y)}{X\×Y}...\left(16\right)$

类似于前述实施例，当通过公式(16)获得的块(i，j)的值S_i，j小于阈值thrA时，将可靠性指数Rs_i，j设置为0。当可靠性指数Rs_i，j高时，即值S_i，j大于阈值thrB，将可靠性指数Rs_i，j设置为1。否则，将可靠性指数Rs_i，j设置为由下面的公式(17)表示的值。

${\mathrm{Rs}}_{i,j}=\frac{S_{i,j}-\mathrm{thrA}}{\mathrm{thrB}-\mathrm{thrA}}...\left(17\right)$

从运动向量检测部件141输出的每块的运动向量可能包含除了抖动分量之外的运动物体的分量。为了减少由于运动物体导致的故障，有必要只提取抖动分量，并使存储器控制器150根据运动向量来补偿抖动。除了补偿抖动之外，还有必要检测来自运动向量的除抖动之外的分量并计算可靠性指数R_Li，j，以使滤波器160不结合该分量。

抖动分量可由公式(18)表示。在公式(18)中，MD表示中值滤波器。系统控制器170使存储器控制器150补偿抖动分量mv_MD。

mv_MD＝(MD{x_i，j}，MD{y_i，j})...(18)

接着将描述运动物体的检测和可靠性。相关块包含运动物体的程度被确定为运动向量分量与抖动分量之间的偏差度。偏差度L_i，m可由公式(19)表示。当偏差度L_i，j大时，确定出现运动物体。

L_i，j＝|mv_i，j-mv_MD|...(19)

在这种情况下，如图8B中所示，以与前述实施例相同的方式利用偏差度L_i，j计算决(i，j)的可靠性指数R_Li，j。当可靠性指数R_Li，j高时，即偏差度L_i，j小于阈值thrC，将可靠性指数R_Li，j设置为1。当可靠性指数R_Li，j低时，即偏差度L_i，j大于阈值thrD，将可靠性指数R_{Li， j}设置为0。否则，将可靠性指数R_Li，j设置为由公式(20)表示的值。

$R_{\mathrm{Li},j}=\frac{L_{i,j}-\mathrm{thrD}}{\mathrm{thrC}-\mathrm{thrD}}...\left(20\right)$

当由运动向量检测部件141检测到的每块(i，j)的运动向量的可靠性由R_i，j表示时，则可由公式(21)表示可靠性指数R_i，j。当可靠性指数R_i，j低时，则运动向量的可靠性低。相反，当可靠性指数R_i，j大时，则运动向量的可靠性高。

R_i，j＝R_si，jxR_Li，j...(21)

对于已经补偿了抖动的图像的每决的滤波器具有与图6中所示的前述实施例的结构相同的结构。然而在此实施例中，为每块设置滤波系数。每决的滤波系数由k_i，j(其中0≤k_i，j≤1)表示。

接着将描述块(i，j)的滤波系数k_yi，j。类似于前述实施例，如图8C所示，利用自亮度检测部件180输出的图像传感器120的信号电平Y_i，j计算滤波系数k_yi，j。当亮度级包含大的噪声分量时，即信号电平Y_{i， j}小于阈值thrE，可由公式(22)表示滤波系数k_yi，j。相反，当亮度级不包含大的噪声分量时，即信号电平Y_i，j等于或大于阈值thrE，将滤波系数k_yi，j设置为预定滤波系数k_max。

$K_{\mathrm{Yi},j}=\frac{K_{\mathrm{MAX}}-K_{\mathrm{MIN}}}{\mathrm{thrE}}{Y}_{i,j}+K_{\mathrm{MIN}}...\left(22\right)$

类似于前述实施例，通过公式(23)根据可靠性指数R和亮度级来利用滤波系数指数k_yi，j计算滤波系数k_i，j。然而，仅仅对于初始图像，将滤波系数k设置为1以便消除滤波器的瞬态响应。

K_i，j＝R_i，j x K_yi，j...(23)

根据此实施例，如图7中所示以与前述实施例相同的方式来执行系统控制器170的控制操作。然而，根据前述实施例，对每场或每帧执行控制操作。相反，根据此实施例，有必要对每块执行控制操作。在已经处理了预定数目图像的所有块并且计数器值已经达到预定值之后，该过程完成。所得到的图像被看作是最终捕获图像。

根据本发明的此实施例，由于控制多个块中的每块而不同于前述实施例中的控制每帧或每场，所以可以根据图像的局部特征来控制滤波系数。因此，根据本发明的此实施例，图像质量可以比前述实施例的图像质量得到更多的改善。

本领域技术人员应该理解，根据设计要求和其他因素，可能出现各种修改、组合、再组合和变更，只要它们在所附权利要求书及其等同物的范围内。例如，可以由除了代表点系统之外的系统来检测运动向量。

Claims (6)

1、一种成像方法，包括下列步骤：

捕获步骤，捕获多个按时间顺序不同的图像；

运动检测步骤，检测所述多个图像的运动并产生运动信息；

可靠性确定步骤，根据作为所述运动信息的评价值的特征信息和检测所述多个图像而得到的亮度级来确定所述运动信息的可靠性；

抖动补偿步骤，根据所述运动信息来补偿在所述多个图像中发生的抖动；以及

滤波步骤，通过利用递归滤波器来滤波已经补偿了抖动的图像，

其中

所述滤波步骤中所述递归滤波器的特征根据所述运动信息的可靠性而改变；

对所述多个图像中首先捕获的图像不执行所述抖动补偿；以及

对于所述多个图像中除首先捕获的图像之外的图像，根据所检测的所述运动信息确定抖动补偿量从而进行补偿，并根据所述运动信息的可靠性和基于亮度级的滤波系数来计算所述递归滤波器的滤波系数，从而对已经补偿了抖动的图像进行滤波。

2、如权利要求1所述的成像方法，

其中通过以防止发生曝光模糊的快门速度来捕获所述多个图像中的每个来执行所述捕获步骤。

3、如权利要求1所述的成像方法，

其中在所述可靠性确定步骤中，将从低对比度物体中捕获的图像中所获得的所述运动信息的可靠性确定为低。

4、如权利要求1所述的成像方法，

其中在所述可靠性确定步骤中，将从所述多个图像中获得的所述运动信息的可靠性确定为低，所述多个图像的一部分包括运动物体。

5、如权利要求1所述的成像方法，

其中将所捕获的图像中的每个分成多块，以及

其中对所述多块中的每个执行所述运动检测步骤、可靠性确定步骤、抖动补偿步骤、滤波步骤以及改变所述滤波步骤的特征的过程。

6、一种成像装置，包括：

用于捕获多个按时间顺序不同的图像的图像捕获装置；

用于检测所述多个图像的运动并产生运动信息的运动检测装置；

用于根据作为所述运动信息的评价值的特征信息和检测所述多个图像而得到的亮度级来确定所述运动信息的可靠性的可靠性确定装置；

用于根据所述运动信息来补偿在所述多个图像中发生的抖动的抖动补偿装置；以及

用于通过利用递归滤波器来滤波已经补偿了抖动的图像的滤波装置，

其中

所述滤波装置的特性根据所述运动信息的可靠性而改变；

所述抖动补偿装置对所述多个图像中首先捕获的图像不执行所述抖动补偿；以及

对于所述多个图像中除首先捕获的图像之外的图像，所述抖动补偿装置根据所检测的所述运动信息确定抖动补偿量从而进行补偿，并且，所述滤波装置根据所述运动信息的可靠性和基于亮度级的滤波系数计算所述递归滤波器的滤波系数，从而对已经补偿了抖动的图像进行滤波。

Images