CN101052098A - 一种减少影像模糊的方法与相机 - Google Patents

Abstract

本发明是关于一种减少影像模糊的方法与相机。所述的方法步骤包括，操作一相机以检测该相机的移动；若未检测到该相机的移动时，以该相机决定的一第一快门速度撷取一物体的影像；若该相机的移动检测到时，以大于所述的第一快门速度的一第二快门速度撷取所述的物体的影像；该撷取影像的影像数据储存于一存储装置。本发明通过使用预览影像数据检测相机移动，或是当检测到相机移动时，用高快门速度的影像取代先前用正常快门速度的影像，对于先前的方法而言，存储器大小可以降低，且取得清晰影像的总运算时间也可减少。

Description

一种减少影像模糊的方法与相机

技术领域

本发明是关于降低影像模糊的处理，特别是关于一种减少影像模糊的方法与相机。

背景技术

数码相机包括一影像感测器，如电荷耦合装置(charged coupled device，CCD)感测器或互补式金属氧化氧半导体(complementary metal oxidesemiconductor，CMOS)感测器，以感测光线和产生影像数据，再储存于记录介质，如闪存存储卡。当数码相机握在手上且快门速度(shutter speed)较慢时，相机撷取的影像可能会因为相机的震动而模糊。一种降低影像模糊的方法是连续撷取四个影像并储存该四个影像于存储器中。假如相机在拍摄时移动了，数字信号处理器将根据相机的移动距离，而移动部分的影像，以重迭此四张影像组合成一合并影像，借此消除模糊效应。另一种降低模糊的方法为使用一移动检测器检测相机的震动，并且机械式调整相机的镜头或影像感测器以补偿相机的震动。上述技术的实现需要占用大量的存储器空间，且取得清晰影像的总运算时间较长。

发明内容

在本发明的一实施例中，一种操作相机的方法包括检测相机的移动。若未检测到相机的移动时，用相机决定的第一快门速度撷取物体的影像，若检测到相机的移动时，用高于第一快门速度的第二快门速度撷取物体的影像，最后再将影像数据储存至存储装置里。

本实施例尚有许多下述特性。其中，检测相机的移动包括比较相机连续撷取的两预览影像的图样。比较的方法包括比较第一预览影像中一位置的图样与第二预览影像中对应邻近位置的图样。此方法也包括根据两预览影像的比较而产生一移动值，并且根据此移动值是否少于一既定临界值而判别相机是否移动。检测相机的移动包括分析相机内影像感测器的许多检测区域的移动。相机的移动可用数个检测区域的移动距离总和来代表。第二快门速度至少部分决定于相机的移动程度。第二快门速度也决定于与第一快门速度的既定关系。

此方法也包括对影像数据提供一增益放大程序，若此影像是用第二快门速度撷取的话。在一些例子中，此增益本质上为第二快门速度对第一快门速度的比值。在另一些例子中，此增益使用一单元群集方法(cell clusteringmethod)。增加此增益的方法包括将相机内一些感光单元的读取值加上与其邻近的感光单元的读取值。在一些实施例中，增益放大程序执行一数字式乘法(digital multiplication method)，其中影像的数个像素值乘以一倍数。在另一些实施例中，此方法弹性从两不同增益放大程序，如单元群集方法和倍数乘法，择一成为使用的增益放大程序。此方法也包括使用一自动曝光模块决定第一快门速度。

在本发明的另一实施例中，包括一方法用第一快门速度撷取物体的第一影像，且在第一影像撷取之时若检测到相机的移动，不通过使用者的控制，自动以第二快门速度撷取物体的第二影像，其中第二快门速度高于第一快门速度。

此实施例尚有许多下述特性。测量相机的移动包括使用一机械感测器以量测移动。此方法包括对撷取的第二影像使用增益放大程序。在一些例子中，增益本质上等于第二快门速度对第一快门速度的比值。在另一些例子中，此增益放大程序使用一单元群集方法。

本发明还有一实施例，包括一相机，其中有一移动检测模块以检测相机的移动，一影像感测器以撷取影像及产生影像信号，一影像处理模块以处理该影像信号并产生影像数据。此相机还有一控制模块，若未检测到相机移动时使影像感测器以第一曝光时间撷取第一影像，且若检测到相机移动时使影像感测器以少于第一曝光时间的第二曝光时间撷取第二影像。

此实施例尚有许多下述特性。此相机包括一自动曝光模块以决定第一曝光时间。此相机也包括一存储装置以储存数据。控制器使第一影像的影像数据储存于存储装置中，但若相机的移动值大于一临界值时，则删除存储装置中第一影像的影像数据。在一些例子中，通过比较从相机连续撷取的第一预览影像和第二预览影像的图样，移动检测模块得以检测相机移动。此移动检测模块通过计算第一预览影像上一位置的图样与第二预览影像上对应相邻位置的图样的相关性，比较第一和第二预览影像。此移动检测模块基于第一和第二预览影像的比较而产生一移动值，且若此移动值小于一既定临界值，则决定此相机的移动未检测到。此移动检测模块通过分析影像感测器上的检测区域移动而检测相机移动。此移动检测模块通过计算数个检测区域的次像素(subpixel)的移动距离总和，而分析检测区域的移动。在一些例子中，此移动检测模块包括一机械移动感测器。

影像处理模块用以增加第二影像的影像信号增益。在一些例子中，此影像处理模块根据第二曝光时间对第一曝光时间的比值而增加增益。在另一些例子中，此影像处理模块使用单元群集方法增加增益。此影像处理模块通过将一感测单元的读取值加上与其邻近的感测单元的读取值而增加增益。

通过使用预览影像数据检测相机移动，或是当检测到相机移动时，用高快门速度的影像取代先前用正常快门速度的影像，对于先前的方法而言，存储器大小可以降低，且取得清晰影像的总运算时间也可减少。

附图说明

图1为一数码相机。

图2为操作此数码相机的流程图。

图3为操作此数码相机的事件出现时序图。

图4为相机在不同快门速度的移动距离比较。

图5为相机在不同快门速度下，光载子储存在影像撷取装置的比较。

图6A为移动检测区域的配置。

图6B为另一移动检测区域的配置。

图7A至图7C分别为绿、红、蓝光感测单元的配置。

图8A、图8B为感测单元的配置。

附图标号

101物体    102镜片模块    103快门

104影像感测器             105模拟/数字转换器

106影像处理模块           107移动检测模块

108自动曝光模块           109存储装置

116控制器                 118静态影像数据

150移动检测区域           152次像素

154a先前预览影像的位置    154b目前预览影像的位置

160a-160e绿光感测单元     162a-162e红光感测单元

164a-164e蓝光感测单元     170、172、174、176感测单元

具体实施方式

图1为一数码相机100，当检测到相机移动时，可增加快门速度以减少影像模糊。在一些例子里，可在影像被撷取之前先感测出相机的移动。如果相机移动超过一定的临界值，即以高速快门撷取影像。在另一些例子里，相机的移动是在以正常快门撷取影像的同时被感测的。如果相机的移动超过一定的临界值，则此影像就弃之不用，另一个影像则以较高的快门速度来撷取。

数码相机100包括镜片模块102以聚焦人或物体的影像101至影像感测器104(如电荷耦合装置感测器，CCD或互补式金氧半导体感测器，CMOS)。影像感测器104包括感测单元阵列，可以转换光源至模拟电子影像信号112，再通过模拟/数字转换器105转换至数字影像信号114。在一些例子中，每个感测单元包括一个放置于光检测器(photodetector)前的彩色滤光器(colorfilter)。这些彩色滤光器可以允许红、绿、或蓝光通过，所以一些单元可以检测红光，一些单元可以检测绿光，以及一些单元可以检测蓝光。

镜片模块102(或是相机的本身)可以包括一光圈装置(diaphragm)可决定光圈(aperture)大小，光圈可以控制通过影像感测器104每单位时间的光量。快门103由自动曝光模块108所控制，作用在于决定曝光时间，且与光圈一起控制通过影像感测器104的光量。自动曝光模块108根据特定因素决定曝光的时间，例如入射光线的强度或是光圈大小。举例而言，高速快门的使用表示快门仅在很短的时间内打开。在这个例子里面，快门103为一机械式快门。

数字影像数据114被传送至影像处理模块106、移动检测模块107、以及自动曝光(auto exposure，AE)模块108。移动检测模块107通过测量预览影像的差异而检测相机移动。影像处理模块106处理数字影像数据114和产生符合业界标准的静态影像数据118，如JPEG格式。静态影像数据118记录于存储装置109(例如闪存存储器)。预览影像显示器110(可为观景器的一部分)显示影像感测器104所感测的光学影像预览。控制器116控制许多上述元件的操作。

在上述的例子中，相机是假设使用自动曝光模式，也就是相机100自动决定快门速度。

图2为处理程序120的例子，操作相机以撷取较不模糊的影像。首先相机100开机使用(如步骤122)。预览影像显示器110显示被撷取到的预览影像(如步骤124)。使用者半按快门键以让相机100对物体对焦101，并决定一快门速度。通过比较在使用者在全按快门键之前的数个预览影像差异，执行移动检测(如步骤126)。

若未检测到相机移动或是相机的移动低于一临界值时，影像感测器104以自动曝光模块108决定的正常快门速度撷取静态影像(如步骤128)，且产生影像数据。影像处理模块106以正常处理程序处理影像数据(如步骤130)，且处理过的影像数据被写入至存储装置109中(如步骤132)。写入至存储装置109的影像数据为使用者可观看、打印、或上传至电脑作进一步处理的最终影像。

在此处的“正常快门速度”指的是由自动曝光模块108决定的快门速度，举例而言，当选择一特定光圈的时候，进入影像感测器的入光量应该为多少。适当的快门速度有足够的时间使影像感测器104收集足够的光线以产生适当亮度与低噪点的影像(根据一预存的演算法)，曝光时间也必须够短以避免影像过度饱和。有一些例子里，正常快门速度的决定是不考虑相机移动的。

若检测到相机移动高于此临界值，影像感测器104将以较高快门速度撷取影像(如步骤134)。此高快门速度可以为正常快门速度的N倍。影像处理模块106可用包括一增益放大程序的处理方式处理影像数据(如步骤136)。处理过的影像数据最后写入至存储装置109(如步骤138)。

图3为程序140操作数码相机100的事件时序图。当使用者全按快门键以撷取静态影像时，开始执行移动检测(如步骤142)，并同时以自动曝光模块108决定的正常快门速度撷取一初始静态影像(如步骤144)。在此例中，不使用比较预览影像的移动检测模块107检测相机的移动，而是用机械式检测方法(例如加速度计)检测相机移动。如果相机移动低于一临界值时，使用正常快门速度拍的初始影像将记录成最终影像并记录于存储装置109。

如果相机移动超过此临界值，在步骤144里现存任何撷取到或记录的影像数据将被删除(如步骤146)，而一个新的静态影像将以高快门速度(如一个高于由自动曝光模块108决定的正常快门速度)所撷取(如步骤148)。此新的静态影像数据将根据下述的增益放大程序作处理，此处理过的影像数据将以最终静态影像被储存至存储装置109。

该增益放大程序详述如下。

图4为正常快门速度和高快门速度累积光量的比较图。当正常快门速度被使用时，快门在时间间隔T1里被打开，而影像感测器104所接收的累积光量则表示成I1。当使用高快门速度时，快门在时间间隔T2里被打开，而影像感测器104所接收的累积光量则表示成I2。影像感测器104所接收的光量本质上正比于快门的开启时间，所以I1∶I2＝T1∶T2。

正常快门速度的时间T1为自动曝光模块108所决定的时间，此时间足够获得具有适合亮度的影像。因为T2短于T1，T2时间内影像感测器接收的累积光量可能不足以产生具有合适亮度的影像。因此，用高快门速度撷取到的第二影像使用增益放大程序作处理，而其中用以放大未经处理影像数据的增益大致上等于T1/T2。

图5为因手震造成的相机移动之下，使用正常快门速度和高快门速度的比较。当相机的移动是因手的震动所造成时，相机移动的速度在一小段时间内可视为定值，所以相机影响影像清晰度的移动量，本质上正比于快门103开启的时间。在这个例子中，相机100分别在正常快门与高快门下移动了X1和X2的距离。通过增加快门速度(降低快门开启的时间)，撷取影像时相机的移动可因此减少，所以降低影像的模糊度。高快门速度的移动距离X2比起正常快门速度的移动距离X1减少了T2/T1倍。T1和T2分别是正常快门速度和高快门速度下的曝光时间。

下面叙述说明移动检测模块如何使用数张预览影像检测相机移动。

参考图6A，影像感测器104包括用来检测相机移动的移动检测区域150。相机的移动是通过移动检测区域150的移动所估算的，这些移动检测区域150内的感测单元所撷取到的部分影像可被用来处理计算。

相机100在相机打开后可持续显示最新画面于预览影像显示器110上。影像感测器104持续撷取经处理过并显示于预览影像显示器110的预览影像。存储器缓冲器(未显示)储存显示于预览影像显示器110的预览影像数据。此存储器缓冲器也储存预览影像中移动检测区域150的像素数据。当使用者半按快门键想撷取影像时，先前预览影像中移动检测区域150的像素数据将与目前预览影像的像素数据作比对工作。

参考图6B，每个移动检测区域150包括一5×5的感测单元阵列152。相机移动可由这些移动检测区域150所估算，而其中可以计算先前预览影像和目前预览影像中5×5的次像素关联性。移动检测模块107比较先前预览影像中每个移动检测区域所撷取的5×5次像素阵列和目前预览影像中相对位置或邻近位置所撷取的5×5次像素阵列。在此处所指的“次像素”指的是一个彩色像素中，红色、绿色、或蓝色次像素的其中之一。

举例而言，如果移动检测区域150所撷取的5×5次像素阵列在先前预览影像的位置154a，且此阵列高度相关于目前预览影像的位置154b的5×5次像素阵列，就表示相机100相对于一物体(表示成5×5的次像素阵列)在两预览影像的拍摄时间内已经移动或倾斜。每个检测区域150的移动值Xi(i＝1到n，n为移动检测区域150的数目，在此例中n＝8)，由两预览影像中高度相关的5×5次像素阵列的距离所计算。平均移动值 X为 X＝(X1+X2+...Xn)/n。

若 X等于或大于一既定临界值Xc，控制器116将使静态影像以高快门速度撷取。此静态影像用一增益放大程序作处理并当成最终影像储存于存储装置109。临界值Xc可能在不同的相机而有所不同，并且可以对每种型式的相机实验而决定值的大小。

若 X小于此既定临界值Xc，则控制器不作用，所以影像可以正常快门速度撷取。撷取的影像以正常影像处理程序作处理，并储存于存储装置109。

下面将描述使用单元群集方法(cell clustering method)的增益放大程序。当使用高快门速度时，快门打开的时间比正常快门速度还短，所以影像感测器104收集的光载子(photo carriers)比较少。为了弥补减少的光载子，从影像感测器104读取的信号使用单元群集方法作放大，其中每个单元的读取值通过与四个邻近单元的读取值相加而放大。

图7A至图7C分别为检测绿、红、蓝光的感测单元配置图。较多检测绿光的感测单元配置是因为人眼对绿光较敏感的缘故。

图7A中，绿光感测单元160a的读取值可与邻近相同颜色的感测单元160b、160c、160d、和160e读取值相加而作调整。感测单元160a的最终值可为感测单元160a至160e的加权平均。例如，读取值可根据下列公式：

V’center＝a×(V1+V2+V3+V4)/4+b×Vcenter，(公式1)其中Vcenter、V1、V2、V3、和V4分别为感测单元160a、160b、160c、160d、和160e的读取值，V’center为感测单元160a的最终值，a和b为系数。如果a和b符合a+b＝1的，则V’center近似于Vcenter。通过增加a和/或b，V’center可高于Vcenter。举例而言，若a＝4且b＝1，则可获得的增益为五倍(也就是V’center可获得的值大约为Vcenter的五倍)。

同样地，图7B中，红光感测单元162a的读取值可与感测单元162b、162c、162d、和162e的读取值以相似于公式1的计算而调整。图7C中，蓝光感测单元164a的读取值可与感测单元164b、164c、164d、和164e的读取值以相似于公式1的计算而调整。

有单元群集方法的增益放大程序实际上是利用空间滤波效应(spatialfiltering)。通过比较的方式，如果单元160a的读取值乘以4，则包括在读取值内的噪点也会跟着放大。当使用单元群集方法时，影像的解析度和锐利度可能会降低，因为物体101的外形超出了几个像素。于是，为了避免外观解析度的损失，数字式乘法(digital multiplication method)可以在此使用，其中每个感测单元的读取值都乘以一既定的增益乘数比值。相机100可基于使用者定义的精致度设定，在单元群集方法和数字式乘法之间自动选择。例如相机100提供“普通”、“良好”、“非常良好”的解析度设定。假如使用者选择“普通”和“良好”的解析度设定时，使用单元群集方法，若使用者选择“非常良好”时，则使用数字式乘法。

通过使用预览影像数据检测相机移动，或是当检测到相机移动时，用高快门速度的影像取代先前用正常快门速度的影像，对于先前的方法而言，存储器大小可以降低，且取得清晰影像的总运算时间也可减少。

数个本发明的实施例已详述于上。然而，有许多修改可以实现而不脱离本发明的精神与范围。例如在数码相机100里，机械式快门可用电子式快门取代，其中来自影像感测器104的信号将在一段预设的时间内被撷取(相较于机械式快门的开启时间)，并处理成撷取的影像。能录制影片和静态影像的摄录影机也能使用上述的方法以产生降低模糊的静态影像。通过使用不同的滤光器，影像感测器104可有感测单元可以感测红、绿、蓝以外的颜色，像是青绿、洋红、或是黄色。影像感测器104可用以撷取黑白影像，而每个感测单元对应至影像的每个像素。在一些感测单元的例子里，除了分别使用图7A至图7C的红、绿、蓝的像素以外，使用堆迭在一起的三层感测器也可依序感测影像里每个像素的红、绿、蓝光，其中每层感测器分别感测红、绿、蓝光。

相机100可使用与上述方法不同的增益放大程序。相机100可依据不同于上述的标准而弹性切换不同的增益放大程序。此单元群集方法可使用不同的单元数目。例如图8A，感测单元170的读取值可通过与邻近八个感测单元172的读取值相加而调整。而图8B中，感测单元174的读取值可通过十二个邻近感测单元176的读取值而调整。除了当使用高快门速度时，在感测单元的读取值增加增益，控制器116也可增加光圈值以增加入光量至影像感测器104。结合光圈增加与增益增加，可使用在景深(field ofdepth)没有因光圈增加而显著改变的情况下。

模拟/数字转换器105、影像处理模块106、移动检测模块107、自动曝光模块108和控制器116的其中几个可以结合成一个单元。例如数字信号处理器和中央处理单元可执行上述105-108和116单元的功能。这些单元的功能可使用硬件实现、软件实现、或是软硬件结合实现。当预览影像被影像处理模块106用来检测相机移动时，预览影像显示器110可以关闭以保持电力。

因此，其他的实现方式与应用也不脱离本发明权利要求的范畴。

Claims (28)

1.一种减少影像模糊的方法，其特征在于，该方法包括：

检测一相机的一移动；

当未检测到所述的相机的所述的移动时，用所述的相机决定的一第一快门速度撷取一物体的一影像；

当检测到所述的相机的所述的移动时，用所述的相机决定的一第二快门速度撷取所述的物体的所述的影像，其中所述的第二快门速度高于所述的第一快门速度；以及

储存所述的撷取的影像数据至一存储装置。

2.如权利要求1所述的减少影像模糊的方法，其特征在于，检测所述的相机的所述的移动包括比较所述的相机连续撷取的一第一预览影像与一第二预览影像。

3.如权利要求2所述的减少影像模糊的方法，其特征在于，该方法还包括：

计算所述的第一预览影像中一位置的一图样，与所述的第二预览影像中数个邻近对应位置的数个图样的一关联性；

根据所述的关联性比较产生一移动值；以及

当所述的移动值小于一既定临界值时，判别所述的相机的所述的移动未检测到。

4.如权利要求1所述的减少影像模糊的方法，其特征在于，检测所述的相机的所述的移动包括分析所述的相机的一影像感测器中数个检测区域的移动，其中所述的相机的所述的移动由所述的这些检测区域的移动的一总和所表示。

5.如权利要求1所述的减少影像模糊的方法，其特征在于，所述的第二快门速度至少由所述的相机的一移动程度所决定。

6.如权利要求1所述的减少影像模糊的方法，其特征在于，所述的第二快门速度基于与所述的第一快门速度的一既定关系所决定。

7.如权利要求1所述的减少影像模糊的方法，其特征在于，该方法还包括当所述的影像使用所述的第二快门速度撷取时，对所述的撷取的影像使用一增益放大程序。

8.如权利要求7所述的减少影像模糊的方法，其特征在于，所述的增益放大程序的一增益本质上等于所述的第二快门速度对所述的第一快门速度的一比值。

9.如权利要求7所述的减少影像模糊的方法，其特征在于，所述的增益放大程序使用一单元群集方法，且其中该单元群集方法包括在所述的相机内一感测单元的一读取值，加上至少一邻近感测单元的一读取值。

10.如权利要求7所述的减少影像模糊的方法，其特征在于，所述的增益放大程序执行一数字式乘法，且其中所述的影像的数个像素值乘以一倍数增益。

11.如权利要求7所述的减少影像模糊的方法，其特征在于，该方法还包括从至少两相异增益放大程序中，弹性选择所述的增益放大程序。

12.如权利要求11所述的减少影像模糊的方法，其特征在于，所述的弹性选择包括从一单元群集方法和一数字式乘法择一成为所述的增益放大程序。

13.如权利要求1所述的减少影像模糊的方法，其特征在于，该方法还包括使用一自动曝光模块以决定所述的第一快门速度。

14.一种减少影像模糊的方法，其特征在于，该方法包括：

以一第一快门速度撷取一物体的一第一影像；以及

当撷取所述的第一影像时检测到一相机的一移动，则未经一使用者的特定控制，自动地以快于所述的第一快门速度的一第二快门速度撷取一第二影像。

15.如权利要求14所述的减少影像模糊的方法，其特征在于，检测所述的相机的所述的移动包括使用一机械感测器以测量所述的移动。

16.如权利要求14所述的减少影像模糊的方法，其特征在于，该方法还包括对所述的第二影像使用一增益放大程序。

17.如权利要求16所述的减少影像模糊的方法，其特征在于，所述的增益放大程序的一增益本质上等于所述的第二快门速度对所述的第一快门速度的一比值。

18.如权利要求16所述的减少影像模糊的方法，其特征在于，所述的增益放大程序使用一单元群集方法。

19.一种相机，其特征在于，该相机包括：

一移动检测模块，该模块用以检测所述的相机的一移动；

一影像感测器，该感测器用以撷取一影像并产生一影像信号；

一影像处理模块，该模块用以处理从所述的影像感测器来的影像信号，并产生影像数据；以及

一控制模块，当未检测到所述的移动时，使所述的影像感测器以一第一曝光时间撷取一第一影像，以及当检测到所述的移动时，使所述的影像感测器以短于所述的第一曝光时间的一第二曝光时间撷取一第二影像。

20.如权利要求19所述的相机，其特征在于，该相机还包括一自动曝光模块以决定所述的第一曝光时间。

21.如权利要求19所述的相机，其特征在于，该相机还包括一存储装置以储存所述的影像数据，其中，所述的控制器使所述的第一影像储存于所述的存储装置，若所述的移动大于一临界值时，则抹除所述的存储装置内所述的第一影像。

22.如权利要求19所述的相机，其特征在于，所述的移动检测模块通过比较从所述的影像感测器连续撷取的一第一预览影像和一第二预览影像，检测所述的相机的所述的移动，且其中所述的比较还包括计算所述的第一预览影像内一位置的图样与所述的第二预览影像内数个对应邻近位置的图样的相关性。

23.如权利要求22所述的相机，其特征在于，所述的移动检测模块根据比较所述的第一和第二预览影像产生一移动值，当所述的移动值少于一既定临界值时，判别所述的相机的所述的移动未检测到。

24.如权利要求19所述的相机，其特征在于，所述的移动检测模块通过分析所述的影像感测器内数个检测区域的移动而测量所述的相机的所述的移动，而其中所述的分析包括计算所述的这些检测区域内数个次像素的移动距离的一总和。

25.如权利要求19所述的相机，其特征在于，所述的移动检测模块包括一机械移动感测器。

26.如权利要求19所述的相机，其特征在于，所述的影像处理模块用以对所述的第二影像的所述的影像信号增加一增益。

27.如权利要求26所述的相机，其特征在于，所述的增益为所述的第一曝光时间对所述的第二曝光时间的比值。

28.如权利要求26所述的相机，其特征在于，所述的影像处理模块使用一单元群集方法，且其中该单元群集方法包括将一感测单元的一读取值加上至少一邻近感测单元的读取值。

Images