具体实施方式
尽管该说明书包含许多细节,但是这些都不应当被曲解为对本发明或权利要求的范围的限制,而是相反作为特定于本发明的具体实施例的描述。在该说明书中的独立实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或者以任何适当的子组合方式来实现。
应当理解,说明书和所附权利要求书中使用的术语不必限于一般的字典含义,但是应当基于相应于此处所描述的本发明的技术内容的含义和概念进行解释。
根据本发明的使用目标跟踪的数字图像稳定的装置与各种数字拍摄设备相关联。数字拍摄设备例如包括数码相机、数码摄像机、或者具有内置数码相机的移动电话、PDA或个人多媒体播放器。数字拍摄设备被配置用来(a)通过用户的快门操作获取图像,(b)将所获取的图像转换为数字图像,以及(c)将该数字图像存储在存储介质中。
与传统相机不同,商业数字拍摄设备支持预览功能,用于通过诸如LCD之类的取景器(view finder)显示器在拍摄之前查图像。因此,用户查看以短帧间隔更新的图像。并且当用户在取景器中看到期望的图像时,用户操作快门来获取数字静止图像。
根据本发明的使用目标跟踪的数字图像稳定装置获取在第一曝光值条件下拍摄的第一数字图像和在第二曝光值条件下拍摄的多个第二数字图像(即,第二曝光值条件的EV小于第一曝光值条件的EV)。通过跟踪在具有多个目标的二进制图像或反转二进制图像中的一个目标,该装置计算每个比较第二数字图像相对于基准第二数字图像的运动值,根据每个计算的运动值补偿相应第二数字图像的运动,将运动补偿后图像与基准图像重叠以便生成手抖动补偿后图像,并且使用第一数字图像的属性来校正手抖动补偿后图像的属性。
在本发明的示例性实施例中,第一数字图像是预览图像,第二数字图像是被捕捉的静止图像。预览图像是在操作快门之前以短帧间隔在取景器上显示的数字图像,被捕捉静止图像是在操作快门时以用户设置的分辨率拍摄的物体的静止数字图像。然而,本发明不限于这一点。第一数字图像应当被解释为在比第二数字图像更高的曝光值条件下被捕捉并以如此短帧间隔以致消除手抖动效果影响被拍摄的数字图像。
参考图1,根据本发明的使用目标跟踪的数字图像稳定的装置包括图像信号处理单元110、手抖动补偿单元120和图像属性校正单元130。图像信号处理单元110从图像传感器100接收在第一曝光值条件下拍摄的预览图像信号和在第二曝光值条件下拍摄的多个被捕捉静止图像信号。图像信号处理单元110执行数字图像信号处理,并且在显示单元170输出相对于第一曝光值条件的预览图像数据和对应于第二曝光值条件的多个被捕捉静止图像数据。手抖动补偿单元120通过在多个被捕捉静止图像的二进制图像和反转二进制图像中跟踪一目标,补偿比较被捕捉静止图像相对于基准被捕捉静止图像的运动,并且将运动补偿后图像与基准图像重叠,以便生成手抖动补偿后图像。图像属性校正单元130使用预览图像的相应属性来校正手抖动补偿后图像的属性。
优选地,第一曝光值大于第二曝光值。也就是,“EV1>EV2”,其中EV1是第一曝光值,EV2是第二曝光值。优选地,第一曝光值是数字拍摄设备的自动曝光模式的曝光值。曝光值缩写为EV,其通过包括表示图像传感器100的快门速度的“f”和表示图像传感器100的灵敏度的ISO增益(下文中称作“I”)的参数来定义。
在数字拍摄设备的快门操作之前,图像传感器100以短帧间隔(例如,30f/s)生成并输出预览图像(AP)。当快门操作时,图像传感器100以短帧间隔持续地输出多个被捕捉静止图像。该多个被捕捉静止图像以比预览图像更长的帧间隔输出。图像传感器100可以是使用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术的图像拾取装置。然而,本发明不限于特定类型的图像传感器。
预览图像是以非常短的帧间隔持续地生成的。因此,在第一曝光值条件下获取的预览图像没有拍摄者的手抖动引起的图像模糊。预览图像中包含的物体的范围与多个被捕捉静止图像中包含的物体的范围基本相同。预览图像在自动曝光模式中生成,并且因此保持物体适当的亮度和色彩属性。
相反,被捕捉静止图像是在比预览图像的第一曝光值条件更短的曝光时间条件下获取的。因此,被捕捉静止图像几乎不受手抖动影响。当图像传感器100的曝光时间减少时,手抖动的影响也减少。然而,如果当获取被捕捉静止图像时曝光时间减少,则被捕捉静止图像不与预览图像一样保持物体的亮度和色彩属性。同时,被捕捉静止图像具有由数字拍摄设备的用户设置的尺寸,例如长度和宽度,并且该尺寸相对于预览图像的尺寸更大。
优选地,根据本发明的用于数字图像稳定的装置还包括模式转换单元140和传感器控制器150。该模式转换单元140将图像传感器100的曝光值条件从第一曝光值条件转换为第二曝光值条件。在快门操作之前,模式转换单元140控制传感器控制器150将图像传感器100设定为第一曝光值条件,并且以预览模式操作图像传感器100。因此,图像传感器100以预定的帧间隔(例如30f/s)生成预览图像的模拟图像,并且将该模拟图像输出到图像信号处理单元110。然后,图像信号处理单元110数字化该预览图像信号,并且将该预览图像输出到显示单元170。显示单元170在取景器上以运动图像的形式显示该预览图像。
当快门操作时,模式转换单元140基于第一曝光值条件自适应地确定第二曝光值条件,并且控制传感器控制器150将图像传感器100的曝光值条件从第一曝光值条件转换为第二曝光值条件。因此,图像传感器100被配置用于静止图像捕捉模式。
自适应地确定曝光值条件是指基于第一曝光值条件相对于预定的曝光值组来确定第二曝光值条件。为此,优选地,传感器数据表160被提供来创建定义第一曝光值条件的参数(即,“f”值和“I”值)与定义第二曝光值条件的参数(即,“f”值和“I”值)之间的一对一的映射。传感器数据表160被记载,并且当所述装置操作时被参考。同时,本发明根据第一曝光值条件自适应地确定第二曝光值条件,并且用于自适应地确定曝光值条件的技术配置不限于上述示例。
模式转换单元140控制传感器控制器150来设置图像传感器100的曝光值条件。传感器控制器150在快门操作之前将图像传感器100设置为第一曝光值条件,并且当快门操作时将图像传感器100设置为第二曝光值条件。传感器控制器150从模式转换单元140接收对应于第一曝光值条件和第二曝光值条件的参数。如上所述,所述参数包括快门速度“f”和ISO增益“I”。
当图像传感器100的曝光值条件被设置为第二曝光值条件时,传感器控制器150将用于捕捉多个被捕捉静止图像的信号发送到图像传感器100。然后,图像传感器100以正常帧间隔持续地生成多个被捕捉静止图像,并且将该被捕捉静止图像输出到图像信号处理单元110。
在快门操作之前,图像信号处理单元110接收在图像传感器100中以正常的帧间隔生成的预览图像,执行模数转换,并且将预览图像输出到显示单元170。而且,当快门操作时,图像信号处理单元110从图像传感器100接收以正常的帧间隔持续生成的多个被捕捉静止图像,执行模数转换,并且将数字图像信号输出到手抖动补偿单元120。被转换为数字图像信号的预览图像数据和被捕捉静止图像数据包括用于图像中包含的每个像素的亮度信号(Y)和色彩差信号(Cb和Cr)。数字图像信号可以是YUV(YCbCr)颜色坐标系统以外的颜色坐标系统(例如RGB(红、绿、蓝)颜色坐标系统)中的信号。
图像信号处理单元110将预览图像转换为数字信号,并且可以将预览图像降级(downscale)到符合按照取景器的显示器的标准分辨率(例如320*240或240*320)。图像信号处理单元110将多个被捕捉静止图像转换为数字信号,并且可以将该被捕捉静止图像降级到符合由拍摄者设置的图像分辨率(320*240或256*192)。
使用用户接口来设置被捕捉静止图像的图像分辨率。用户接口是提供给数字拍摄设备的普通接口,用于操作快门并且调节用于获取数字图像所需的各种参数(例如图像传感器100的焦距、光学或数字变焦(zoom-in/zoom-out)、白平衡或曝光模式)。在数字拍摄设备被安装在诸如移动电话之类的手持式终端时,用户接口可具体为手持式终端的小键盘。
图像信号处理单元110在现有技术中已知为ISP(图像信号处理器),并且用于数字化图像信号的处理为本领域的普通技术人员公知。因此,省略对图像信号处理单元110的详细描述。如图2所示,手抖动补偿单元120包括目标标记单元121、运动值计算单元122、运动补偿单元123和补偿后图像生成单元124。
手抖动补偿单元120通过对从多个被捕捉静止图像中选择的基准图像进行目标跟踪,补偿每个比较图像相对于基准图像的运动。手抖动补偿单元120将运动补偿后图像与基准图像重叠,以便生成手抖动补偿后图像。
使用目标跟踪对比较图像相对于基准图像的运动的补偿包括提取基准图像和比较图像中包含的目标,标记该目标,匹配所标记的目标,定量地计算匹配后目标的运动值,并且将所计算的运动值施加到比较图像。
目标标记单元121在快门操作之后立即从图像信号处理单元110接收多个被捕捉静止图像。目标标记单元121将该多个被捕捉静止图像分类为一个基准图像和多个比较图像。存在至少一个比较图像。然后,目标标记单元121从基准图像和每个比较图像中提取目标,并且标记所提取的目标。优选地,目标标记单元121选择最先拍摄的被捕捉静止图像作为基准图像。或者,目标标记单元121可以选择最后拍摄或者中间拍摄的被捕捉静止图像作为基准图像。例如,如果拍摄了5个被捕捉静止图像,则可以选择第一图像、第三图像或第五图像作为基准图像。
目标是二进制化图像中彼此相连的白像素组。当目标的像素数目超过临界值(例如30000)时,目标标记单元121可以将相应的目标当作背景。优选地,目标标记单元121使用4相连成分标记或8相连成分标记来提取目标。该4相连成分标记基于目标像素而跟踪上、下、左和右方向的四个像素以便提取目标,该8相连成分标记除了跟踪上、下、左和右方向的四个像素之外还跟踪目标像素的对角方向的四个像素。此外,目标标记单元121可以使用闭合轮廓目标扫描方法或者开放轮廓目标扫描方法来提取目标。上述的目标提取方法为本领域的普通技术人员公知,因此省略它们的描述。
图3图示了根据本发明第一实施例的目标标记单元121,图4图示了根据本发明第二实施例的目标标记单元421。
参考图3,根据本发明第一实施例的目标标记单元121包括:(1)图像二进制化器1211,用于将基准图像和每个比较图像转换为黑白二进制图像;(2)图像反转器1213,用于通过每个二进制图像的白和黑反转将基准图像和每个比较图像的二进制图像转换为反转二进制图像;(3)目标标记器1212,用于从每个二进制图像和每个反转二进制图像中提取目标,并且标记所提取的目标;和(4)图像选择器1214,用于(a)将从基准图像的二进制图像中提取的目标的数目与从基准图像的反转二进制图像中提取的目标的数目进行比较,以及(b)选择具有更多目标的图像(二进制图像或反转二进制图像)作为目标跟踪图像。
图像二进制化计算图像的直方图分布。如果像素的亮度大于特定阈值,则将该像素设置为白,如果像素的亮度小于特定阈值,则将该像素设置为黑。下文中,用于基于特定阈值将每个像素设置为黑或白的处理被称作限值(thresholding)步骤。从直方图分布计算的图像的平均亮度值可被用作阈值。然而,本发明不限于这一点。
参考图4,根据本发明第二实施例的目标标记单元421包括:(1)图像二进制化器1211,用于通过限值步骤将基准图像和每个比较图像转换为二进制图像;(2)图像反转器1213,用于通过白和黑转换将基准图像和每个比较图像的二进制图像转换为反转二进制图像;(3)图像滤波器1215,用于过滤基准图像和每个比较图像,以便锐化所述图像的边界;(4)图像合成器1216,用于(a)将从图像滤波器1215接收的边界锐化后图像与从图像二进制化器1211接收的相应二进制图像进行合成,(b)将从图像滤波器1215接收的边界锐化后图像与从图像反转器1213接收的相应反转二进制图像进行合成,以及(c)输出合成后二进制图像和合成后反转二进制图像;(5)目标标记器1212,用于(a)从自图像合成器1216接收的每个合成后二进制图像和每个合成后反转二进制图像中提取目标,以及(b)标记所提取的目标;和(6)图像选择器1214,用于(a)将从基准图像的合成后二进制图像中提取的目标的数目与从基准图像的合成后反转二进制图像中提取的目标的数目进行比较,以及(b)选择具有更多目标的图像(合成后二进制图像或合成后反转二进制图像)作为目标跟踪图像。合成后二进制图像是与边界锐化后图像合成的二进制图像,并且合成后反转二进制图像是与边界锐化后图像合成的反转二进制图像。
当如上所述从具有锐化后边界的合成后二进制图像和合成后反转二进制图像中提取目标时,因为目标的边界被增强,因此更容易地提取目标。优选地,图像滤波器1215是拉普拉斯滤波器或苏贝尔边缘滤波器。然而,本发明不限于特定类型的图像滤波器。
参考图2,运动值计算单元122从目标标记单元121接收基准图像和每个比较图像的标记后目标数据。然后,运动值计算单元122将基准图像的目标与每个比较图像的目标进行匹配,并且计算每个目标的参数。
上面的目标数据是指在被选择为目标跟踪图像的二进制图像或者反转二进制图像上标记的目标数据。也就是,如果二进制图像被选择为目标跟踪图像,则目标数据是在基准图像和每个比较图像的二进制图像中标记的目标。另一方面,如果反转二进制图像被选择为目标跟踪图像,则目标数据是在基准图像和每个比较图像的反转二进制图像上标记的目标。
替换地,目标数据可以是被选择为目标跟踪图像的合成后二进制图像或者合成后反转二进制图像上标记的目标数据。也就是,如果合成后二进制图像被选择为目标跟踪图像,则目标数据是在基准图像和每个比较图像的合成后二进制图像上标记的目标数据。另一方面,如果合成后反转二进制图像被选择为目标跟踪图像,则目标数据是在基准图像和每个比较图像的合成后反转二进制图像上标记的目标数据。
图7概念地图示由运动值计算单元122计算的目标的参数。目标的参数包括:目标的面积(S);该目标的边界长度(边界的外围长度);以及当该目标包含具有预定边际(margin)的正方形边界中时,该正方形的中心坐标(O);该目标的质心坐标(C);在穿过中心坐标(O)并且在其两端处与目标的边界相交的线当中的主轴(major axis)长度(Max0)和次轴(minor axis)长度(Min0)和它们的角度;在穿过质心坐标(C)并且在其两端处与目标的边界相交的线当中的主轴长度(MaxC)和次轴长度(MinC)和它们的角度;连接各目标的质心坐标(C)的每条连接线的长度;以及当目标的质心坐标以标记顺序连接时连接线(L)之间的角度。
接着,运动值计算单元122使用所计算的目标参数计算每个比较图像的运动值。每个比较图像的运动值是指比较目标跟踪图像相对于基准目标跟踪图像的运动值。基准目标跟踪图像是基准图像的二进制图像、反转二进制图像、合成后二进制图像或合成后反转二进制图像中的任意一个。比较目标跟踪图像是比较图像的二进制图像、反转二进制图像、合成后二进制图像或合成后反转二进制图像中的任意一个。比较目标跟踪图像和基准目标跟踪图像的种类相同。运动值定量地表示比较目标跟踪图像相对于基准目标跟踪图像的运动程度。具体地,运动值包括从由根据平移的运动值、根据旋转的运动值、根据按比例缩放的运动值和根据穿越(shear)的运动值、或者它们的组合组成的组中选择的任意一个。
通过几何地分析基准目标跟踪图像和比较目标跟踪图像的匹配后目标参数,计算比较目标跟踪图像的运动值。
例如,通过平均基准目标跟踪图像和比较目标跟踪图像的匹配后目标之间的中心坐标或质心坐标的差,计算根据平移的运动值。
通过将连接基准目标跟踪图像中的质心坐标的线(L)与比较目标跟踪图像中的线(L)进行匹配并且平均所匹配的线之间的角度,计算根据旋转的运动值。或者,可以通过将连接基准目标跟踪图像中的质心坐标的线(L)与比较目标跟踪图像中的线(L)进行匹配并且平均预设基准轴与所匹配的线(L)之间的角度差,计算根据旋转的运动值。
通过平均基准目标跟踪图像与比较目标跟踪图像的匹配后目标之间的主轴长度的比率、次轴长度的比率、边界长度的比率或面积的比率,计算根据比例缩放的运动值。
使用基准目标跟踪图像与比较目标跟踪图像的匹配后目标之间的主轴长度的比率、次轴长度的比率、边界长度的比率和面积的比率,或者使用当在图像的水平方向和垂直方向上计算预设基准轴与基准目标跟踪图像和比较目标跟踪图像的质心坐标的连接线之间的角度差的分布时该分布外形的梯度,计算根据穿越的运动值。
当已知了基准目标跟踪图像与比较目标跟踪图像的各种目标参数时,可以通过上述方法以外的方法来替换地计算比较目标跟踪图像相对于基准目标跟踪图像的运动值。
运动值计算单元122将所计算的每个比较图像的运动值数据输出到运动补偿单元123。运动补偿单元123计算用于补偿每个比较图像的运动的矩阵。
优选地,该矩阵是仿射变换矩阵。然而,本发明不限于特定类型的矩阵。该仿射变换矩阵公知用于执行矩阵变换,包括平移、旋转、按比例缩放和穿越。通过所计算的运动值可以运算矩阵的行和列数据。通过运动值推导矩阵的技术是现有技术中公知的,省略对其的描述。
运动补偿单元123通过推导出每个比较图像的变换矩阵,并且通过推导出的矩阵对每个比较图像执行矩阵运算,来补偿每个比较图像的运动。然后,运动补偿单元123将每个运动补偿后比较图像和基准图像输出到补偿后图像生成单元124。
比较图像的运动补偿包括下列中的任意一个:根据平移的运动补偿、根据旋转的运动补偿、根据按比例缩放的运动补偿、根据穿越的运动补偿、或者它们的组合。为了减少与比较图像的运动补偿有关的运算,优选地,以根据穿越、按比例缩放、旋转和平移的运动补偿的顺序来执行操作。然而,本发明不限于这一点。
补偿后图像生成单元124从运动补偿单元123接收每个运动补偿后比较图像和基准图像。然后,补偿后图像生成单元124将所有比较图像与基准图像进行重叠,以便生成手抖动补偿后图像,并且输出该手抖动补偿后图像。
图像重叠包括对于每个颜色通道平均基准图像和比较图像的色彩数据、以及用对于每个颜色通道获取的色彩数据的平均值来替换基准图像的色彩数据。在一些情况下,当平均每个颜色通道的色彩数据以重叠图像时,可以排除基准图像的色彩数据。
图5图示了手抖动补偿单元的另一实施例。手抖动补偿单元520包括图像尺寸修改器125,其在目标标记单元121之前。图像尺寸修改器125通过降级预览图像和多个被捕捉静止图像或者剪切所述图像的边界,来减小所述图像的尺寸。因为目标倾向于集中在图像的中心部分,因此执行用于图像尺寸修改的边界剪切。如果图像尺寸修改器125被包含在手抖动补偿单元120中,则图像二进制化器1211、图像反转器1213、目标标记器1212和图像滤波器1215对更小的尺寸修改后图像进行操作,因此减少了操作开销。在运动值计算单元122计算通过降级处理而被尺寸修改的比较图像的运动值之后,运动值计算单元122可以根据降级因子基于原始比较图像来转换计算后运动值。
图6示出了手抖动补偿单元120的又一实施例。手抖动补偿单元620包括图像选择单元126,其在目标标记器121之前。图像选择单元126将多个被捕捉静止图像分类为基本图像和比较图像。用于选择基准图像的基础如上所述。图像选择单元126计算每个比较图像相对于基准图像的运动矢量。每个比较图像的运动矢量是表示比较图像相对于基准图像的运动程度的索引,并且是以诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的典型方式来计算的。然后,如果比较图像的运动矢量的幅值过大或者运动矢量未被计算,则图像选择单元126确定基准图像中包含的物体不同于比较图像中包含的物体,并且从用于手抖动补偿的图像中排除相应的比较图像。这种情况可能发生的原因是手颤动量是在拍摄比较图像时突然侵入到图像拾取范围的额外的或者另一个物体。另一方面,如果比较图像的运动矢量在合适范围内,则图像选择单元126确定该比较图像可被用来补偿手抖动影响,并且将预览图像和被捕捉静止图像输入到目标标记单元121。而且,目标标记单元121执行如上所述的目标标记操作。
另外,图像选择单元126定量地计算基准图像与比较图像之间的亮度差。如果所述差小于预定等级,则图像选择单元126从手抖动补偿中排除相应的比较图像。例如,图像选择单元126计算基准图像与比较图像之间的异或运算后图像,计算异或运算后图像的亮度的平均值,并且将所获取的亮度平均值定义为基准图像与比较图像之间的亮度差。如果基准图像与比较图像之间的亮度差小于预定等级(例如0.85),则图像选择单元126确定目标的有意义的运动不存在,并且不将相应的比较图像输出到目标标记单元121。另一方面,如果基准图像与比较图像之间的差大于预定等级(例如0.85),则图像选择单元126确定目标的有意义的运动存在,并且将相应的比较图像输出到目标标记单元121。如上所述,使用基准图像与每个比较图像之间的亮度差的图像选择可以减少用于目标标记的操作开销。
图像选择单元126可被插入在如图5所示的图像尺寸修改器125与目标标记单元121之间。在这种情况下,图像选择单元126对尺寸修改后基准图像和尺寸修改后比较图像执行上述操作。
图8示出了根据本发明的使用目标跟踪的用于数字图像稳定的方法的示例。下述的每个步骤由本发明的装置执行。
接收预览图像和多个被捕捉静止图像(F10)。预览图像是在第一曝光值条件下获取的,多个被捕捉静止图像是在第二曝光值条件下获取的。这里,第二曝光值条件是基于第一曝光值条件自适应地确定的。而且,被捕捉静止图像之一是基准图像,其他被捕捉静止图像是比较图像。接着,选择目标跟踪图像(F20)。目标跟踪图像或者是具有更多目标的多个被捕捉静止图像的二进制图像或者是具有更多目标的多个被捕捉静止图像的反转二进制图像。然后,执行每个比较被捕捉静止图像的运动补偿(F30)。通过跟踪目标跟踪图像中的一目标,基于基准被捕捉静止图像来执行运动补偿。接着,通过将运动补偿后比较图像与基准图像重叠来生成手抖动补偿后图像(F40)。而且,基于预览图像的属性来校正手抖动补偿后图像的属性(F50)。
图9示出了根据本发明的用于生成手抖动补偿后图像的处理的示例。下述的每个步骤由手抖动补偿单元执行。
第一被捕捉静止图像被接收并且被指定为基准图像。注意,用作基准图像的被捕捉静止图像可任意地改变,并且在基准图像之后拍摄的被捕捉静止图像变成比较图像。
第二被捕捉静止图像(k=2)被接收作为比较图像(P30),并且计算比较图像相对于基准图像的运动矢量(P40)。所计算的运动矢量与临界值相比较,以便确定运动矢量的幅值是否超过预设的临界值(P50)。
如果在P50中确定未计算运动矢量或者所计算的运动矢量超过临界值,则不执行比较图像的目标标记步骤,而是执行步骤P60。如果在步骤P50中确定所计算的运动矢量未超过临界值,则执行P70,以便定量地计算基准图像与比较图像之间的亮度差。例如,计算基准图像与比较图像之间的异或运算后图像,计算异或运算后图像的平均亮度,并且将平均亮度定义为基准图像与比较图像之间的亮度差。
接着,所述处理检查基准图像与比较图像之间的亮度差是否超过预设的临界值。如果该亮度差超过预设的临界值,则在比较图像中存在目标的有意义的运动,并且执行目标标记步骤(P90)。如果该亮度差未超过预设的临界值,则省略比较图像的目标标记步骤,并执行P60。
从基准图像和比较图像中提取目标,并且通过几何运算来计算目标参数(P90)。即,(1)将基准图像和每个比较图像转换为二进制图像(或者合成后二进制图像)和反转二进制图像(或者合成后二进制图像),(2)从中检测到更多目标的这种二进制图像被选择为目标跟踪图像,(3)在基准目标跟踪图像和每个比较目标跟踪图像上标记目标,并且(4)计算目标参数。目标标记和目标参数计算如上所述。接着,从基准目标跟踪图像和每个比较目标跟踪图像中提取的目标参数彼此匹配,并且计算每个比较图像相对于基准图像的运动值(P100)。这里,每个比较图像的运动值包括下列中的任意一个:根据平移的运动值、根据旋转的运动值、根据比例缩放的运动值、根据穿越的运动值、或者它们的组合。然后,使用所计算的运动值计算用于运动补偿的矩阵,并且通过仿射变换对比较图像进行运动补偿(P110)。
接着,所述处理检查运动补偿后比较图像的顺序号(k)是否达到预设数(N)(P120)。N是用于补偿图像的手抖动的被捕捉静止图像的数目,并且被预先设置。根据P120,如果k小于或等于N,则执行步骤P60,以便使比较图像的顺序号递增1,并且所述处理返回到步骤P30。然后,输入下一被捕捉静止图像作为比较图像,计算比较图像的运动值,使用该运动值对比较图像进行运动补偿。重复该处理,直到k大于N为止。如果k大于N,则对所有比较图像都进行运动补偿,因此执行P130。
运动补偿后比较图像和没有明显运动的比较图像(其中目标的运动被确定为基本上不存在)与基准图像重叠,以便生成手抖动补偿后图像(P130)。上面描述了图像重叠。在一些情况下,可以从用于图像重叠的图像中排除其中确定目标的运动基本上不存在的比较图像。因此,对于那些图像可以省略步骤P40到P80,以便减少手抖动补偿单元120的操作开销。
尽管图9中未示出,但是本发明在从基准图像和每个比较图像中提取目标之前,可以还包括通过降级基准图像和每个比较图像或者通过剪切所述图像的边界来修改基准图像和每个比较图像的尺寸。图像尺寸修改步骤可以减少目标提取所需的操作。
在如上所述生成手抖动补偿后图像之后,图像属性校正单元130使用预览图像的属性来校正手抖动补偿后图像的属性。在快门操作的最近时间生成预览图像,并且可以从帧存储器中参考该预览图像。
图10图示了根据本发明实施例的图像属性校正单元130的配置。图像属性校正单元130包括色彩校正单元131、噪声校正单元132和亮度校正单元133。色彩校正单元131通过用预览图像的像素数据替换手抖动补偿后图像的像素数据,或者考虑预览图像与手抖动补偿后图像之间的尺寸比率,通过基于预览图像的像素数据来插值手抖动补偿后图像的像素数据,来校正手抖动补偿后图像的色彩。色彩校正单元131将色彩校正后的手抖动补偿后图像输出到噪声校正单元132。噪声校正单元132使用各种众所周知的噪声滤波器来消除手抖动补偿后图像的噪声和错误色彩,并且将噪声消除后的手抖动补偿后图像输出到亮度校正单元133。所述滤波器包括低通滤波器、中值滤波器、高斯滤波器、高斯滤波器的拉普拉斯算子或者高斯滤波器的差。然而,本发明不限于这一点,可以使用其他公知的滤波技术来消除噪声。
亮度校正单元133定量地计算预览图像与手抖动补偿后图像之间的亮度差,自适应地确定手抖动补偿后图像的亮度校正强度,并且校正手抖动补偿后图像的亮度。
分别参考图11和图12来描述色彩校正单元131和亮度校正单元133的操作。图11示出了其中色彩校正单元131基于预览图像校正手抖动补偿后图像的色彩的处理。具体地,色彩校正单元131将手抖动补偿后图像的尺寸按比例缩放到预览图像的尺寸,以便生成降级后图像(S10)。接着,色彩校正单元131使用预览图像作为基准图像来计算降级后图像的运动矢量(S20)。运动矢量表示降级后图像中的目标相对于预览图像的运动方向和运动量。运动矢量可以按照诸如MPEG(运动图像专家组)或H.26x之类的公知图像压缩标准的方式来计算。也就是,以降级后图像被划分为均匀尺寸的块的方式来计算运动矢量,并且推断出从其中每个块被移动的基准图像的面积。在计算运动矢量之后,色彩校正单元131根据该运动矢量移动预览图像的每个像素数据的位置(S30)。然后,色彩校正单元131基于完成了每个像素数据的位置移动处理的预览图像,使用插值方法来校正手抖动补偿后图像的像素数据(S40)。即,色彩校正单元131基于(当生成降级后图像时应用的)缩放因子将预览图像的每个像素数据的位置(xi,yj)转换为手抖动补偿后图像的位置(XI,YJ)。接着,色彩校正单元131用对应于预览图像的位置(xi,yj)的像素数据替换对应于手抖动补偿后图像的位置(XI,YJ)的像素数据。预览图像的像素的数目小于手抖动补偿后图像的像素的数目,因此手抖动补偿后图像的所有像素数据不被预览图像的像素数据替换。因此,色彩校正单元131使用相邻替换后的像素数据来插值手抖动补偿后图像的像素数据,以便填充未被预览图像的像素数据替换的像素。所述插值方法包括双线性(Bi-linear)插值、双三次(Bi-Cubic)插值或B-样条(B-spline)插值,然而,本发明不限于这一点。
图12示出了其中亮度校正单元133基于预览图像校正手抖动补偿后图像的亮度的处理。具体地,亮度校正单元133将手抖动补偿后图像降级到预览图像的尺寸,以便生成降级后图像(S50)。这时,不需要单独地执行步骤S50,并且可以再次使用为色彩校正而生成的降级后图像。接着,亮度校正单元133定量地计算降级后图像与预览图像之间的亮度差(S60)。该亮度差可以使用两个图像之间的直方图的平均值的差来计算。例如,在降级后图像和预览图像的直方图的平均值分别为“85”和“140”的情况下,平均值的差为“55”。接着,亮度校正单元133根据平均值的差自适应地确定亮度校正强度,并且通过所确定的强度来校正手抖动补偿后图像的亮度(S70)。可以将伽马函数或Retinex算法应用于亮度校正。在这种情况下,亮度校正强度是伽马函数或 Retinex算法的强度。为了自适应地选择亮度校正算法的强度,优选地以查找表134的形式并且参考该查找表134准备可根据平均值的差选择的强度等级。
通过定义第一曝光值和第二曝光值的参数之间的差可以定量地计算手抖动补偿后图像与预览图像之间的亮度差。也就是,手抖动补偿后图像与预览图像之间的亮度差可以通过定义第一曝光值和第二曝光值的参数(即,“f”和“I”)之间的差来进行计算。例如,在对应于第一曝光值的“f”和“I”值分别是“1/30”和“200”以及对应于第二曝光值的“f”和“I”值分别是“1/60”和“100”的情况下,快门速度和ISO增益的差分别被定量计算为“1/60”和“100”。接着,亮度校正单元133通过“f”和“I”值的差来自适应地确定亮度校正强度,并且校正手抖动补偿后图像的亮度。能够以与上述相同的方式将伽马函数或Retinex算法应用于亮度校正。在这种情况下,亮度校正强度是伽马函数或Retinex算法的强度。为了自适应地选择亮度校正算法的强度,优选地以查找表的形式并且参考该查找表准备可根据“f”和“I”值的差选择的强度等级。
本发明中用于校正手抖动补偿后图像的亮度的伽马函数或Retinex算法为本领域的普通技术人员公知,因此省略对其的详细描述。本发明不限于特定种类的亮度校正函数或算法,并且可以应用用于调节手抖动补偿后图像的亮度的各种公知的理论。
在色彩校正单元131、噪声校正单元132和亮度校正单元133分别校正手抖动补偿后图像的色彩、噪声和亮度之后,手抖动补偿后图像被编码且以图像文件的形式被输出。为此,数字图像稳定的装置可以在图像属性校正单元130之后还包括编码单元180。优选地,编码单元180通过JPEG标准来编码手抖动补偿后图像,以便生成图像文件并然后输出所生成的图像文件。然而,本发明不限于特定的编码方法。该图像文件可被存储在数字拍摄设备的备用(inactive)存储介质例如闪存中。
在上述实施例中,图像属性校正单元130以色彩、噪声和亮度的顺序校正手抖动补偿后图像的属性。然而,本发明不限于特定顺序的手抖动补偿后图像的属性的校正,并且图像属性校正能够以任意顺序执行。
图13将图像(A)与相同的图像(B)进行比较,该图像(A)由在自动曝光模式中没有图像稳定功能的典型数字拍摄设备拍摄,该图像(B)由执行根据本发明的使用目标跟踪的数字图像稳定方法的数字拍摄设备拍摄。如图 13所示,使用根据本发明的数字图像稳定方法获取的图像没有图像模糊现象,并且更加明亮和更加清晰。
根据本发明的用于数字图像稳定的方法可被整合为计算机可读介质中的计算机可读代码。该计算机可读介质包括用于存储可由计算机系统读取的数据的所有类型的存储设备。计算机可读介质的一些示例是ROM、RAM、CD-ROM、磁带、软盘或光数据存储设备。该计算机可读介质可以存储并执行在经由网络彼此连接的计算机系统中被分发并且可由计算机通过分发方法读取的代码。
上面仅描述了一些实施方式。基于本申请中所描述及所图示的本发明,可以做出其他实施方式、改进和变型。
根据本发明的一方面,与EIS和OIS技术不同,本发明能够校正由于手抖动引起的图像模糊现象,而不需要用于测量手抖动程度的硬件,例如角速度传感器或棱镜。因此,本发明减少了数字拍摄设备的制造成本并且获取良好质量的数字静止图像。
根据本发明的另一方面,与DIS技术不同,本发明在存储被捕捉静止图像时不涉及数字缩放。因此,本发明能够获取比DIS技术更好质量的数字静止图像。
根据本发明的另一方面,本发明使用保持物体的亮度和色彩属性的预览图像来校正被捕捉静止图像的属性。因此,本发明能够获取更清晰更明亮的数字静止图像。
根据本发明的又一方面,本发明使用滤波器来消除在校正被捕捉静止图像的色彩数据时产生的噪声。因此,本发明提高了图像的质量。