CN101690236A

CN101690236A - 用于估计由手抖引起的运动的设备和方法及图像拾取装置

Info

Publication number: CN101690236A
Application number: CN200880022269A
Authority: CN
Inventors: 李昌优; 申允澈; 崔东范; 南泰旭
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-08-20
Filing date: 2008-03-14
Publication date: 2010-03-31
Anticipated expiration: 2028-03-14
Also published as: CN101690236B; RU2010106087A; RU2433563C1; EP2028840A3; US8035690B2; US20090051777A1; EP2028840A2; EP2028840B1; KR20090019197A; KR101392732B1; WO2009025434A1

Abstract

提供一种用于通过使用变焦信息和焦点信息来估计图像由于手抖引起的全局运动矢量的运动估计设备和方法。所述运动估计方法包括：将拍摄的图像划分为多个图像块；基于焦点信息和变焦放大倍率信息来确定多个图像块中的每个图像块的运动矢量的权重值；预测每个图像块的运动矢量；以及通过将对于每个图像块的运动矢量确定的权重值应用于预测的运动矢量来估计全局运动矢量。

Description

用于估计由手抖引起的运动的设备和方法及图像拾取装置

技术领域

符合本发明的设备和方法涉及图像拾取设备中的运动估计，更具体地说，涉及通过使用变焦信息和焦点信息来估计由手抖引起的图像的全局运动矢量。

背景技术

多数运动图像处理使用运动补偿方式来仅估计局部对象出现在邻近帧之间的运动。该运动被称为局部运动。然而，在实际运动图像中，除了局部运动之外的运动(诸如变焦运动、延伸运动、相机旋转)影响整个图像。影响整个图像的这种运动被称为全局运动。通常，诸如相机或摄像机的图像拾取装置使用全局运动检测方法来调整帧的位置。

在所述图像拾取装置中，图像的空间位置由于手的抖动或近处的振动而随着时间改变。

通常，在通过运动相机获得的图像中，背景的运动和对象的运动同时存在，因此，在每个图像中计算全局运动，从而检测对象的运动。

在估计全局运动矢量的现有技术方法中，由于由图像拾取装置提供的变焦放大倍率而难以找到全局运动矢量。

图1A示出当放大倍率较小时拍摄的图像，图1B示出当放大倍率较大时拍摄的图像。

当手抖和对象的运动同时发生时，可在图1A所示的对象区域103中找到对象的运动。

在这种情况下，由手抖引起的运动还出现在对象图像区域103外部的区域。

然而，如果如图1B所示，变焦放大倍率变得更大，则对象图像区域104相对于整个区域102而言变得相对较大。

因此，对象的运动与通过用户操作相机得到的相机运动相比具有较小的频率，但是随着变焦放大倍率的增加，对象的运动变为整个图像中逐渐增加的部分。

发明内容

技术问题

结果，如果变焦放大倍率增加，则对象的运动对整个图像的影响越来越大，从而在选择由于手抖引起的全局运动矢量时存在问题。

技术方案

本发明提供一种用于估计由手抖引起的运动的设备和方法，其中，可通过以下处理来精确地估计由手抖引起的全局运动：根据变焦放大倍率信息和焦点信息，在诸如相机和摄像机的图像拾取装置中设置多个图像块中的每个图像块的运动矢量的权重值。

本发明还提供一种使用估计由手抖引起的运动的设备和方法的图像拾取装置。

有益效果

根据本发明的示例性实施例，由手抖引起的运动和对象运动相对于焦点信息和变焦放大倍率而改变。因此，在诸如相机和摄像机的图像拾取装置中，通过根据变焦放大倍率和焦点信息来确定每个块的运动矢量的权重，可精确地估计由手抖引起的运动。此外，通过根据变焦放大倍率来适应性地找到运动矢量，可在估计全局运动矢量时最小化图像运动的影响。

附图说明

通过结合附图进行的对示例性实施例的详细描述，本发明的上述和其它方面将变得更加清楚，其中：

图1A和图1B是示出根据现有技术在不同变焦放大倍率下拍摄的图像屏幕的示图；

图2是示出用于解释根据现有技术的普通拍摄图像信息的3D世界坐标系统的示图；

图3A是示出根据现有技术当在利用图像拾取装置拍摄图像的时候发生手抖时运动矢量出现的频率的曲线图；

图3B是示出根据现有技术当将图像拾取装置中的变焦放大倍率设置得较大时运动矢量出现的频率的曲线图；

图4是根据本发明示例性实施例的图像拾取装置的框图；

图5是根据本发明示例性实施例的图4中示出的数字图像稳定单元的详细示图；

图6是示出根据本发明示例性实施例每个块单元的运动矢量相对于变焦放大倍率的权重函数的曲线图；

图7A和图7B是示出根据本发明示例性实施例运动矢量的权重函数基于焦点信息的改变的示图；以及

图8是示出根据本发明示例性实施例的估计由手抖引起的运动的方法的流程图。

具体实施方式

最佳方式

根据本发明的一方面，提供一种在图像拾取装置中估计由手抖引起的运动的方法，所述方法包括：将拍摄的图像划分为多个图像块；基于焦点信息和变焦放大倍率信息来确定每个图像块的运动矢量的权重值；预测每个图像块的运动矢量；通过将对于每个图像块的运动矢量确定的权重值应用于预测的运动矢量来确定全局运动矢量。

根据本发明的另一方面，提供一种用于在图像拾取装置中估计由手抖引起的运动的设备，所述设备包括：块权重值设置单元，用于根据焦点信息和变焦放大倍率信息来确定多个图像块中的每个图像块的运动矢量的权重值；运动估计单元，用于估计通过划分拍摄的图像而获得的每个图像块的运动矢量；全局运动检测单元，用于通过将所确定的每个图像块的运动矢量的权重值应用于在运动估计单元中估计的运动矢量来确定由手抖引起的全局运动矢量。

发明实施方式

现将参照附图来更加全面地描述本发明，在附图中示出本发明的示例性实施例。

图2是示出用于解释根据现有技术的普通拍摄的图像信息的三维(3D)世界坐标系统的示图。

当3D世界中的运动被投射到二维(2D)图像平面时，由图像拾取装置中的变焦功能提供的变焦放大倍率与图像平面中对象的放大倍率具有线性关系。

图2示出关于3D世界坐标系统中的对象203在图像平面202上形成的图像的图像信息。

由标号204来指示变焦效果。可使用以下根据变焦放大倍率改变的等式1来表示变焦效应：

[算式1]

f∶Z＝x∶X

f∶Z＝y∶Y

x = \frac{X \times f}{Z}

y = \frac{Y \times f}{Z}

...(1)

其中，Z是对象在3D空间中的深度信息，f是变焦信息。

根据等式1，图像平面上形成对象的图像的位置(x，y)与变焦信息f具有线性关系。

因此，由于这种线性关系，在估计全局运动矢量时出现问题。

图3A是示出当在利用图像拾取装置拍摄图像的时候发生手抖时运动矢量出现的频率的曲线图。图3B是示出当将图像拾取装置中的变焦放大倍率设置得较大时运动矢量出现的频率的曲线图。

参照图3A，x坐标指示运动矢量(mv)的放大倍率值，y坐标指示运动矢量的频率。标号303指示每个块单元中的运动矢量在块的运动被估计之后的放大倍率分布。图3A所示的运动矢量的放大倍率分布显示在X轴上存在一大峰值和另一小峰值。在这种情况下，由手抖引起的运动影响图像的整个区域。因此，可确定：具有大峰值的mv_x1404由手抖引起的运动矢量，具有小峰值的mv_x2405是由对象运动引起的运动矢量。

然而，如果变焦放大倍率被放大，或者如果对象没有存在于相同的深度，则对象在整个图像中的部分增加。因此，当图像被拍摄时，如图3B所示，在X轴上方出现两个峰值。因此，难以确定两个峰值mv_x1406和mv_x2408之间的哪个峰值是由手抖的运动引起的运动矢量。

图4是根据本发明示例性实施例的图像拾取装置的框图。

参照图4，图像拾取装置包括：拍摄镜头单元410、焦点测量单元420、图像传感器单元430、数字图像稳定单元440、控制单元450和操作单元460。

拍摄镜头单元410包括光学镜头模块，并形成期望在图像传感器单元430的入射表面上拍摄的对象的图像。

图像传感器单元430可以是电荷耦合器件(CCD)或互补金属氧化物半导体类型，其拾取在入射表面上形成的对象图像，并将所述图像转换为红、绿、蓝(RGB)信号。

操作单元460从来自操作者的操作接收涉及对控制和功能的选择的操作命令。具体说来，操作单元460从操作装置的操作者接收变焦改变命令，并将所述命令提供给控制单元450。

焦点测量单元420通过使用已知技术来测量拍摄的图像中的区域的聚焦位置，并将结果提供给控制单元450。例如，焦点测量单元420通过使用拍摄的图像的高频分量来确定焦点信息。

控制单元450通过操作单元460从操作者接收变焦改变信息，调整拍摄镜头单元410的变焦放大倍率和焦点，并从焦点测量单元420接收焦点信息。在本发明的示例性实施例中，当通过操作光学变焦功能而拍摄预定的对象时，控制单元450可向数字图像稳定单元440传送关于应用到拍摄镜头单元410的变焦放大倍率的信息。此外，控制单元450向数字图像稳定单元440提供关于图像的聚焦位置的信息。

数字图像稳定单元440从自图像传感器单元430输入的手抖图像检测全局运动矢量，并累加全局运动矢量，从而获得稳定的图像。具体说来，数字图像稳定单元440根据来自控制单元450的变焦放大倍率和焦点信息来确定每个块单元的运动矢量的权重，并基于每个块单元的运动矢量的权重来提取由手抖引起的全局运动。

图5是根据本发明示例性实施例的图4所示的数字图像稳定单元440的详细示图。

参照图5，数字图像稳定单元包括：块权重值设置单元510、块划分单元520、运动估计单元530、全局运动检测单元540、运动矢量累加单元550和手抖校正单元560。

块权重设置单元510通过使用焦点信息和变焦放大倍率信息来确定运动矢量的权重值，其中，对于每个块或区域而言，运动矢量会有所不同。也就是说，块权重设置单元510确定基于焦点信息预设的运动矢量的权重函数，并改变运动矢量的权重函数相对于变焦放大倍率信息的斜率。在这种情况下，可将运动矢量的权重函数设置为一维(1D)线性函数或2D线性函数。此外，可将根据变焦放大倍率或焦点信息的每个块的运动矢量的权重值预先存储在查找表中。此外，可使用每个块中的各种运动矢量计算方法。

块划分单元520将拍摄的图像信号划分为预定块单元或区域单元。

运动估计单元530通过使用块匹配算法来估计每个块单元的运动矢量，其中，通过在块划分单元520中划分图像来获取所述每个块单元。例如，运动估计单元530可通过使用邻近帧之间的时间相关性计算参考帧(或先前帧)的块与当前帧的块之间的差来估计每个块的运动矢量。

全局运动检测单元540搜索图像的全局运动以纠正随时间产生手抖运动的图像。因此，全局运动检测单元540将块权重值设置单元510确定的每个块单元的运动矢量的权重值应用到在运动估计单元530估计的每个块的运动矢量，从而检测由手抖运动引起的全局运动矢量。

运动累加单元550累加在全局运动检测单元540检测的全局运动矢量。

手抖校正单元560通过使用在运动累加单元550累加的全局运动矢量来纠正帧的位置，以便补偿手抖运动。

图6是示出根据本发明示例性实施例每个块单位的运动矢量相对于变焦放大倍数的权重函数的曲线图。

参照图6，x坐标指示沿x轴方向的图像空间位置，y坐标指示运动矢量的权重值。标号603指示当不存在变焦放大倍率或存在较小的变焦放大倍率时的权重函数。标号604、605、606和607指示分别对应于变焦放大倍率为1x、3x、8x、10x的运动矢量权重函数。随着变焦放大倍率从1x增加到3x、8x和10x，以块为单位在图像中设置的运动矢量的权重函数也发生改变，以便减少对象运动的影响。因此，通过根据变焦放大倍率确定每个块中的运动矢量的不同权重值，如图6所示，可适应性地执行根据变焦信息来估计每个块的运动。在这种情况下，彼此不同的运动矢量相对于变焦放大倍率的权重值可被存储为查找表。

图7A和图7B是示出根据本发明示例性实施例运动矢量的权重函数基于焦点信息的改变的示图。

图7A和图7B示出对于在聚焦区域中检测的运动矢量设置较大的权重的实施例。可将根据焦点信息而彼此不同的运动矢量的权重值存储为查找表。

参照图7A，标号701指示图像的整个区域，标号702指示聚焦区域。因此，当预定的对象被拍摄时，图像拾取装置选择权重函数704，该权重函数704将较大的权重值赋予在聚焦的中央区域中检测的运动矢量。

因此，从整个图像检测对象图像，用于对象和背景的运动矢量的权重值被确定。

参照图7B，标号706指示图像的整个区域，标号705指示聚焦的区域。因此，当预定的对象被拍摄时，图像拾取装置选择权重值708，该权重值708将较大的权重值赋予在聚焦的侧部区域中检测的运动矢量。

因此，在具有较多由手抖引起的运动信息的图像的侧部区域中，当变焦放大倍率增加时，相对较大的权重值被设置，因此，即使整个图像中对象的部分增加，也可精确地估计由手抖引起的全局运动矢量。

图8是示出根据本发明示例性实施例估计由手抖引起的运动的方法的流程图。

首先，当通过操作光学变焦功能来拍摄预定的对象时，在操作810中，提取操作的变焦放大倍率信息。

此外，在操作820中，提取指示图像中的哪个位置被聚焦的焦点信息。

然后，在操作830中，通过使用焦点信息和变焦放大倍率信息，确定对于每个块或区域不同的运动矢量的权重值。在这种情况下，矢量放大倍率的改变应基于变焦放大倍率。此外，应采用在聚焦位置的运动矢量。

在本发明的示例性实施例中，为了将运动矢量应用到拍摄的图像，基于焦点信息预设的运动矢量的权重函数被确定，然后，基于变焦放大倍率信息来改变运动矢量的权重函数的斜率。

如果在操作840中输入拍摄的图像，则在操作850中，图像被划分为块或预定大小的区域。

然后，通过使用块匹配算法，在操作860中，估计通过划分获得的每个块的运动矢量。在帧匹配算法中，当前图像和先前图像被划分为预定大小的较小的块，每个块的运动被估计，从而获得运动矢量。

然后，通过将每个块中不同的运动矢量的权重值添加到块的估计运动矢量，在操作870中检测全局运动。例如，可通过使用添加了权重值的先前块的运动矢量的频率来产生直方图，可将直方图中具有最高频率的运动矢量估计为全局运动矢量。

然后，在操作890中，通过累加全局运动矢量，帧的位置被调整，从而校正手抖对图像的影响。

产业上的可利用性

本发明的示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可分布于联网的计算机系统，从而以分布方式来存储盒执行计算机可读代码。此外，本发明相关领域的普通编程技术人员可容易地理解用于实现本发明的功能程序、代码和代码段。

尽管参照附图具体示出并描述了本发明，但是本领域的普通技术人员应理解：在不脱离由权利要求限定的本发明的精神和范围的情况下，可进行形式和细节上的各种改变。优选实施例应被理解为仅具有描述含义，绝不是为了进行限制。因此，本发明的范围不是由对发明的详细描述限定，而是由权利要求来限定，所述范围内的所有差异将被理解为包括在本发明中。

Claims

1、一种在图像拾取装置中估计运动的方法，所述方法包括：

将拍摄的图像划分为多个图像块；

基于焦点信息和变焦放大倍率信息来确定每个图像块的运动矢量的权重值；

预测每个图像块的运动矢量；以及

通过将对于每个图像块的运动矢量确定的权重值应用于预测的运动矢量来确定全局运动矢量。

2、如权利要求1所述的方法，其中，确定每个图像块的运动矢量的权重值的步骤包括：

基于焦点信息来确定运动矢量的权重函数，并基于变焦放大倍率信息来改变运动矢量的权重函数的斜率。

3、如权利要求2所述的方法，其中，运动矢量的权重函数是一维函数和二维函数之一。

4、如权利要求1所述的方法，其中，确定每个图像块的运动矢量的权重值的步骤包括：将权重值分配给在聚焦区域中检测到的运动矢量，所述权重值大于分配给所述聚焦区域外部的运动矢量的权重值。

5、如权利要求1所述的方法，其中，确定每个图像块的运动矢量的权重值的步骤包括：检测图像中的对象区域，并确定对象和背景的权重值。

6、如权利要求1所述的方法，其中，确定每个图像块的运动矢量的权重值的步骤包括：根据变焦放大倍率信息，为每个图像块中的运动矢量设置不同的权重值。

7、如权利要求1所述的方法，其中，确定每个图像块的运动矢量的权重值的步骤包括：根据焦点信息，为每个图像块中的运动矢量设置不同的权重值。

8、如权利要求1所述的方法，其中，确定全局运动矢量的步骤包括：计算添加有权重值的每个图像块的运动矢量的频率，并将具有最高频率的运动矢量确定为全局运动矢量。

9、如权利要求1所述的方法，还包括：在查找表中存储根据变焦放大倍率信息的每个图像块的运动矢量的权重值。

10、如权利要求1所述的方法，还包括：在查找表中存储根据焦点信息的每个图像块的运动矢量的权重值。

11、一种用于在图像拾取装置中估计运动的设备，所述设备包括：

块权重值设置单元，用于根据焦点信息和变焦放大倍率信息来确定多个图像块中的每个图像块的运动矢量的权重值；

运动估计单元，用于估计通过划分拍摄的图像而获得的每个图像块的运动矢量；以及

全局运动检测单元，用于通过将所确定的每个图像块的运动矢量的权重值应用于在运动估计单元中估计的运动矢量来确定全局运动矢量。

12、如权利要求11所述的设备，其中，块权重值设置单元包括查找表，其用于存储根据变焦放大倍率信息和焦点信息的每个块的运动矢量的不同权重值。

13、如权利要求11所述的设备，其中，块权重值设置单元基于焦点信息来确定运动矢量的权重值，并基于变焦放大倍率信息来改变运动矢量的权重值的斜率。

14、一种图像拾取装置，包括：

图像传感器单元，用于产生图像信号；

控制单元，用于从操作器接收变焦改变信息，并输出光学镜头模块的变焦放大倍率信息和焦点信息；

图像稳定单元，用于根据来自控制单元的变焦放大倍率信息和焦点信息来确定多个图像块中的每个图像块的运动矢量的权重，并基于每个图像块的运动矢量的权重来确定在传感器单元中产生的图像信号的全局运动矢量。

15、如权利要求14所述的装置，其中，所述图像稳定单元包括：

块权重值设置单元，用于根据焦点信息和变焦放大倍率信息来确定每个图像块的运动矢量的不同权重值；

运动估计单元，用于估计通过划分拍摄的图像而获得的每个图像块的运动矢量；

全局运动确定单元，用于通过将确定的每个图像块的运动矢量的权重值应用于在运动估计单元中估计的运动矢量来确定全局运动矢量；以及

手抖纠正单元，用于基于全局运动矢量来补偿手抖。