CN104767930A - 用于图像校正的设备和方法 - Google Patents

Abstract

公开了一种用于图像校正的设备和方法。所述用于图像校正的设备可包括：第一传感器，被配置为感测相机模块的移动；镜头控制单元，被配置为根据由第一传感器感测的相机模块的移动来调整相机模块中的镜头的位置；第二传感器，被配置为感测镜头根据移动调整后的位置；移动点扩散函数计算单元，被配置为基于由第一传感器感测的相机模块的移动与由第二传感器感测的镜头的位置之间的差，计算移动点扩散函数；校正单元，被配置为基于移动点扩散函数，校正来自相机模块的图像。

Description

用于图像校正的设备和方法

本申请要求于2014年1月3日提交到韩国知识产权局的第10-2014-0000753号韩国专利申请和2014年12月16日提交到韩国知识产权局的第10-2014-0181521号韩国专利申请的优先权和权益，所述专利申请的公开通过引用合并于此。

技术领域

本公开涉及一种用于图像校正的设备和方法。

背景技术

近年来，随着在数字成像设备(诸如，数码相机或智能手机)中相机模块在尺寸上的缩小，相机抖动已变成了问题。相机抖动是指由于相机模块的运动(诸如，在曝光期的移动和旋转)而在由相机模块捕捉的图像中出现的运动模糊(motion blur)。

为了解决这个问题，现有的数字成像设备采用光学图像稳定(OIS)技术或数字图像稳定(DIS)技术，其中，OIS技术通过对镜头的位置调整了与抖动量相应的量来校正抖动，DIS使用移动点扩散函数来对捕捉的图像执行后校正(post-correction)。

然而，在OSI方案中，在由陀螺仪传感器测量的抖动量与镜头的实际移动量之间会出现差错，使得仍存在与差错的量级相应的运动模糊程度。

此外，关于DIS方案，虽然优点是与该方案相关联的制造成本低，但是就消除运动模糊而言，相较于OIS方案，DIS方案性能低下。

发明内容

本公开中的示例性实施例可提供一种用于图像校正的设备和方法，使得可获得更清楚的图像，在所述设备和方法中，基于由第一传感器感测的相机的移动和由第二传感器感测的镜头的位置来计算移动点扩散函数，并基于移动点扩散函数来校正图像。

根据本公开中的示例性实施例，一种用于图像校正的设备可包括：第一传感器，被配置为感测相机模块的移动；镜头控制单元，被配置为根据由第一传感器感测的相机模块的移动来调整相机模块中的镜头的位置；第二传感器，被配置为感测镜头根据移动调整后的位置；移动点扩散函数计算单元，被配置为基于由第一传感器感测的相机模块的移动与由第二传感器感测的镜头的位置之间的差，计算移动点扩散函数；校正单元，被配置为基于移动点扩散函数，校正来自相机模块的图像。

镜头控制单元可根据外部信号被开启或关闭，在镜头控制单元被关闭的情况下，移动点扩散函数计算单元可基于由第一传感器感测的相机模块的移动来计算移动点扩散函数。

根据本公开中的示例性实施例，一种用于图像校正的设备可包括：运动传感器，被配置为感测相机模块的移动，以产生移动值；镜头控制单元，被配置为基于移动值来计算与移动相应的运动矢量，并基于运动矢量来调整相机模块中的镜头的位置；霍尔传感器，被配置为感测镜头的位置，以产生位置值；移动点扩散函数计算单元，被配置为将移动值与位置值进行比较，以计算移动点扩散函数；校正单元，被配置为基于移动点扩散函数来校正由镜头捕捉的图像，其中，镜头控制单元和移动点扩散函数计算单元仅在相机模块的快门打开的同时被操作。

根据本公开中的示例性实施例，一种用于图像校正的方法可包括：a)感测相机模块的移动，以产生相机模块的移动值；b)根据相机模块的移动值来调整相机模块中的镜头的位置；c)感测镜头的位置，以产生镜头的位置值；d)基于相机模块的移动值与镜头的位置值之间的差来计算移动点扩散函数；e)基于移动点扩散函数，校正来自相机模块的图像。

附图说明

通过以下结合附图的详细描述，本公开的以上和其他方面、特征以及其它优点将被更清楚地理解，其中：

图1是根据本公开中的示例性实施例的用于图像校正的设备的框图；

图2是根据本公开中的示例性实施例的图1中示出的镜头控制单元的框图；

图3是根据本公开中的另一示例性实施例的图1中示出的镜头控制单元的框图；

图4是根据本公开中的另一示例性实施例的用于图像校正的设备的框图；

图5是示出当相机模块的移动在校正角度限制内时移动值和位置值的曲线图；

图6是示出当相机模块的移动不校正角度限制外时移动值和位置值的曲线图；

图7是示出根据本公开中的示例性实施例的用于图像校正的方法的流程图；

图8是示出根据本公开中的示例性实施例的图7中示出的方法中的调整镜头的位置的流程图；

图9是示出根据本公开中的另一示例性实施例的用于图像校正的方法的流程图。

具体实施方式

在下文中，将参照附图，详细地对本公开的实施例进行描述。

然而，本公开可以以很多不同的形式被实施，而且不应被解释为受限于在此阐述的实施例。相反地，提供这些实施例，使得本公开将是彻底且完整的，并且将向本领域的技术人员充分地传达本公开的范围。

在附图中，为了清楚起见，可扩大元件的形状和尺寸，并且相同的标号始终将被用于指定相同或相似的元件。

图1是根据本公开中的示例性实施例的用于图像校正的设备的框图。

参照图1，根据本公开中的示例性实施例的用于图像校正的设备10可包括第一传感器100、镜头控制单元200、第二传感器300、移动点扩散函数计算单元400和校正单元500。

用于图像校正的设备10可与相机模块一起被安装在数字成像装置1(诸如，数码相机或智能手机)中，并可用于对由相机模块20捕捉的图像进行校正。相机模块20可包括镜头22和图像产生单元24，其中，光穿过镜头22，图像产生单元24接收光从而产生图像信号。

具体地，用于图像校正的设备10可感测相机模块20的抖动，并可响应于抖动，使相机模块20中的镜头22移动，从而防止由抖动导致的运动模糊。此外，用于图像校正的设备10可将感测的抖动量与镜头22的位置进行比较以计算移动点扩散函数，并可基于移动点扩散函数，对由相机模块20捕捉的图像进行校正。

第一传感器100可感测相机模块20的移动。在示例性实施例中，第一传感器100可以是感测移动的运动传感器，其中，运动传感器可包括陀螺仪传感器和加速度传感器中的至少一个。

在示例性实施例中，第一传感器100可以是测量相机模块20的角速度的陀螺仪传感器。角速度的值可包括俯仰角(pitch)值或偏航角(yaw)值。也就是说，第一传感器100可测量相机模块20的俯仰角值和偏航角值，并可将测量的值输出到镜头控制单元200。

镜头控制单元200可根据由第一传感器100感测的相机模块20的移动来调整镜头22的位置。在示例性实施例中，镜头控制单元200可在与相机模块20的移动相反的方向上调整镜头22的位置。

具体地，镜头控制单元200可计算与由第一传感器100感测的相机模块20的角速度相应的运动矢量，并可根据计算的运动矢量来调整镜头22的位置。可通过对角速度的值进行积分运算来计算运动矢量。镜头控制单元200可仅在相机模块20的快门(未示出)打开的同时被操作。

将针对图2，对镜头控制单元200的配置进行详细描述。

第二传感器300可感测相机模块20的镜头22的位置。在示例性实施例中，第二传感器300可以是霍尔传感器。第二传感器300可感测镜头22的位置，并将镜头22的位置输出到移动点扩散函数计算单元400。

移动点扩散函数计算单元400可基于由第一传感器100感测的相机模块20的移动值与根据移动值调整并由第二传感器300感测的镜头22的位置值之间的差来计算移动点扩散函数。在示例性实施例中，移动点扩散函数计算单元400可将由第一传感器100感测的俯仰角值和偏航角值与由第二传感器300感测的x坐标值和y坐标值进行比较，从而计算移动点扩散函数。在示例性实施例中，移动点扩散函数计算单元400可仅在相机模块20的快门(未示出)打开的同时被操作。

校正单元500可基于由移动点扩散函数计算单元400计算的移动点扩散函数，校正由相机模块20中的图像产生单元24产生的图像。

在示例性实施例中，校正单元500可使用图像复原滤波器来对移动点扩散函数和由图像产生单元24产生的图像执行去卷积，从而校正图像模糊。

图2是根据本公开中的示例性实施例的图1中示出的镜头控制单元的框图，图3是根据本公开中的另一示例性实施例的图1中示出的镜头控制单元的框图。

参照图2，根据本公开中的示例性实施例的镜头控制单元200可包括运动矢量计算单元210和镜头驱动单元220。

运动矢量计算单元210可根据由第一传感器100感测的相机模块20的移动来计算镜头22的运动矢量。也就是说，为了防止由于相机模块20的抖动而产生的运动模糊，运动矢量计算单元210可产生运动矢量，该运动矢量包括与在对相机模块20的移动进行补偿的方向上的移动量相应的值。

在示例性实施例中，运动矢量计算单元210可从第二传感器300接收指示镜头22的位置的反馈信号，从而计算运动矢量，如图3中所示，运动矢量计算单元210可以是PID控制器。

镜头驱动单元220可基于由运动矢量计算单元210计算的运动矢量来调整镜头22的位置。镜头驱动单元220可以以PWM方式或线性方式来调整镜头22的位置。

图4是根据本公开中的另一示例性实施例的用于图像校正的设备的框图。

根据本公开中的示例性实施例的图4中示出的基本配置与根据本公开的示例性实施例的图1至图3中示出的配置相同。然而，可依据外部信号来开启或关闭镜头控制单元200，并且移动点扩散函数计算单元400计算移动点扩散函数的操作可根据镜头控制单元200的开启或关闭而不同。

具体地，可依据外部信号来开启或关闭镜头控制单元200。在此，外部信号可以是用于开启或关闭功能的用户输入，其中，该功能通过根据相机模块20的抖动调整镜头22的位置来防止运动模糊，并且镜头控制单元200可根据外部信号而开启或关闭。

在开启镜头控制单元200的情况下，移动点扩散函数计算单元400可基于由第一传感器100感测的移动值与由第二传感器300感测的镜头22的位置值之间的差来计算移动点扩散函数。

在此，在关闭镜头控制单元200的情况下，移动点扩散函数计算单元400可基于由第一传感器100感测的移动值，计算移动点扩散函数。

图5是示出当相机模块的移动在校正角度限制内时移动值和位置值的曲线图，图6是示出当相机模块的移动在校正角度限制外时移动值和位置值的曲线图。

参照图5，当相机模块的移动在校正角度限制(例如，大约±1.6°)内时，由于由第一传感器100感测的移动值和镜头根据移动值调整后的位置值近似相同，所以移动值和位置值可由实线示出。在此，校正角度限制可指可由镜头控制单元200调整的镜头22的位置的最大值。

参照图6，会出现相机模块的移动在校正角度限制(例如，大约±1.6°)外的情况。在这部分，在移动值1与镜头22根据移动值调整后的位置值2之间会产生差错。在这种情况下，尽管由镜头控制单元200对镜头22进行了位置调整，还会发生运动模糊。

在示例性实施例中，为了解决以上提到的问题，镜头控制单元200可在以上提到的部分在校正角度限制内减小移动值的比例，并基于减小后的移动值，调整镜头22的位置。然而，由于在减小后的移动值与实际移动值之间存在差别，所以即使基于减小后的移动值对镜头22的位置进行调整，还是会存在运动模糊。

为了解决以上提到的问题，用于图像校正的设备可包括镜头控制单元200、移动点扩散函数计算单元400和校正单元500，其中，无论相机模块的移动是否在校正角度限制外，镜头控制单元200都基于由第一传感器100感测的移动值本身来调整镜头22的位置，移动点扩散函数计算单元400基于移动值与镜头22根据移动调整后的位置值之间的差来计算移动点扩散函数，校正单元500基于移动点扩散函数来校正图像，从而即使相机模块的移动在校正角度限制范围外，也可对由于相机模块的移动引起的图像模糊进行清楚地校正。

图7是示出根据本公开中的示例性实施例的用于图像校正的方法的流程图，图8是示出根据本公开中的示例性实施例的图7中示出的方法中的调整镜头的位置的流程图。

由以上参照图1至图3描述的用于图像校正的设备10执行根据示例性实施例的图7中示出的用于图像校正的方法，因此将不进行重复的描述。

参照图7，用于图像校正的设备10可感测相机模块20的移动(S410)。随后，用于图像校正的设备10可根据感测的相机模块20的移动来调整镜头22的位置(S420)。在示例性实施例中，在调整镜头22的位置(S420)中，可在补偿相机模块20的移动的方向上调整镜头22的位置。

随后，用于图像校正的设备10可感测镜头22的位置(S430)，并可基于感测的相机模块20的移动值与镜头22的位置值之间的差来计算移动点扩散函数(S440)。

随后，用于图像校正的设备10可基于计算的移动点扩散函数来校正由相机模块20捕捉的图像(S450)。

在示例性实施例中，如图8中所示，调整镜头的位置(S420)可包括：计算与感测的相机模块20的移动相应的镜头22的运动矢量(S422)；根据计算的镜头22的运动矢量来调整镜头22的位置(S424)。

在示例性实施例中，操作S410至操作S440可仅在相机模块20的快门打开的同时被执行，并且可根据相机模块20的快门打开的时间段而被重复执行预定次数。

图9是示出根据本公开中的另一示例性实施例的用于图像校正的方法的流程图。

由以上参照图4描述的用于图像校正的设备10执行根据另一示例性实施例的图9中示出的用于图像校正的方法，因此将不进行重复的描述。

参照图9，用于图像校正的设备10可感测相机模块20的移动，从而产生移动值(S500)。随后，用于图像校正的设备10可从外部接收关于其是否对镜头的位置执行调整的外部信号(S510)。在此，由于可由镜头控制单元200执行对镜头的位置的调整，所以外部信号可以是确定开启或关闭镜头控制单元200的信号。在此，可在产生移动值(S500)之前执行对外部信号的接收(S510)。

随后，在外部信号是允许执行镜头的位置调整的信号(即，开启镜头控制单元200的信号)的情况下(S520)，用于图像校正的设备10可根据相机模块20的移动来调整镜头的位置(S530)。随后，用于图像校正的设备10可感测镜头调整后的位置以产生位置值(S540)。

随后，用于图像校正的设备10可基于产生的移动值与产生的位置值之间的差来计算移动点扩散函数(S550)。

随后，用于图像校正的设备10可基于计算的移动点扩散函数来校正图像(S560)。

在此，在外部信号是不允许执行镜头的位置调整的信号(即，关闭镜头控制单元200的信号)的情况下，用于图像校正的设备10可基于移动值来计算移动点扩散函数(S570)，并可基于计算的移动点扩散函数来校正图像(S560)。

在示例性实施例中，如图8中所示，调整镜头的位置(S530)可包括：计算与感测的相机模块20的移动相应的镜头22的运动矢量(S422)；根据计算的镜头22的运动矢量来调整镜头22的位置(S424)。

在示例性实施例中，操作S510至操作S530或操作S540可仅在相机模块20的快门打开的同时被执行，并且可根据相机模块20的快门打开的时间段而被重复执行预定次数。

如上所阐述，根据本公开的示例性实施例，基于由第一传感器感测的相机模块的移动和由第二传感器感测的镜头的位置来计算移动点扩散函数，并基于移动点扩散函数来校正图像，使得可获得更清楚的图像。

虽然以上已经示出并描述了示例性实施例，但是本领域技术人员将清楚，在不脱离由权利要求限定的本发明的范围的情况下，可对其进行修改和变化。

Claims (22)

1.一种用于图像校正的设备，包括：

第一传感器，被配置为感测相机模块的移动；

镜头控制单元，被配置为根据由第一传感器感测的相机模块的移动来调整相机模块中的镜头的位置；

第二传感器，被配置为感测镜头根据相机模块的移动而调整后的位置；

移动点扩散函数计算单元，被配置为基于由第一传感器感测的相机模块的移动与由第二传感器感测的镜头的位置之间的差，计算移动点扩散函数；

校正单元，被配置为基于移动点扩散函数来校正来自相机模块的图像。

2.如权利要求1所述的设备，其中，镜头控制单元在补偿由第一传感器感测的相机模块的移动的方向上调整镜头的位置。

3.如权利要求1所述的设备，其中，第一传感器感测相机模块的角速度，镜头控制单元计算与由第一传感器感测的相机模块的角速度相应的镜头的运动矢量，并根据计算出的镜头的运动矢量来调整镜头的位置。

4.如权利要求3所述的设备，其中，移动点扩散函数计算单元基于由第一传感器感测的角速度的值与由第二传感器感测的镜头的位置的值之间的差来计算移动点扩散函数。

5.如权利要求3所述的设备，其中，运动矢量是通过对由第一传感器感测的角速度的值进行积分运算而被计算出的。

6.如权利要求1所述的设备，其中，镜头控制单元包括：

运动矢量计算单元，被配置为计算与由第一传感器感测的相机模块的移动相应的镜头的运动矢量；

镜头驱动单元，被配置为基于计算出的镜头的运动矢量来调整镜头的位置。

7.如权利要求6所述的设备，其中，运动矢量计算单元从第二传感器接收指示镜头的位置的反馈信号，以计算运动矢量。

8.如权利要求1所述的设备，其中，移动点扩散函数计算单元仅在相机模块的快门打开的同时进行操作。

9.如权利要求1所述的设备，其中，第一传感器是被配置为感测相机模块的角速度的陀螺仪传感器。

10.如权利要求1所述的设备，其中，第二传感器是被配置为感测镜头的位置的霍尔传感器。

11.如权利要求1所述的设备，其中，镜头控制单元根据外部信号被开启或关闭，

在镜头控制单元被关闭的情况下，移动点扩散函数计算单元基于由第一传感器感测的相机模块的移动来计算移动点扩散函数。

12.如权利要求11所述的设备，其中，第一传感器感测相机模块的角速度，以产生角速度的值，

移动点扩散函数计算单元基于由第一传感器感测的角速度的值来计算移动点扩散函数。

13.一种用于图像校正的设备，包括：

运动传感器，被配置为感测相机模块的移动，以产生移动值；

镜头控制单元，被配置为基于移动值来计算与相机模块的移动相应的运动矢量，并基于运动矢量来调整相机模块中的镜头的位置；

霍尔传感器，被配置为感测镜头的位置，以产生位置值；

移动点扩散函数计算单元，被配置为将移动值与位置值进行比较，以计算移动点扩散函数；

校正单元，被配置为基于移动点扩散函数来校正由镜头捕捉的图像，

其中，镜头控制单元和移动点扩散函数计算单元仅在相机模块的快门打开的同时进行操作。

14.如权利要求13所述的设备，其中，镜头控制单元计算与由运动传感器产生的移动值相应的镜头的运动矢量，并基于计算的镜头的运动矢量来调整镜头的位置。

15.如权利要求14所述的设备，其中，运动传感器包括感测相机模块的角速度以产生角速度的值的陀螺仪传感器，

镜头控制单元通过对由陀螺仪传感器感测的角速度的值进行积分运算来计算运动矢量。

16.如权利要求13所述的设备，其中，镜头控制单元包括：

运动矢量计算单元，被配置为计算与由运动传感器产生的移动值相应的镜头的运动矢量；

镜头驱动单元，被配置为基于计算出的镜头的运动矢量来调整镜头的位置。

17.如权利要求16所述的设备，其中，运动矢量计算单元从霍尔传感器接收指示镜头的位置的反馈信号，以计算运动矢量。

18.如权利要求13所述的设备，其中，镜头控制单元根据外部信号被开启或关闭，

在镜头控制单元被关闭的情况下，移动点扩散函数计算单元基于移动值来计算移动点扩散函数。

19.一种用于图像校正的方法，包括：

a)感测相机模块的移动，以产生相机模块的移动值；

b)根据相机模块的移动值来调整相机模块中的镜头的位置；

c)感测镜头的位置，以产生镜头的位置值；

d)基于相机模块的移动值与镜头的位置值之间的差来计算移动点扩散函数；

e)基于移动点扩散函数来校正来自相机模块的图像。

20.如权利要求19所述的方法，其中，调整镜头的位置的操作b)包括以下操作：计算与感测的相机模块的移动相应的镜头的运动矢量；基于计算出的镜头的运动矢量来调整镜头的位置。

21.如权利要求19所述的方法，其中，根据相机模块的快门打开的时间段，操作a)至操作b)被重复执行预定次数。

22.如权利要求19所述的方法，在感测相机模块的移动的操作a)之后，还包括以下操作：

根据外部信号确定操作b)是否被执行；

在操作b)没有被执行的情况下，基于感测的相机模块的移动来计算移动点扩散函数；

基于移动点扩散函数来校正来自相机模块的图像。