CN106233710A - 控制针对像素复用摄像头的抖动模糊和运动模糊 - Google Patents

Abstract

本发明涉及控制与图像关联的抖动模糊和运动模糊。示例性方法包括：接收与图像关联的第一图像帧和第二图像帧；确定摄像头在第一图像帧或第二图像帧内的第一运动；确定摄像头在第一图像帧和第二图像帧之间的第二运动；基于第一运动控制与图像关联的抖动模糊的至少一部分；基于第二运动控制与图像关联的运动模糊的至少一部分。

Description

控制针对像素复用摄像头的抖动模糊和运动模糊

背景技术

当摄像头的用户在捕获图像的时候不保持静止(或者抖动摄像头)时，所捕获的图像是模糊的。需要在捕获图像后控制来自所捕获图像的“抖动模糊”。运动模糊是在静止图像或静止图像序列中快速运动的对象的痕迹。需要在捕获图像后控制来自所捕获图像的运动模糊。

发明内容

本发明的实施方式的目的在于控制与图像关联的抖动模糊和运动模糊的系统、方法和计算机程序产品。示意性方法包括：接收与图像关联的第一图像帧和第二图像帧；确定摄像头在第一图像帧或第二图像帧内的第一运动；确定摄像头在第一图像帧与第二图像帧之间的第二运动；基于第一运动控制与图像关联的抖动模糊的至少一部分；以及基于第二运动控制与图像关联的运动模糊的至少一部分。

在一些实施方式中，摄像头包括像素复用摄像头。

在一些实施方式中，第一运动利用与摄像头关联的运动传感器来确定。

在一些实施方式中，运动传感器与摄像头基本上同步地对图像进行采样。

在一些实施方式中，运动传感器包括加速度计或陀螺仪。

在一些实施方式中，摄像头是移动设备的一部分。

在一些实施方式中，第一运动包括第一运动的方向和第一运动的幅度。

在一些实施方式中，第二运动包括第二运动的方向和第二运动的幅度。

在一些实施方式中，第一图像帧和第二图像帧与第一分辨率相关联，其中第一分辨率小于预定分辨率，其中，图像与第二分辨率相关联，并且其中，第二分辨率等于或大于预定分辨率。

在一些实施方式中，所述方法还包括提供针对图像的控制器。

在一些实施方式中，控制器由用户姿势或用户输入控制。

在一些实施方式中，控制器实现对与图像关联的由用户定义的量的运动模糊的控制。

在一些实施方式中，控制器在不影响图像的其余部分的情况下实现对与图像内的第一对象关联的运动模糊的控制。

在一些实施方式中，控制抖动模糊的至少一部分的步骤包括降低抖动模糊的至少一部分，以及控制运动模糊的至少一部分的步骤包括降低运动模糊的至少一部分。

在一些实施方式中，控制抖动模糊的至少一部分的步骤包括增加抖动模糊的至少一部分，以及控制运动模糊的至少一部分的步骤包括增加运动模糊的至少一部分。

在一些实施方式中，提供一种控制与图像关联的抖动模糊和运动模糊的系统。该系统包括：摄像头；存储器；处理器；模块，该模块存储在存储器中，由处理器执行，并且被构造成：接收图像的第一图像帧和第二图像帧；确定摄像头在第一图像帧或第二图像帧内的第一运动；确定摄像头在第一图像帧与第二图像帧之间的第二运动；基于第一运动控制与图像关联的抖动模糊的至少一部分；以及基于第二运动控制与图像关联的运动模糊的至少一部分。

在一些实施方式中，提供一种用于控制与图像关联的抖动模糊和运动模糊的计算机程序产品。该计算机程序产品包括含有代码的非易失性计算机可读介质，所述代码被构造成：接收图像的第一图像帧和第二图像帧；确定摄像头在第一图像帧或第二图像帧内的第一运动；确定摄像头在第一图像帧与第二图像帧之间的第二运动；基于第一运动控制与图像关联的抖动模糊的至少一部分；以及基于第二运动控制与图像关联的运动模糊的至少一部分。

附图说明

因此，现在参照附图，一般性地描述本发明的具体实施方式，其中：

图1例示了根据本发明的实施方式引用控制与图像关联的运动模糊和抖动模糊的处理流程；以及

图2例示了根据本发明的实施方式的示意性的摄像头。

具体实施方式

现在可以更全面地描述本发明的实施方式，下文中参照附图，其中，示出了本发明的一些实施方式，但不是全部实施方式。事实上，本发明可以嵌入多种不同的形式并且不应被解释为局限于本文所说明的实施方式；确切地讲，提供这些实施方式，使得本公开可以满足适用的法律的要求。在全文中，相同的附图标记指代类似元素。

本发明的目的是控制与所捕获图像关联的抖动模糊和运动模糊(例如，在图像的后期处理程序期间)。在一些实施方式中，本发明使用像素复用摄像头。摄像头包括接收光的摄像头镜头。光线照射在位于摄像头内的旋转镜上，旋转镜将光反射到位于摄像头内的光学传感器的第一部分上。接下来，光从传感器的第一部分反射到传感器的第二部分上。随后，光从传感器的第二部分反射到传感器的第三部分上，以此类推。来自传感器的各部分的反射包括图像的一部分。图像的各部分可以是低分辨率图像(例如，小于预定分辨率)。可以组合图像的不同部分来形成高分辨率图像(例如，等于或大于预定分辨率)。图像的各部分也可以称为图像帧。本发明不局限于使用像素复用摄像头。在另选实施方式中，可以使用其他类型的摄像头。

如这里所使用的，控制抖动模糊和运动模糊指修改抖动模糊和运动模糊。在一些实施方式中，修改抖动模糊和运动模糊指降低(例如，去除)抖动模糊和运动模糊。在另一些实施方式中，修改抖动模糊和运动模糊指增加抖动模糊和运动模糊。

在本发明中，像素复用摄像头和与摄像头关联的加速度计和/或陀螺仪同步。加速度计和/或陀螺仪可以位于摄像头壳体的内部或者可以沿摄像头壳体的内表面和/或外表面布置。如这里所使用的，陀螺仪是利用地球重力来确定摄像头方位的器件。如这里所使用的，加速度计是用于测量摄像头的非重力加速度的器件。如这里所使用的，加速度计和陀螺仪是能够确定摄像头运动的运动传感器，摄像头的运动包括运动的幅度和运动的方向。

加速度计和/或陀螺仪与摄像头基本上同步地对图像进行采样。例如，加速度计和/或陀螺仪的采样频率是100Hz。这实现确定摄像头(以及摄像头壳体)如何在图像帧中运动。摄像头如何在图像帧中运动包括运动的幅度和/或运动的方向。摄像头如何在图像帧中运动包括如上文中描述的抖动模糊。通过确定抖动模糊，抖动模糊可以通过图2中描述的抖动模糊控制器从所捕获图像中校正或去除。因此，本发明实现了在无需使用抵消摄像头运动的机械补偿的情况下去除抖动模糊。

如这里所描述的摄像头捕获如这里所描述的多个图像帧或多个图像部分。图像帧以低分辨率(例如，低于预定分辨率)捕获。摄像头可以通过比较两个连续捕获的图像帧确定这两个连续捕获的图像帧之间是否存在运动。运动的量和/或运动的方向包括运动模糊。当运动模糊被确定后，运动模糊可以通过图2中描述的运动模糊控制器从所捕获图像中校正和去除。

在一些实施方式中，可以提供针对图像的控制器(例如，图形控制器)。控制器可以包括诸如滚动条或指示器这样的微件。控制器可以由用户姿势或其他用户输入来控制。当用户在图像上或图像上的对象上移动手指或指针时，控制器可以位于图像(或图像上的对象)的相邻位置，或者可以出现在图像上(或图像上的对象上)。在一些实施方式中，根据用户姿势，控制器可从图像上的一个对象上运动到图像上的另一个对象上。摄像头的用户可以修改控制器的设置以确定该用户希望从图像中去除多少运动模糊。在一些实施方式中，用户可以修改控制器的设置以确定该用户希望从图像上的特定对象(例如，人、无生命的对象等)中去除多少(例如，一定幅度)运动模糊。因此，本发明使得用户在图像内的第一对象上保留由用户确定的量的运动模糊，以及从图像中的第二对象去除由用户确定的量的运动模糊。

现在参照图1中的处理流程，图1例示了如何控制与由摄像头(例如，像素复用摄像头)捕获的图像关联的抖动模糊和运动模糊的处理。在一些实施方式中，摄像头是移动设备(例如，移动电话)的一部分。在块110处，处理流程包括接收与图像关联的第一图像帧和第二图像帧。第一图像帧和第二图像帧与小于预定分辨率的第一分辨率关联，并且图像与等于或大于预定分辨率的第二分辨率关联。在块120处，处理流程包括(例如，使用诸如加速度计和/或陀螺仪这样的运动传感器)确定摄像头在第一图像帧或第二图像帧内的第一运动。加速度计和/或陀螺仪与摄像头基本上同步地对图像进行采样。如这里所使用的，第一运动包括第一运动的方向和/或第一运动的幅度。在块130处，处理流程包括确定摄像头在第一图像帧和第二图像帧之间的第二运动。如这里所使用的，第二运动包括第二运动的方向和/或第二运动的幅度。在块140处，处理流程包括基于第一运动控制与图像关联的抖动模糊的至少一部分。在块150处，处理流程包括基于第二运动控制与图像关联的运动模糊的至少一部分。

在一些实施方式中，处理流程还包括提供针对图像的控制器，其中，所述控制器由用户姿势或用户输入来控制。在一些实施方式中，控制器实现去除与图像关联的由用户定义的量的运动模糊。在另一些实施方式中，控制器在不影响图像的其余部分的情况下实现去除与图像内的第一对象关联的由用户定义的量的运动模糊。

本发明不限于任何特定类型的含有摄像头(例如，像素复用摄像头)的设备。这样的设备的示例包括便携式或非便携式媒体设备、移动电话或其他移动计算设备、移动电视机、膝上型计算机、小屏幕、平板计算机或平板电脑、便携式台式计算机、电子阅读器、眼镜、扫描仪、独立的摄像头、便携式媒体设备、游戏设备或其他图像捕获装置、手表、带子(例如，腕带)或其他可穿戴装置，或者其他便携式或非便携式计算或非计算装置。

现在参照图2，图2例示了包括如这里所描述的摄像头的示意性设备200。这里描述的各设备或系统是计算设备，包括摄像头240、处理器220、存储器230，和存储在存储器中、由处理器可执行并且配置为实现这里描述的各过程的模块。所述模块可以包括抖动模糊控制模块250和运动控制模块260。这里描述的处理器220一般包括用于实现音频、视频和/或逻辑功能的电路。例如，处理器220可以包括数字信号处理器、微处理器和各种模数转换器、数模转换器，以及其他支持电路。处理器220还可以包括至少部分基于一个或多个软件程序的计算机可执行程序代码部分运行一个或多个软件程序的功能，所述软件程序可以存储在诸如存储器中。

存储器230可以包括任何计算机可读介质。例如，存储器230可以包括易失性介质，比如具有临时存储信息的缓冲区的易失性随机存储器(RAM)。存储器230还可以包括可以是嵌入式的和/或可以是可移除的非易失性存储器。非易失性存储器可以额外或可替代地包括EEPROM、散列存储器等。存储器230可以存储由系统使用的信息和数据的任何一个或多个片段，其中它用于实现该系统的功能。另外，在摄像头是移动通信设备的一部分的实施方式中，提供通信接口210。通信接口210实现与网络和/或与其他设备的无线通信。抖动模糊控制模块250和运动模糊控制模块260实现如这里描述的控制(例如，去除)所捕获与图像关联的抖动模糊和运动模糊。

根据本发明的实施方式，与系统(或设备)相关的术语“模块”可以指系统的硬件组件、系统的软件组件，或包括硬件和软件的系统的组件。如这里所使用的，模块可以包括一个或多个模块，其中每个模块可以位于独立硬件或软件组件内。

尽管上文中已经描述了本发明的很多实施方式，本发明可以以很多不同的形式被嵌入，并且不应当解释为局限于这里说明的实施方式；确切地讲，提供这些实施方式，使得本公开满足适用的法律的要求。而且，需要理解的是，如果可能的话，这里描述和/或设想的本发明的任何实施方式的任何优点、特征、功能、设备，和/或操作方面可以被包括在这里描述和/或设想的本发明的任何其他实施方式中，和/或反之亦然。此外，如果可能的话，除非明确说明，否则，这里以单数形式表达的任何术语的意思是也包括复数形式和/或反之亦然。如这里所使用的，“至少一个”应当表示“一个或多个”的意思并且这些短语是可以互换的。相应的，术语“一”和/或“一个”应当表示“至少一个”或“一个或多个”的意思，尽管这里也使用短语“一个或多个”或“至少一个”。贯穿全文，相同的附图标记指代类似的要素。

如阅读本公开的本领域普通技术人员将认识到的，本发明可以包括和/或被嵌入为设备(包括，例如，系统、机械、装置、计算机程序产品等)、方法(包括，例如，商业方法、计算机实现的过程等)，或它们的任何组合。相应地，本发明的实施方式可以采用完整的商业方法实施方式、完整的软件实施方式(包括固件、驻留软件、微代码、数据库中的存储过程等)、完整的硬件实施方式，或者一般可以称为“系统”的组合了商业方法、软件和硬件方面的实施方式的形式。此外，本发明的实施方式可以采用包括存储有一个或多个计算机可执行程序代码部分的计算机可读介质的计算机程序产品的形式。如这里所使用的，可以包括一个或多个处理器的处理器可以被“设置”为以包括诸如通过具有实现所述功能的一个或多个通用电路，通过执行嵌入计算机可读介质中的一个或多个计算机可执行程序代码部分，和/或通过具有实现所述功能的一个或多个专用电路的多种方式实现某项功能。

要理解的是，可以使用任何适用的计算机可读介质。计算机可读介质可以包括但不限于，非易失性计算机可读介质，例如，有形的电子的、磁的、光的、电磁的、红外的，和/或半导体系统、器件，和/或其他装置。例如，在一些实施方式中，非易失性存储器包括有形介质，例如便携式计算机磁盘、硬盘、随机存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、只读光盘存储器(CD-ROM)，和/或一些其他有形的光的和/或磁的存储装置。然而，在本发明的另一些实施方式中，计算机可读介质可以是易失性的，例如，比如，嵌有计算机可执行程序代码部分的传输信号。

执行本发明的操作的一个或多个计算机可读程序代码部分可以包括面向对象的、脚本的，和/或非脚本的程序语言，例如，比如，Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective C、JavaScript等。在一些实施方式中，执行本发明的实施方式的操作的一个或多个计算机可读程序代码部分以传统的过程编程语言编写，例如，“C”编程语言和/或类似的编程语言。计算机程序代码可以替代地或额外地以一种或多种多范式程序语言编写，例如F#。

这里参考装置和/或方法的示例性流程图和/或框图来描述本发明的一些实施方式。需要理解的是，包括在装置和/或方法的示例性流程图和/或框图中的示例性流程图和/或框图，和/或框的组合中的每个框可以实现为一个或多个计算机可执行程序代码部分。这些一个或多个计算机可执行程序代码部分可以被提供给通用目的计算机、专用目的计算机，和/或一些其他可编程数据处理装置的处理器，以产生特定机制，从而经由计算机和/或其他可编程数据处理装置执行的一个或多个计算机可执行程序代码部分产生实现由流程图和/或框图的框表示的机制。

一个或多个计算机可执行程序代码部分可以存储在能够指示、命令和/或引起计算机和/或其他可编程数据处理装置以特定方式运行的易失性和/或非易失性计算机可读介质(例如，存储器等)中，从而存储在计算机可读介质中的计算机可执行程序代码制造包括实现在流程图和/或框图的框中说明的步骤和/或功能的指令机制的产品。

一个或多个计算机可执行程序代码部分还可以被加载到计算机和/或其他可编程数据处理装置以使得在计算机和/或其他可编程装置上实现操作步骤序列。在一些实施方式中，这产生计算机实现的过程，从而在计算机和/或其他可编程装置上执行的一个或多个计算机可执行程序代码部分提供操作步骤以实现在流程图中说明的步骤和/或在框图的框中说明的步骤。可替代地，计算机实现的步骤可以与由操作员和/或人实现的步骤相结合以实现本发明的实施方式。

虽然已经描述并在附图中示出了某些示意性实施方式，但是需要理解的是，这样的实施方式仅是示意性的并且不对广义的发明产生限制，以及本发明不限于示出并描述的具体结构和布置，这是因为除了在上面的段落中说明的那些以外，各种其他变化、组合、删减、修改和替代也是可能的。本领域技术人员需要理解的是，在不脱离本发明的范围和精神的情况下，可以配置刚刚描述的实施方式的各种适应性修改、变更及组合。因此，需要理解的是，在后附权利要求书的范围内，本发明可以以不同于这里具体描述的方式实施。

Claims (17)

1.一种控制与由摄像头捕获的图像关联的抖动模糊和运动模糊的方法，该方法包括以下步骤：

接收与所述图像关联的第一图像帧和第二图像帧；

确定所述摄像头在所述第一图像帧或所述第二图像帧内的第一运动；

确定所述摄像头在所述第一图像帧与所述第二图像帧之间的第二运动；

基于所述第一运动控制与所述图像关联的所述抖动模糊的至少一部分；以及

基于所述第二运动控制与所述图像关联的所述运动模糊的至少一部分。

2.如权利要求1所述的方法，其中，所述摄像头包括像素复用摄像头。

3.如权利要求1所述的方法，其中，所述第一运动利用与所述摄像头关联的运动传感器来确定。

4.如权利要求3所述的方法，其中，所述运动传感器与所述摄像头基本上同步地对所述图像进行采样。

5.如权利要求3所述的方法，其中，所述运动传感器包括加速度计或陀螺仪。

6.如权利要求1所述的方法，其中，所述摄像头是移动设备的一部分。

7.如权利要求1所述的方法，其中，所述第一运动包括所述第一运动的方向和所述第一运动的幅度。

8.如权利要求1所述的方法，其中，所述第二运动包括所述第二运动的方向和所述第二运动的幅度。

9.如权利要求1所述的方法，其中，所述第一图像帧和所述第二图像帧与第一分辨率相关联，其中，所述第一分辨率小于预定分辨率，其中，所述图像与第二分辨率相关联，并且其中，所述第二分辨率等于或大于所述预定分辨率。

10.如权利要求1所述的方法，所述方法还包括提供针对所述图像的控制器。

11.如权利要求10所述的方法，其中，所述控制器由用户姿势或用户输入来控制。

12.如权利要求10所述的方法，其中，所述控制器使得能够去除与所述图像关联的由用户定义的量的运动模糊。

13.如权利要求10所述的方法，其中，所述控制器在不影响所述图像的其余部分的情况下实现去除与所述图像内的第一对象关联的由用户定义的量的运动模糊。

14.如权利要求1所述的方法，其中，控制抖动模糊的至少一部分的步骤包括降低抖动模糊的至少一部分，以及其中，控制运动模糊的至少一部分的步骤包括降低运动模糊的至少一部分。

15.如权利要求1所述的方法，其中，控制抖动模糊的至少一部分的步骤包括增加抖动模糊的至少一部分，以及其中，控制运动模糊的至少一部分的步骤包括增加运动模糊的至少一部分。

16.一种控制与图像关联的抖动模糊和运动模糊的系统，该系统包括：

摄像头；

存储器；

处理器：

模块，所述模块存储在所述存储器中，由所述处理器执行，并且被构造成：

接收与所述图像关联的第一图像帧和第二图像帧；

确定所述摄像头在所述第一图像帧或所述第二图像帧内的第一运动；

确定所述摄像头在所述第一图像帧与所述第二图像帧之间的第二运动；

基于所述第一运动控制与所述图像关联的抖动模糊的至少一部分；以及

基于所述第二运动控制与所述图像关联的运动模糊的至少一部分。

17.一种控制与图像关联的抖动模糊和运动模糊的计算机程序产品，该计算机程序产品包括含有代码的非易失性计算机可读介质，所述代码被构造成：

接收与所述图像关联的第一图像帧和第二图像帧；

确定所述摄像头在所述第一图像帧或所述第二图像帧内的第一运动；

确定所述摄像头在所述第一图像帧与所述第二图像帧之间的第二运动；

基于所述第一运动控制与所述图像关联的抖动模糊的至少一部分；以及

基于所述第二运动控制与所述图像关联的运动模糊的至少一部分。