CN107317965A - 图像防抖方法和设备 - Google Patents

图像防抖方法和设备 Download PDF

Info

Publication number
CN107317965A
CN107317965A CN201710530681.6A CN201710530681A CN107317965A CN 107317965 A CN107317965 A CN 107317965A CN 201710530681 A CN201710530681 A CN 201710530681A CN 107317965 A CN107317965 A CN 107317965A
Authority
CN
China
Prior art keywords
exposure
time
gain
amount
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710530681.6A
Other languages
English (en)
Other versions
CN107317965B (zh
Inventor
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710530681.6A priority Critical patent/CN107317965B/zh
Publication of CN107317965A publication Critical patent/CN107317965A/zh
Application granted granted Critical
Publication of CN107317965B publication Critical patent/CN107317965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种移动设备以及在其中实现的图像防抖方法。所述方法包括:启动防抖模式;获得所述防抖模式下用于拍摄的曝光时间;基于所述曝光时间获得当前环境下的增益量,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;根据所述曝光时间和所述增益量捕获图像;以及,对所捕获的图像进行噪声抑制处理,生成最终图像。根据本发明的防抖方法能够显著降低成像的模糊程度,提高成像质量。

Description

图像防抖方法和设备
技术领域
本公开涉及图像处理技术,具体地,涉及一种图像防抖方法和设备。
背景技术
目前越来越多的移动设备(如移动电话、个人数字助理、平板计算机等)配备有图像捕获功能。在捕获图像的过程中,尤其是手持拍摄过程中,移动设备会出现一定程度的抖动,导致捕获的图像中的模糊。为此,通常采用图像防抖(anti-shaking)技术来改善图像质量。图像防抖系统通常可以分为光学图像防抖(Optical Image Stabilization,简称OIS)系统和/或数字图像防抖(Digital Image Stabilization,简称DIS)系统。OIS系统成本较高,配置这种OIS系统会显著提高设备的成本。DIS系统采用软件来实现,成本较低。但是现有的DIS技术或者计算复杂度高,造成较长的时延,影响用户体验;或者复杂度低但不能获得高的成像质量。
因此,需要一种低成本的、能够快速实现的且提高成像质量的防抖技术。
发明内容
本公开的第一方面提供了一种图像防抖方法。所述方法包括:启动防抖模式;获得所述防抖模式下用于拍摄的曝光时间,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;基于所述曝光时间获得当前环境下的增益量;根据所述曝光时间和所述增益量捕获图像;以及,对所捕获的图像进行噪声抑制处理,生成最终图像。
在一些实施例中,根据所述曝光时间和所述增益量捕获图像可以包括:通过连续拍摄,捕获所述当前环境的多帧图像;以及,通过比较锐利度,选择所述多帧图像中的最锐利帧。对所捕获的图像进行噪声抑制处理,可以包括:根据所述多帧图像通过多帧融合算法对所述最锐利帧进行噪声抑制处理,生成最终图像。
根据本发明的第二方面,提供了一种移动设备。所述移动设备可以包括:摄像头;以及,一个或多个处理器。所述处理器可以配置为执行上述方法。例如,所述处理器可以配置为:启动防抖模式;获得所述防抖模式下用于拍摄的曝光时间,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;基于所述曝光时间获得当前环境下的增益量;根据所述曝光时间和所述增益量,通过所述摄像头捕获图像;以及,对所捕获的图像进行噪声抑制处理,生成最终图像。
在一些实施例中,所述噪声抑制处理包括:利用多帧图像之间噪声的随机性,过滤图像噪声。在另一些实施例中,所述噪声抑制处理包括:利用小波变换,过滤图像噪声。在又一些实施例中,所述噪声抑制处理可以包括:利用多帧图像之间噪声的随机性,过滤图像噪声;以及,利用小波变换,过滤图像噪声。
在一些实施例中,所述方法还包括:判断是否启动防抖模式。所述判断是否启动防抖模式可以包括:在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间;判断所述最佳曝光时间是否大于等于预定曝光时间值阈值T_et;当所述最佳曝光时间大于等于所述预定曝光时间值阈值T_et时,启动所述防抖模式。作为替代或补充,所述判断是否启动防抖模式可以包括:在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间以及与所述最佳曝光时间所对应的增益量;判断与所述最佳曝光时间所对应的增益量是否小于等于预定增益量阈值T_gain;当与所述最佳曝光时间所对应的增益量小于等于所述预定增益量阈值T_gain时,启动所述防抖模式。
在一些实施例中,所述防抖模式包括两组数值曝光参数,所述两组曝光参数中每一组曝光参数包括固定曝光时间和固定增益量。所述获得所述防抖模式下用于拍摄的曝光时间可以包括:以第一组曝光参数中的第一固定曝光时间T_et1作为所述防抖模式下的曝光时间,计算当前环境下所对应的第一计算增益量;在所述第一计算增益量小于所述第一组曝光参数中的第一固定增益量T_gain1时,确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间;在所述第一计算增益量大于等于所述第一组曝光参数中的第一固定增益量T_gain1时,以第二组曝光参数中的第二固定曝光时间T_et2作为所述防抖模式下的曝光时间,计算当前环境下所对应的第二计算增益量;以及,在所述第二计算增益量小于所述第二组曝光参数的第二固定T_gain2时,确定将所述第二固定曝光时间T_et1作为用于拍摄的曝光时间。所述基于所述曝光时间获得当前环境下的增益量可以包括:当确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间时,以第一计算增益量为当前环境下的增益量;以及,当确定将所述第二固定曝光时间T_et2作为用于拍摄的曝光时间时,以第二计算增益量为当前环境下的增益量。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的移动设备的框图;
图2示意性示出了根据本公开一实施例的图像防抖方法的流程图;
图2A示意性示出了根据本公开另一实施例的图像防抖方法的流程图;
图3示意性示出了根据本公开实施例的图像防抖方法的示例实现的流程图;
图4示意性示出了根据本公开实施例的设置曝光参数的方法的流程图;以及
图5示意性示出了根据本公开的另一实施例的移动设备的框图。
在附图中,类似的参考标号指示相同或类似的要素。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述,本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中,术语“包括”和“含有”及其派生词意为包括而非限制;术语“或”是包含性的,意为和/或。
在本说明书中,下述用于描述本公开原理的各种实施例只是说明,不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解,但这些细节应认为仅仅是示例性的。因此,本领域普通技术人员应认识到,在不背离本公开的范围和精神的情况下,可以对本文中描述的实施例进行多种改变和修改。此外,为了清楚和简洁起见,省略了公知功能和结构的描述。此外,贯穿附图,相同参考数字用于相似功能和操作。
如前所述,由于现有的OIS系统成本较高,并非所有的移动设备都能够采用此方案,而未适配OIS系统的移动设备在室内环境下拍照时,成像非常容易模糊,影响了用户体验。现有的DIS系统由于单纯采用软件实现,具有成本低的优点,但是成像效果并不理想。为此,本发明提出了一种全新的防抖算法,其能够显著降低成像的模糊程度,提高成像质量,并且时延较短能够快速实现,保证用户的良好体验。
首先,本发明提出,可以通过降低曝光时间来减小在图像曝光期间相机(或摄像头)与拍摄目标之间的相对位移,从根源上抑制运动模糊的产生。其次,本发明还提出,优选地,可以通过连续拍摄来得到固定数量的相同场景的图像;在这些图像中,通过比较锐利度得到最锐利帧,进一步提高图像的清晰度;然后,通过多帧融合算法对选取的锐利帧进行噪声抑制,提高最终图像的成像质量。
根据本发明实施例,提供了一种图像防抖方法。所述方法可以包括:启动防抖模式;获得所述防抖模式下用于拍摄的曝光时间;基于所述曝光时间获得当前环境下的增益量,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;根据所述曝光时间和所述增益量捕获图像;以及,对所捕获的图像进行噪声抑制处理,生成最终图像。
优选地,根据本发明实施例的图像防抖方法还可以包括判断是否启动防抖模式的预备步骤。从而仅在需要的情况下,启动防抖模式。
根据本发明实施例的方案的算法时间复杂度低,可以实现在移动设备上的快速商用。此外,根据本发明实施例的方案通过对图像的噪声进行深度处理,可以提高最终图像的质量。
下面参考附图对本公开的移动设备及其图像防抖方法进行详细说明。在本公开实施例中,移动设备可以是具有图像捕获功能的手机、游戏机、平板计算机等。此外,本发明的图像防抖算法还可以适用于便携式照相机,相应地根据本公开实施例的移动设备也可以包括便携式照相机。下面将以具有摄像头的移动电话(如手机)为例对本发明的移动设备及其防抖算法进行具体描述,但是本领域普通技术人员应该理解,本公开的移动设备不限于手机。
图1示意性示出了根据本公开实施例的移动设备的框图。
如图所示,根据本公开实施例的移动设备10可以包括摄像头12和一个或多个处理器14。该移动设备10可以便携式照相机,或者是具有图像捕获功能的手机、游戏机、平板计算机等等。
摄像头12可以用于在设定的曝光时间下捕获当前环境的图像。其可以是用于便携式相机的镜头组。可选地,其可以是用于移动电话、平板计算机等的镜头。
处理器14可以配置执行根据本发明实施例的图像防抖方法。可选地,处理器14还可以配置用于判断是否启动防抖模式。可选地,处理器14还可以配置用于在预览模式下执行AE(自动曝光)算法。该AE算法例如可以是现有技术或将来开发的任意AE算法,本发明在此不做限制。
根据本发明实施例的移动设备10可以具有预览模式、普通拍摄模式(即没有进行防抖处理的模式)以及防抖模式。预览模式和普通拍摄模式与现有的移动设备中的预览模式和无防抖处理的模式类似,在本文中不再赘述。在下文中,将结合具体实施例,详细描述本发明的防抖模式。
图2示意性示出了根据本公开一实施例的图像防抖方法200的流程图。
当移动设备10开启了相机功能时,方法200可以开始。
如图所示,在步骤S202中,启动防抖模式。这例如可以通过用户选择防抖模式选项来手动执行。或者,优选地,在一些实现中,在自动模式下,移动设备10(具体地,如处理器14)可以通过当前环境的情况来自动判断是否启动防抖模式(这将在下文中参考图2A来具体描述)。
在步骤S204中,获得防抖模式下用于拍摄的曝光时间et_snapshot。在防抖模式下的用于拍摄的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的当前环境的最佳曝光时间。从而可以减少相机(或摄像头)与拍摄目标之间的相对位移,以便抑制拍摄的图像中的运动模糊的产生。
具体地,在步骤S204中可以通过预设的防抖曝光参数以及检测到的当前环境的情况来确定防抖模式下用于拍摄的曝光时间et_snapshot。
在一个优选实现中,防抖模式可以包括两组数值曝光参数,如(第一固定曝光时间T_et1,第一固定增益量T_gain1)和(第二固定曝光时间T_et2,第一固定增益量T_gain2)。这两组曝光参数可以根据经验值来设置,只要足以抑制拍摄的图像中的运动模糊的产生。T_et1和T_et2通常是较小的曝光时间,在这样较小的曝光时间下,相机(或摄像头)与拍摄目标之间的相对位移较小,从而可以抑制拍摄的图像中的运动模糊的产生。T_et1通常可以小于T_et2,从而以T_et1作为用于拍摄的曝光时间时,拍摄的图像中的运动模糊的抑制效果更佳,而以T_et2作为用于拍摄的曝光时间时,拍摄的图像中的运动模糊的抑制效果次佳。优选地,T_et1例如可以取值1/100秒,1/80秒,或者这两者之间的任意值。T_et2例如可以去取值1/50秒,1/40秒,或者这两者之间的任意值。相应地,第一固定增益量T_gain1通常大于第二固定增益量T_gain2。优选地,T_gain1例如可以取值8倍,T_gain2可以例如取值16倍。
在该优选实现中,可以通过下述方式来获得防抖模式下用于拍摄的曝光时间:以第一组曝光参数中的第一固定曝光时间T_et1作为防抖模式下的曝光时间,计算当前环境下所对应的第一计算增益量;在第一计算增益量小于第一组曝光参数中的第一固定增益量T_gain1时,确定将第一固定曝光时间T_et1作为用于拍摄的曝光时间;在第一计算增益量大于等于第一组曝光参数中的第一固定增益量T_gain1时,以第二组曝光参数中的第二固定曝光时间T_et2作为防抖模式下的曝光时间,计算当前环境下所对应的第二计算增益量;在第二计算增益量小于第二组曝光参数的第二固定T_gain2时,确定将第二固定曝光时间T_et1作为用于拍摄的曝光时间。可选地,在其他情况下,例如第二计算增益量大于等于第二组曝光参数的第二固定T_gain2时,可以退出防抖模式,以处于拍照预览模式下基于自动曝光算法自动确定的当前环境的最佳曝光时间作为用于拍摄的曝光时间。
特别地,以第一组曝光参数中的第一固定曝光时间T_et1作为防抖模式下的曝光时间,计算当前环境下所对应的第一计算增益量gain1可以例如依据下式来实现:
gain1=(et_preview*gain_preview)/T_et1 (1)
其中,et_preview是拍照预览模式下基于自动曝光算法自动确定的当前环境的最佳曝光时间,gain_preview是与该最佳曝光时间所对应的增益量。
特别地,以第二组曝光参数中的第二固定曝光时间T_et2作为防抖模式下的曝光时间,计算当前环境下所对应的第二计算增益量gain2可以例如依据下式来实现:
gain2=(et_preview*gain_preview)/T_et2 (2)
如前所述,其中,et_preview是拍照预览模式下基于自动曝光算法自动确定的当前环境的最佳曝光时间,gain_preview是与该最佳曝光时间所对应的增益量。
在步骤S206中,基于步骤S204中获得的用于拍摄的曝光时间获得当前环境下的增益量gain_snapshot。
继续考虑上述优选实现,在步骤S206中优选地可以通过下述方式来获得当前环境下的增益量gain_snapshot:当确定将第一固定曝光时间T_et1作为用于拍摄的曝光时间时,以第一计算增益量为当前环境下的增益量;以及,当确定将第二固定曝光时间T_et2作为用于拍摄的曝光时间时,以第二计算增益量为当前环境下的增益量。
然后,在步骤S208中,根据步骤S204中获得的用于拍摄的曝光时间et_snapshot和在步骤S206中获得的当前环境下的增益量gain_snapshot,捕获当前环境的图像。
然后,在步骤S210中,对所捕获的图像进行噪声抑制处理,生成最终图像。该噪声抑制处理例如可以包括:利用多帧图像之间噪声的随机性,过滤图像噪声;或/和,利用小波变换,过滤图像噪声。
优选地,在步骤S208中,捕获当前环境的图像可以包括:通过连续拍摄,捕获当前环境的多帧图像;以及,通过比较锐利度,选择所述多帧图像中的最锐利帧作为步骤S210中的处理对象。
优选地,在步骤S210中,可以根据步骤S208中捕获的多帧图像通过多帧融合算法对最锐利帧进行噪声抑制处理,生成最终图像。所述噪声抑制处理例如可以包括:利用多帧图像之间噪声的随机性,过滤图像噪声;或/和,利用小波变换,过滤图像噪声。
图2A示意性示出了根据本公开另一实施例的图像防抖方法200A的流程图。如图所示,方法200A与上述参考图1描述的方法200的主要区别在于增加了判断是否启动防抖模式的步骤S201以及在不满足启动条件时不启动防抖模式的步骤S203。下面将主要描述步骤S201和S203。其他步骤,如步骤S202、步骤S204到步骤S210与方法200中的对应步骤类似,在此不再赘述。
与方法200类似,当移动设备10开启了相机功能时,方法200A开始,进入步骤S201。
在步骤S201中,判断是否启动防抖模式。该判断步骤S201可以由移动设备10(具体地,其处理器14)自动执行。在当前环境的拍摄条件满足启动条件时,方法前进到步骤S202,启动防抖模式。在不满足启动条件时,方法前进到步骤S203,不启动防抖模式。
在一种具体实现中,在步骤S201中,判断是否启动防抖模式可以包括:在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间;判断所述最佳曝光时间是否大于等于预定曝光时间值阈值T_et;当所述最佳曝光时间大于等于所述预定曝光时间值阈值T_et时,前进到步骤S202,启动所述防抖模式,否则方法前进到步骤S203,不启动防抖模式。该预定曝光时间值阈值T_et可以是一个较短的曝光时间,短得足以拍摄出清晰的图像。优选地,T_et例如可以取值1/100秒,1/80秒,或者这两者之间的任意值。通常,T_et可以等于或者稍大于T_et1。
作为上述实现的替代或者补充,在步骤S201中,判断是否启动防抖模式还可以包括:在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间以及与所述最佳曝光时间所对应的增益量;判断与所述最佳曝光时间所对应的增益量是否小于等于预定增益量阈值T_gain;当与所述最佳曝光时间所对应的增益量小于等于所述预定增益量阈值T_gain时,方法前进到步骤S202,启动所述防抖模式,否则方法前进到步骤S203,不启动防抖模式。该预定增益量阈值T_gain可以是一个较大的增益量,其会引起拍摄的图像中产生较大的噪声,已经超出了防抖算法的适用范围。优选地,T_gain例如可以取值16倍秒,10倍,或者这两者之间的任意值值。通常,T_gain可以等于或者稍小于T_gain2。
应该理解,判断是否启动防抖模式不限于上述示例,而是还可以通过其他方式来实现。在下面的图4中将示出更优选的实现方式的示例。
图3示意性示出了根据本公开实施例的图像防抖方法的示例实现300的流程图。该示例实现300可以视为上述方法200的一个具体实现。
本发明实施例是对于拍摄图像的后处理算法。首先需要获取图像。在打开相机后,根据当前的AE(自动曝光)算法,判断出当前场景的最佳曝光时间et_preview和对应需要的增益gain_preview。根据此时的曝光时间与增益量,采用曝光控制算法计算出防抖模式下所需要的用于拍摄的曝光时间et_snapshot和增益gain_snapshot。采用相同的曝光参数进行多帧连拍,得到待处理图像。其次,对于所得到的相同场景的多帧图像,进行锐利度估计(Sharpness Estimation),选取最锐利帧,以进一步提高图像的清晰度。最后对于所选取的锐利帧进行深度噪声抑制,其中包括色彩融合(Chroma Blending)和色彩抑制(ChromaSuppression),最终获得高质量的成像。
下面参考图3对该实施例的实现过程300进行详细描述。
在步骤S302中,开启相机(或相机应用)。
在步骤S304中,进入拍照预览模式,并且根据当前的AE(自动曝光)算法,判断出当前场景的最佳曝光时间et_preview和与该最佳曝光时间对应的增益gain_preview。
在步骤S306中,设置用于拍摄的曝光参数(即拍照参数)。所述拍照参数例如可以包括用于拍摄的曝光时间et_snapshot和增益gain_snapshot。具体地,可以根据反映当前环境的et_preview和gain_preview,以及预设的曝光参数,采用曝光控制算法计算出防抖模式下所需要的用于拍摄的曝光时间et_snapshot和增益gain_snapshot。具体的算法实现例如可以利用上述步骤S204和S206中介绍的算法。
在步骤S308中,采用相同的曝光参数,如(et_snapshot,gain_snapshot),进行多帧连拍,得到相同场景的多帧图像。
在步骤S310中,对步骤S308中所得到的相同场景的多帧图像进行锐利度估计(Sharpness Estimation),选取其中的最锐利帧。
在步骤S312中,对最锐利帧进行色彩融合(Chroma Blending),以抑制噪声。
在步骤S314中,对最锐利帧进行色彩抑制(Chroma Suppression),以抑制噪声。
在步骤S316中,输出经过步骤S312和S314的深度噪声抑制后的最终图像。
根据上述描述,可以看出方法300的整个算法包括两个核心部分,即曝光控制和噪声抑制。
曝光控制即如何设置曝光参数,图4示出了设置曝光参数的一个具体实现的流程图。
在图4的实现中按照如下方式进行曝光参数设置:
事先需要设置三组阈值,分别为经验值(T_et,T_gain)、(T_et1,T_gain1)和(T_et2,T_gain2)。这三组阈值可以根据经验值来设置,具体可以参见上面针对步骤S204、S206和S201的描述。
在步骤S402中,开启相机(或相机应用)。
在步骤S404中,读取当前相机预览(preview)的曝光参数,分别为et(曝光时间,如前述的et_preview)和gain(增益,如前述的gain_preview)。该当前相机预览曝光参数反映了当前环境的拍摄条件。
图4中的上述步骤S402和S404与图3中的步骤S302和S304分别对应,此处仅是为了设置曝光参数的方法的完整性而示出,在此不再赘述。图4的剩余步骤可以视为图3中步骤S306的一个具体实现。
在步骤S406中,判断et是否小于T_et。在步骤S408中,判断gain是否大于T_gain。如果在步骤S406中判断结果指示et小于T_et或者在步骤S408中判断结果指示gain大于T_gain,则前进到步骤S430,不启动防抖算法,因为此时的场景情况要么亮度较高,并不需要启用防抖算法便可以拍摄出清晰的图像,要么此时场景的亮度太低,噪声太大,已经超出了防抖算法的适用范围。
仅当et和gain都满足要求(将在从步骤S410起的步骤中描述)时,才可以启用防抖算法(参见步骤S440)。此时,为了满足防抖算法的处理要求,需要对曝光参数进行重新设置。
在图4的实现中,判断et和gain是否满足启用抖动算法的要求需要预先设置的两组曝光参数(T_et1,T_gain1)和(T_et2,T_gain2)作为参照。
在步骤S410中,判断et是否大于T_et,并且gain是否小于T_gain1。若在步骤S410中的判断结果指示et大于T_et并且gain小于T_gain1,且前进到步骤S412,否则,前进到步骤S430,不启动防抖算法。
在步骤S412中,以T_et1作为用于拍摄的曝光参数,计算对应的第一计算增益量gain1。例如,可以通过gain1=(et*gain)/T_et1来计算第一计算增益量gain1。
然后,在步骤S414中,判断gain1是否小于T_gain1。如果小于,则前进到步骤S416,采用T_et1和计算得到的第一计算增益量gain1作为拍照(snapshot)的曝光参数。
如果在步骤S414中的判断结果指示gain1大于或等于T_gain1,则前进到步骤S422,以T_et2作为用于拍摄的曝光参数,计算对应的第二增益量gain2。例如,可以通过gain2=(et*gain)/T_et2来计算第二计算增益量gain2。
然后,在步骤S424中,判断gain2是否小于T_gain2。如果小于,则前进到步骤S426,采用T_et2和计算得到的第二增益量gain2作为拍照(snapshot)的曝光参数,否则,前进到步骤S430,不启动防抖算法。
对于不启用防抖算法的情况,均采用预览的曝光参数(et,gain)作为拍照的曝光参数。
应该理解,在上述图4示出的曝光控制流程中,步骤S406、S408和S410的执行顺序可以是任意的,例如可以并行执行,或者可以顺序执行。当步骤S406、S408和S410中的任一个的条件满足时,可以不再继续执行另外两个步骤。此外,对于et等于T_et或T_et1,或者gain等于T_gain或者T_gain1等边界条件,在采用防抖算法和不采用防抖算法两种情况下拍摄的图像的质量差别不大。为了简单起见,可以不启用防抖算法,均采用预览的曝光参数(et,gain)作为拍照的曝光参数。
回到图3,在设置了用于拍摄的曝光参数之后,可以通过步骤S308和S310得到当前场景的多帧图像以及其中的最锐利帧。
作为300的整个算法的另一个核心部分,即噪声抑制处理,这主要包括步骤S312和S314。对于噪声的抑制主要通过色彩融合(Chroma Blending)和色彩抑制(ChromaSuppression)两个模块进行,这两个模块分别执行步骤S312和S314。在本公开实施中,色彩融合和色彩抑制这两个模块可以由专用硬件电路(如ASIC或FPGA),也可以实现为处理器执行的软件模块(或程序模块)。其中,色彩融合模块偏向于对图像噪声的粗尺度滤除,利用到了多帧图像之间噪声的随机性;色彩抑制则偏向于更细尺度的深度滤除,利用到了小波变换等滤波方法。
图5示意性示出了根据本公开的另一实施例的移动设备500的框图。
如图5所示,移动设备500可以包括处理器510、计算机可读存储介质520、摄像头530。该移动设备500可以执行上面参考图2~图4描述的方法,以实现根据本发明实施例的图像防抖。
具体地,处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行参考图2~图4描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质520,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质520可以包括计算机程序521,该计算机程序521可以包括代码/计算机可执行指令,其在由处理器510执行时使得处理器510执行例如上面结合图2~图4所描述的方法流程及其任何变形。
计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序521中的代码可以包括一个或多个程序模块,例如包括521A、模块521B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器510执行时,使得处理器510可以执行例如上面结合图2~图4所描述的方法流程及其任何变形。
上文已经结合优选实施例对本公开进行了描述。根据本公开实施例的防抖方法能够显著降低成像的模糊程度,提高成像质量,并且时延较短能够快速实现,保证用户的良好体验。本公开的移动设备可以包括比示出的部件更多或更少的部件。本公开的方法并不局限于上面示出的步骤和顺序,而是可以包括更多或者更少的步骤,或者可以以不同的顺序来执行。本领域技术人员根据所示实施例的教导可以进行许多变化和修改。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种图像防抖方法,包括:
启动防抖模式;
获得所述防抖模式下用于拍摄的曝光时间,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;
基于所述曝光时间获得当前环境下的增益量;
根据所述曝光时间和所述增益量捕获图像;以及
对所捕获的图像进行噪声抑制处理,生成最终图像。
2.根据权利要求1所述的方法,
其中,根据所述曝光时间和所述增益量捕获图像包括:
通过连续拍摄,捕获所述当前环境的多帧图像;以及
通过比较锐利度,选择所述多帧图像中的最锐利帧,
其中,对所捕获的图像进行噪声抑制处理,包括:
根据所述多帧图像通过多帧融合算法对所述最锐利帧进行噪声抑制处理,生成最终图像。
3.根据权利要求2所述的方法,其中,所述噪声抑制处理包括:
利用多帧图像之间噪声的随机性,过滤图像噪声;或/和
利用小波变换,过滤图像噪声。
4.根据权利要求1所述的方法,还包括:判断是否启动防抖模式,
其中,
所述判断是否启动防抖模式包括:
在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间;
判断所述最佳曝光时间是否大于等于预定曝光时间值阈值T_et;
当所述最佳曝光时间大于等于所述预定曝光时间值阈值T_et时,启动所述防抖模式,
或者,
所述判断是否启动防抖模式包括:
在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间以及与所述最佳曝光时间所对应的增益量;
判断与所述最佳曝光时间所对应的增益量是否小于等于预定增益量阈值T_gain;
当与所述最佳曝光时间所对应的增益量小于等于所述预定增益量阈值T_gain时,启动所述防抖模式。
5.根据权利要求1所述的方法,
其中,所述防抖模式包括两组数值曝光参数,所述两组曝光参数中每一组曝光参数包括固定曝光时间和固定增益量,
其中,所述获得所述防抖模式下用于拍摄的曝光时间包括:
以第一组曝光参数中的第一固定曝光时间T_et1作为所述防抖模式下的曝光时间,计算当前环境下所对应的第一计算增益量;
在所述第一计算增益量小于所述第一组曝光参数中的第一固定增益量T_gain1时,确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间;
在所述第一计算增益量大于等于所述第一组曝光参数中的第一固定增益量T_gain1时,以第二组曝光参数中的第二固定曝光时间T_et2作为所述防抖模式下的曝光时间,计算当前环境下所对应的第二计算增益量;
在所述第二计算增益量小于所述第二组曝光参数的第二固定T_gain2时,确定将所述第二固定曝光时间T_et1作为用于拍摄的曝光时间,
其中,所述基于所述曝光时间获得当前环境下的增益量包括:
当确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间时,以第一计算增益量为当前环境下的增益量;
当确定将所述第二固定曝光时间T_et2作为用于拍摄的曝光时间时,以第二计算增益量为当前环境下的增益量。
6.一种移动设备,包括:
摄像头;
一个或多个处理器,所述处理器配置为:
启动防抖模式;
获得所述防抖模式下用于拍摄的曝光时间;
基于所述曝光时间获得当前环境下的增益量,所述防抖模式下的曝光时间小于处于拍照预览模式下基于自动曝光算法自动确定的所述当前环境的最佳曝光时间;
根据所述曝光时间和所述增益量,通过所述摄像头捕获图像;以及
对所捕获的图像进行噪声抑制处理,生成最终图像。
7.根据权利要求6所述的移动设备,
其中,所述处理器还配置为通过下述方式根据所述曝光时间和所述增益量捕获图像:
通过连续拍摄,捕获所述当前环境的多帧图像;以及
通过比较锐利度,选择所述多帧图像中的最锐利帧,
其中,所述处理器还配置为通过下述方式对所捕获的图像进行噪声抑制处理:
根据所述多帧图像通过多帧融合算法对所述最锐利帧进行噪声抑制处理,生成最终图像。
8.根据权利要求7所述的移动设备,其中,所述噪声抑制处理包括:
利用多帧图像之间噪声的随机性,过滤图像噪声;或/和
利用小波变换,过滤图像噪声。
9.根据权利要求6所述的移动设备,所述处理器还配置为:判断是否启动防抖模式,
其中,
所述判断是否启动防抖模式包括:
在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间;
判断所述最佳曝光时间是否大于等于预定曝光时间值阈值T_et;
当所述最佳曝光时间大于等于所述预定曝光时间值阈值T_et时,启动所述防抖模式,
或者,
所述判断是否启动防抖模式包括:
在拍照预览模式下基于自动曝光算法自动确定所述当前环境的最佳曝光时间以及与所述最佳曝光时间所对应的增益量;
判断与所述最佳曝光时间所对应的增益量是否小于等于预定增益量阈值T_gain;
当与所述最佳曝光时间所对应的增益量小于等于所述预定增益量阈值T_gain时,启动所述防抖模式。
10.根据权利要求6所述的移动设备,
其中,所述防抖模式包括两组数值曝光参数,所述两组曝光参数中每一组曝光参数包括固定曝光时间和固定增益量,
其中,所述处理器还配置为通过下述方式获得所述防抖模式下用于拍摄的曝光时间:
以第一组曝光参数中的第一固定曝光时间T_et1作为所述防抖模式下的曝光时间,计算当前环境下所对应的第一计算增益量;
在所述第一计算增益量小于所述第一组曝光参数中的第一固定增益量T_gain1时,确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间;
在所述第一计算增益量大于等于所述第一组曝光参数中的第一固定增益量T_gain1时,以第二组曝光参数中的第二固定曝光时间T_et2作为所述防抖模式下的曝光时间,计算当前环境下所对应的第二计算增益量;
在所述第二计算增益量小于所述第二组曝光参数的第二固定T_gain2时,确定将所述第二固定曝光时间T_et1作为用于拍摄的曝光时间,
其中,所述处理器还配置为通过下述方式基于所述曝光时间获得当前环境下的增益量包括:
当确定将所述第一固定曝光时间T_et1作为用于拍摄的曝光时间时,以第一计算增益量为当前环境下的增益量;
当确定将所述第二固定曝光时间T_et2作为用于拍摄的曝光时间时,以第二计算增益量为当前环境下的增益量。
CN201710530681.6A 2017-06-30 2017-06-30 图像防抖方法和设备 Active CN107317965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710530681.6A CN107317965B (zh) 2017-06-30 2017-06-30 图像防抖方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710530681.6A CN107317965B (zh) 2017-06-30 2017-06-30 图像防抖方法和设备

Publications (2)

Publication Number Publication Date
CN107317965A true CN107317965A (zh) 2017-11-03
CN107317965B CN107317965B (zh) 2020-04-24

Family

ID=60179976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710530681.6A Active CN107317965B (zh) 2017-06-30 2017-06-30 图像防抖方法和设备

Country Status (1)

Country Link
CN (1) CN107317965B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234873A (zh) * 2018-01-10 2018-06-29 北京小米移动软件有限公司 一种获取图像的方法和装置
CN108810412A (zh) * 2018-06-12 2018-11-13 Oppo(重庆)智能科技有限公司 视频处理方法、视频处理装置及终端设备
CN111726530A (zh) * 2020-06-28 2020-09-29 杭州海康威视数字技术股份有限公司 一种多路视频流获取方法、装置及设备
CN113596294A (zh) * 2021-07-08 2021-11-02 维沃移动通信(杭州)有限公司 拍摄方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184452A (ja) * 1997-09-09 1999-03-26 Minolta Co Ltd 振れ補正機能付きカメラ
CN102457675A (zh) * 2010-10-27 2012-05-16 展讯通信(上海)有限公司 一种手持式相机设备的图像拍摄防抖方式
CN106060249A (zh) * 2016-05-19 2016-10-26 维沃移动通信有限公司 一种拍照防抖方法及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1184452A (ja) * 1997-09-09 1999-03-26 Minolta Co Ltd 振れ補正機能付きカメラ
CN102457675A (zh) * 2010-10-27 2012-05-16 展讯通信(上海)有限公司 一种手持式相机设备的图像拍摄防抖方式
CN106060249A (zh) * 2016-05-19 2016-10-26 维沃移动通信有限公司 一种拍照防抖方法及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234873A (zh) * 2018-01-10 2018-06-29 北京小米移动软件有限公司 一种获取图像的方法和装置
US10674088B2 (en) 2018-01-10 2020-06-02 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for acquiring image, terminal and computer-readable storage medium
CN108810412A (zh) * 2018-06-12 2018-11-13 Oppo(重庆)智能科技有限公司 视频处理方法、视频处理装置及终端设备
CN111726530A (zh) * 2020-06-28 2020-09-29 杭州海康威视数字技术股份有限公司 一种多路视频流获取方法、装置及设备
CN113596294A (zh) * 2021-07-08 2021-11-02 维沃移动通信(杭州)有限公司 拍摄方法、装置和电子设备

Also Published As

Publication number Publication date
CN107317965B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN107635098B (zh) 高动态范围图像噪声去除方法、装置及设备
CN107317965A (zh) 图像防抖方法和设备
EP3496383A1 (en) Image processing method, apparatus and device
CN107959778B (zh) 基于双摄像头的成像方法和装置
JP6376618B2 (ja) マルチフレームノイズ低減方法および端末
CN107454343B (zh) 拍照方法、拍照装置及终端
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
US20080112644A1 (en) Imaging device
CN107948520A (zh) 图像处理方法和装置
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
CN103118226B (zh) 光源估计装置、光源估计方法、存储介质和成像设备
JP2011135563A (ja) 撮像装置および画像処理方法
US8134613B2 (en) Image processing apparatus and method, and image pickup apparatus
CN110430370A (zh) 图像处理方法、装置、存储介质及电子设备
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
KR20140003835A (ko) 영상의 노이즈 제거 장치 및 방법
CN102959942A (zh) 立体观看用图像拍摄装置及其控制方法
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
KR20220028962A (ko) 이미지 개선 방법, 이미지 개선 장치, 그 장치의 학습 방법 및 학습 장치
CN110177212A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105812672B (zh) 拍照处理方法及装置
CN109191506A (zh) 深度图的处理方法、系统及计算机可读存储介质
CN107872631A (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN106170068A (zh) 动态图像生成装置以及动态图像生成方法
CN111835982A (zh) 图像获取方法、图像获取装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant