CN110266954B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110266954B
CN110266954B CN201910580026.0A CN201910580026A CN110266954B CN 110266954 B CN110266954 B CN 110266954B CN 201910580026 A CN201910580026 A CN 201910580026A CN 110266954 B CN110266954 B CN 110266954B
Authority
CN
China
Prior art keywords
image
exposure time
yuv
target exposure
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910580026.0A
Other languages
English (en)
Other versions
CN110266954A (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910580026.0A priority Critical patent/CN110266954B/zh
Publication of CN110266954A publication Critical patent/CN110266954A/zh
Application granted granted Critical
Publication of CN110266954B publication Critical patent/CN110266954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括:获取曝光时间;根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;利用所述高动态范围图像,进行图像的预览或拍照或录像操作。本申请提供的图像处理方案得到的图像能够适用于图像的预览、拍照和录像。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于终端技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像可以适用于预览、拍照和录像。
本申请实施例提供一种图像处理方法,包括:
获取曝光时间;
根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;
按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种图像处理装置,包括:
第一获取模块,用于获取曝光时间;
确定模块,用于根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;
第二获取模块,用于按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
合成模块,用于对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
处理模块,用于利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法中的流程。
本申请实施例中,由于多帧待合成YUV图像包括以合适的过曝光时间获取的图像和以合适的欠曝光时间获取的图像,因此,对该多帧待合成YUV图像进行合成处理所得到的HDR图像可以很好地保留拍摄场景中较亮区域的特征以及较暗区域的特征,从而可以提高HDR图像的品质。并且,由于YUV图像为经过降噪等处理的图像,因此,采用多帧待合成YUV图像合成的HDR图像的品质较高,这种品质较高的HDR图像可以直接用于图像预览、拍照和录像。即,本实施例提供的图像处理方案得到的图像能够适用于预览、拍照和录像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的第一种流程示意图。
图2是本申请实施例提供的图像处理方法的第二种流程示意图。
图3是本申请实施例提供的图像处理方法的第三种流程示意图。
图4是本申请实施例提供的图像处理方法的第四种流程示意图。
图5是本申请实施例提供的图像处理方法的第五种流程示意图。
图6是本申请实施例提供的图像处理方法的场景示意图。
图7是本申请实施例提供的图像处理方法的第六种流程示意图。
图8是本申请实施例提供的图像处理装置的结构示意图。
图9是本申请实施例提供的电子设备的第一种结构示意图。
图10是本申请实施例提供的电子设备的第二种结构示意图。
图11是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的第一种流程示意图,流程可以包括:
101、获取曝光时间。
本实施例提供的图像处理方法可以应用于具有摄像模组的电子设备。电子设备的摄像模组可以包括图像处理电路,图像处理电路可以包括摄像头和图像信号处理器,其中摄像头至少可以包括一个或多个透镜和图像传感器。透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像,即RAW图像,并将该RAW图像提供给图像信号处理器处理。图像信号处理器可以对该RAW图像进行格式转换,降噪等处理,得到YUV图像。其中,RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。YUV是一种颜色编码方法,其中Y表示亮度,U表示色度,V表示浓度,人眼从YUV图像中可以直观的感受到其中所包含的自然特征。
比如,电子设备会获取曝光时间。在本实施例中,并不对该曝光时间进行限制。例如,该曝光时间可以是电子设备根据当前拍摄场景自行确定的。即电子设备可以根据当前拍摄场景的环境光线亮度大小等确定曝光时间。或者,该曝光时间可以是电子设备自动获取的一较长的曝光时间。或者,该曝光时间可以是由电子设备自动确定的一随机曝光时间。或者,该曝光时间可以由用户设定。
其中,在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准一包括XX物体的场景,则该包括XX物体的场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
102、根据曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,第一目标曝光时间与第二目标曝光时间不相同。
当获取到曝光时间之后,电子设备可以根据该曝光时间确定第一目标曝光时间和第二目标曝光时间。其中,第一目标曝光时间与第二目标曝光时间不相同。也就是说,当电子设备获取到曝光时间之后,电子设备可以根据该曝光时间确定两个不相同的曝光时间,该两个不相同的曝光时间即为第一目标曝光时间和第二目标曝光时间。其中,相对而言,该第一目标曝光时间可以为一较短的曝光时间,该第二目标曝光时间可以为一较长的曝光时间,即,若第一目标曝光时间为t1,第二目标曝光时间为t2,则t1<t2。例如,该第二目标曝光时间可以是该第一目标曝光时间的1.25倍、2倍、3倍等等。
103、按照第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像。
在本实施例中,在得到第一目标曝光时间和第二目标曝光时间之后,电子设备可以按照该第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像。
例如,若电子设备得到的第一目标曝光时间为t1,第二目标曝光时间为t2,t1<t2,那么电子设备可以按照t1获取第1帧待合成YUV图像,然后按照t2获取第2帧待合成YUV图像,接着再按照t1获取第3帧待合成YUV图像,随后再按照t2获取第4帧待合成YUV图像,以此循环;或者,电子设备可以按照t2获取第1帧待合成YUV图像,然后按照t1获取第2帧待合成YUV图像,接着再按照t2获取第3帧待合成YUV图像,随后再按照t1获取第4帧待合成YUV图像,以此循环。
在本实施例中,电子设备可以先采用图像传感器按照第一目标曝光时间和第二目标曝光时间交替获取多帧RAW图像,然后采用图像信号处理器对每帧RAW图像进行格式转换,降噪等处理,将其转换到YUV颜色空间,得到适于人眼查看的多帧待合成YUV图像。
104、对多帧待合成YUV图像进行合成处理,得到高动态范围图像。
比如,在得到多帧待合成YUV图像之后,电子设备可以对该多帧待合成YUV图像进行合成处理,得到高动态范围图像。例如,在得到4帧待合成YUV图像之后,电子设备可以对该4帧待合成YUV图像进行合成处理,得到高动态范围图像。
105、利用高动态范围图像,进行图像的预览或拍照或录像操作。
比如,在得到高动态范围图像之后,电子设备可以利用该高动态范围图像,进行图像的预览或拍照或录像操作。例如,电子设备可以将该高动态范围图像显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以直接将该高动态图像作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以将该高动态图像作为录像得到的视频的其中一帧。
本实施例中,由于多帧待合成YUV图像包括以合适的过曝光时间获取的图像和以合适的欠曝光时间获取的图像,因此,对该多帧待合成YUV图像进行合成处理所得到的HDR图像可以很好地保留拍摄场景中较亮区域的特征以及较暗区域的特征,从而可以提高HDR图像的品质。并且,由于YUV图像为经过降噪等处理的图像,因此,采用多帧待合成YUV图像合成的HDR图像的品质较高,这种品质较高的HDR图像可以直接用于图像预览、拍照和录像。即,本实施例提供的图像处理方案得到的图像能够适用于预览、拍照和录像。
请参阅图2,图2是本申请实施例提供的图像处理方法的第二种流程示意图,流程可以包括:
201、电子设备获取曝光时间。
比如,电子设备会获取曝光时间。在本实施例中,并不对该曝光时间进行限制。例如,该曝光时间可以是电子设备根据当前拍摄场景自行确定的。即电子设备可以根据当前拍摄场景的环境光线亮度大小等确定曝光时间。或者,该曝光时间可以是由电子设备自动确定的一随机曝光时间。或者,该曝光时间可以由用户设定。
其中,在根据用户操作启动拍摄类应用程序(比如电子设备的系统应用“相机”)后,其摄像头所对准的场景即为拍摄场景。比如,用户通过手指点击电子设备上“相机”应用的图标启动“相机应用”后,若用户使用电子设备的摄像头对准一包括XX物体的场景,则该包括XX物体的场景即为拍摄场景。根据以上描述,本领域技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
202、电子设备按照曝光时间获取第一YUV图像。
比如,当得到曝光时间之后,电子设备可以按照该曝光时间获取第一YUV图像。
在一些实施例中,在得到曝光时间之后,电子设备可以先采用图像传感器按照该曝光时间获取一帧RAW图像,再采用图像信号处理器对RAW图像进行格式转换、降噪等处理,以得到第一YUV图像。可以理解的是,由于YUV图像经过降噪等处理,相对于RAW图像来说,图像质量相对较好。
203、电子设备根据第一YUV图像,确定第一目标曝光时间。
当得到第一YUV图像后,电子设备可以根据该第一YUV图像,确定第一目标曝光时间。例如,电子设备可以确定出该第一YUV图像的过曝区域。根据该过曝区域的大小来确定第一目标曝光时间。
例如,白天,用户站在光线亮度较暗的室内对窗外的风景拍照时,由于室内环境光线亮度较暗,电子设备会自动确定一较长的曝光时间,以使拍摄得到的照片亮度较高。然而,由于曝光时间较长,会使得环境光线亮度较亮的区域呈现过曝现象,该呈现过曝现象的区域即为过曝区域。例如,拍摄得到的照片中,室外风景中的天空部分将会变为一片白色,无法清晰地体现出蓝天和白云,该变为一片白色的天空部分即为过曝区域。若天空部分比较多,则拍摄得到的照片过曝区域便较多。
在一些实施例中,当电子设备以一较长的曝光时间获取到的图像中,存在一些区域无法体现出细节部分时,可以将这些区域确定为过曝区域。例如,在晴朗的白天,人眼看到的天空通常包括蓝天和白云。若电子设备获取到的图像中,天空所在的部分无法看出蓝天和白云,仅能看到一片白色,那么,天空所在的区域即为过曝区域。
由于曝光时间越短,获取到的过曝区域的信息量就越多。那么,当过曝区域较大时,电子设备可以确定一较小的曝光时间,将其确定为第一目标曝光时间;当过曝区域较小时,电子设备可以确定一较大的曝光时间,将其确定为第一目标曝光时间。例如,电子设备可以对第一YUV图像进行分析,以确定该第一YUV图像中过曝区域的大小,并根据该YUV图像中过曝区域的大小,确定第一目标曝光时间。
需要说明的是,为体现过曝区域的细节,该第一目标曝光时间不应确定得太大。比如,若按照该第一目标曝光时间获取一YUV图像,在该YUV图像中,过曝区域的细节应该均能体现。例如,白天,用户站在光线亮度较暗的室内对窗外的风景拍照时,照片中,天空部分需呈现出蓝天白云,而不是呈现出一片白色,无法看到蓝天白云。
204、电子设备根据第一目标曝光时间,确定第二目标曝光时间。
在确定第一目标曝光时间之后,电子设备可以根据第一目标曝光时间,确定第二目标曝光时间。比如,电子设备可以将第一目标曝光时间增大一定倍数,得到第二目标曝光时间。例如,若第一目标曝光时间为t1,第二目标曝光时间可以为1.238t1、1.5t1、2t1、3t1等等。
在一些实施例中,在确定第一目标曝光时间之后,电子设备可以按照第一目标曝光时间获取一YUV图像,然后,根据该YUV图像,确定第二目标曝光时间。
205、电子设备按照第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像。
例如,若电子设备得到的第一目标曝光时间为t1,第二目标曝光时间为t2,t1<t2,那么电子设备可以按照t1获取第1帧待合成YUV图像,然后按照t2获取第2帧待合成YUV图像,接着再按照t1获取第3帧待合成YUV图像,随后再按照t2获取第4帧待合成YUV图像,以此循环;或者,电子设备可以按照t2获取第1帧待合成YUV图像,然后按照t1获取第2帧待合成YUV图像,接着再按照t2获取第3帧待合成YUV图像,随后再按照t1获取第4帧待合成YUV图像,以此循环。
在本实施例中,电子设备可以先采用图像传感器按照第一目标曝光时间和第二目标曝光时间交替获取多帧RAW图像,然后采用图像信号处理器对每帧RAW图像进行格式转换,降噪等处理,将其转换成适于人眼查看的多帧待合成YUV图像。
206、若每帧待合成YUV图像中存在同一移动物体,则电子设备确定移动物体在每帧待合成YUV图像中的位置区域,得到多个位置区域。
207、电子设备合并多个位置区域,得到合并区域。
208、电子设备确定合并区域在任意一帧待合成YUV图像中的位置区域,得到第一区域。
例如,电子设备可以先从多帧待合成YUV图像中选取出两帧在时间上相邻的待合成YUV图像,即为第一待合成YUV图像和第二待合成YUV图像,其中,第一待合成YUV图像和第二待合成YUV图像的大小相同。然后,电子设备利用语义分割技术对对第一待合成YUV图像和第二待合成YUV图像进行语义分割,从而确定出第一待合成YUV图像和第二待合成YUV图像中存在的物体及其对应的位置区域。然后,电子设备根据第一待合成YUV图像和第二待合成YUV图像的语义分割结果,识别出同一物体在第一待合成YUV图像中的位置区域(记为第一位置区域)和第二待合成YUV图像中的位置区域(记为第二位置区域)。电子设备可以以第一待合成YUV图像和第二待合成YUV图像的左上角为坐标原点,建立平面直角坐标系。然后,电子设备可以确定第一位置区域各像素点的坐标和第二位置区域各像素点的坐标。然后,电子设备判断该第二位置区域各像素点的坐标是否相对于第一位置区域各像素点的坐标至少偏移了预设距离,即判断该第一位置区域各像素点至少偏移预设距离是否能得到第二位置区域各像素点的坐标。若电子设备判定该第一位置区域各像素点至少偏移预设距离能得到第二位置区域各像素点的坐标,则确定第一待合成YUV图像中和第二待合成YUV图像中存在同一移动物体。然后,电子设备可以合并第一位置区域和第二位置区域,得到第一待合成YUV图像对应的合并区域或第二待合成YUV图像对应的合并区域。即,若第一待合成YUV图像中和第二待合成YUV图像中存在同一移动物体,则第一待合成YUV图像中和第二待合成YUV图像中便存在同一合并区域。其中,预设距离可以根据实际情况进行设置,此处不作具体限制。
同理,电子设备可以采用上述方法判断多帧待合成YUV图像中是否存在同一移动物体。然后电子设备可以在每帧待合成YUV图像中存在同一移动物体时,确定该移动物体在每帧待合成YUV图像中的位置区域,得到多个位置区域。然后,电子设备可以合并多个位置区域,得到合并区域。最后,电子设备可以确定该合并区域在任意一帧待合成YUV图像中的位置区域,得到第一区域。例如,假设需要对4帧待合成YUV图像进行合成处理,那么,电子设备在判断出该4帧待合成YUV图像中存在移动物体之后,可以合并第一位置区域、第二位置区域、第三位置区域和第四位置区域,得到合并区域。最后,电子设备可以确定该合并区域在这4帧待合成YUV图像中的任意一帧待合成YUV图像中的位置区域,得到第一区域。其中,该第一位置区域、第二位置区域、第三位置区域和第四位置区域为同一移动物体在4帧待合成YUV图像中的第1帧待合成YUV图像中的位置区域、第2帧待合成YUV图像中的位置区域、第3帧待合成YUV图像中的位置区域和第4帧待合成YUV图像中的位置区域。
由上分析可知,合并区域在每帧待合成YUV图像中的大小和位置均相同。那么,电子设备可以将合并区域在多帧待合成YUV图像中的任意一帧待合成YUV图像中的位置区域确定为第一区域。
209、电子设备将每帧待合成YUV图像中除移动区域之外的区域确定为目标区域,得到多个目标区域。
比如,电子设备可以将每帧待合成YUV图像中除移动区域之外的区域确定为目标区域,得到多个目标区域。例如,若需要对4帧待合成YUV图像进行合成处理,电子设备便可以得到4个目标区域。若需要对5帧待合成YUV图像进行合成处理,电子设备便可以得到5个目标区域。
210、电子设备对第一区域和多个目标区域进行合成处理,得到高动态范围图像。
在得到第一区域和多个目标区域之后,电子设备可以对该第一区域和多个目标区域进行合成处理,得到高动态范围图像。
也即,若需要进行合成处理的多帧待合成YUV图像中的每帧待合成YUV图像中存在移动区域(合并区域),在进行合成处理时,对于该移动区域,仅需采用一帧图像的资讯进行合成处理,而对于每帧待合成YUV图像中除该移动区域之外的其他区域,则需要采用多帧待合成YUV图像的资讯进行合成处理,以减少鬼影现象。
由于本实施例中的第一目标曝光时间和第二目标曝光时间不相同,且第二目标曝光时间通常为第一目标曝光时间的2倍或者3倍,即第一目标曝光时间和第二目标曝光时间相差较大,若对按照该第一目标曝光时间和第二目标曝光时间交替获取的多帧YUV图像进行合成处理,得到的高动态范围图像会存在鬼影现象。因此,本实施例需采用上述方法减少鬼影现象,以提高图像质量。
211、电子设备利用高动态范围图像,进行图像的预览或拍照或录像操作。
比如,在得到高动态范围图像之后,电子设备可以利用该高动态范围图像,进行图像的预览或拍照或录像操作。例如,电子设备可以将该高动态范围图像显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以直接将该高动态图像作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以将该高动态图像作为录像得到的视频的其中一帧。
如图3所示,在一些实施例中,流程203可以包括:
2031、电子设备计算第一YUV图像的HDR分数或者光比,该HDR分数的高低用于表示第一YUV图像的过曝区域的大小。
2032、电子设备根据HDR分数或者光比,确定第一目标曝光时间。
在一些实施例中,当得到第一YUV图像之后,电子设备可以计算该第一YUV图像的HDR分数或光比,当得到该第一YUV图像的HDR分数或光比之后,电子设备可以根据该第一YUV图像的HDR分数或者光比,确定第一目标曝光时间。其中,该HDR分数的高低用于描述第一YUV图像的过曝区域的大小。HDR分数越高,则表示该第一YUV图像中存在越大的过曝区域;反之,HDR分数越低,则表示该第一YUV图像中存在越小的过曝区域。光比表示第一YUV图像中的被摄物暗面与亮面的受光比例。光比越大,则表示该第一YUV图像中存在越大的过曝区域;反之,光比越小,则表示该第一YUV图像中存在越小的过曝区域。
当过曝区域较大时,可以获取较短的曝光时间,以获取较多过曝区域的信息量,当过曝区域较小时,可以获取较长的曝光时间,以在获取过曝区域一定信息量的基础上,提高最终合成的HDR图像的亮度。
例如,当第一YUV图像的HDR分数为g1时,电子设备可以确定第一目标曝光时间为t3;当第一YUV图像的HDR分数为g2时,电子设备可以确定第一目标曝光时间为t4。其中,g1>g2,t3<t4。
在一些实施例中,前期,电子设备可以对大量的存在过曝区域的YUV图像进行分析与学习,分析出过曝区域的特点。后期,电子设备可以在获取到YUV图像之后,直接确定出该YUV图像的过曝区域。随后,电子设备根据该YUV图像的过曝区域的大小,确定第一目标曝光时间。其中,过曝区域越大,第一目标曝光时间越小;过曝区域越小,第一目标曝光时间越大。
在另一些实施例中,电子设备根据HDR分数或者光比,确定第一目标曝光时间,可以包括:电子设备获取HDR分数或者光比与曝光时间的映射关系;电子设备根据该映射关系,确定第一YUV图像的HDR分数或者光比所对应的曝光时间,得到第一目标曝光时间。
比如,电子设备可以预先设置HDR分数或者光比与曝光时间的映射关系。
例如,HDR分数与曝光时间的映射关系可以如表1所示。
表1 HDR分数与曝光时间的映射关系
HDR分数 50 60 70 80
曝光时间 4ms 3ms 2ms 1ms
光比与曝光时间的映射关系可以如表2所示。
表2光比与曝光时间的映射关系
HDR分数 1:1 1:2 1:4 1:8
曝光时间 4ms 3.5ms 3ms 2.5ms
HDR分数与曝光时间的映射关系可以如表3所示。
表1 HDR分数与曝光时间的映射关系
HDR分数 31~40 41~50 51~60 61~70
曝光时间 4.5ms 3.5ms 2.5ms 1.5ms
也即,在本实施例中,HDR分数或光比与曝光时间的映射关系,可以是一HDR分数或光比对应一曝光时间;也可以是一HDR分数范围或者光比范围对应一曝光时间。
在一些实施例中,HDR分数或光比与曝光时间的映射关系,也可以是多个HDR分数或光比对应一曝光时间。
需要说明的是,对于采用何种方式设置HDR分数或光比与曝光时间的映射关系,本申请实施例不做具体限制,可由本领域普通技术人员根据实际需要设置合适的HDR分数或光比与曝光时间的映射关系。
比如,当计算出第一YUV图像的HDR分数或者光比之后,电子设备可以获取HDR分数或者光比与曝光时间的映射关系,然后根据该映射关系,确定第一YUV图像的HDR分数或者光比对应的曝光时间,将其确定为第一目标曝光时间。
例如,若电子设备计算出第一YUV图像的HDR分数为70,且电子设备获取的是如表1所示的映射关系,那么,第一目标曝光时间则为2ms。或者,若电子设备计算出第一YUV图像的光比为1:1,且电子设备获取的是如表2所示的映射关系,那么,第一目标曝光时间则为4ms。
在一些实施例中,电子设备可以仅计算HDR分数,从而根据该HDR分数确定出第一目标曝光时间;或者,电子设备可以仅计算光比,从而根据该光比确定出第一目标曝光时间。或者。电子设备可以分别计算第一YUV图像的HDR分数和光比,然后根据该第一YUV图像的HDR分数确定第一曝光时间,并根据该第一YUV图像的光比确定第二曝光时间。若第一曝光时间与第二曝光时间相同,则电子设备可以将第一曝光时间确定为第一目标曝光时间。若第一曝光时间与第二曝光时间不相同,则电子设备可以计算第一曝光时间和第二曝光时间的平均值,将该平均值确定为第一目标曝光时间。或者,电子设备可以将第一曝光时间和第二曝光时间中时长较短的确定为第一目标曝光时间,以尽可能多地获取过曝区域的信息量,即尽可能多地获取过曝区域的细节。或者电子设备可以将第一曝光时间和第二曝光时间中时长较长的确定为第一目标曝光时间,以提升最后合成的HDR图像的亮度。
需要说明的是,相对来说,HDR分数的计算量大于光比的计算量。而利用根据HDR分数确定出的第一曝光时间获取的YUV图像合成而得到的HDR图像会相对较好,因此,可以根据实际需求确定采用何种方式来确定第一曝光时间。例如,电子设备可以先对自身的性能进行分析;若电子设备分析出自身的性能不足以支持HDR分数的计算,那么其可以选择计算光比,根据光比确定第一目标曝光时间;若电子设备分析出自身的性能完全可以支持HDR分数的计算,那么其可以选择计算HDR分数,根据HDR分数确定第一目标曝光时间。
如图4所示,在一些实施例中,流程204可以包括:
2041、电子设备根据第一目标曝光时间确定倍数。
2042、电子设备按照该倍数调整第一目标曝光时间,得到第二目标曝光时间。
比如,若第一目标曝光时间小于预设时长,电子设备可以确定第一倍数。若第一目标曝光时间大于或等于预设时长,电子设备可以确定第二倍数。然后电子设备可以按照该第一倍数或第二倍数调整第一目标曝光时间,得到第二目标曝光时间,第一倍数大于第二倍数。其中,预设时长可以根据实际情况确定,此处不作具体限制。
也就是说,当第一目标曝光时间较短时,按照该第一目标曝光时间获取的待合成YUV图像可以较多地体现拍摄场景中亮处的细节,即亮处的特征,但可能无法很好地体现拍摄场景中暗处的细节,即暗处的特征。因此,为了很好地体现暗处的细节,在第一目标曝光时间较短时,即小于预设时长时,电子设备可以确定一较大的倍数,例如3倍、4倍等。随后,电子设备可以按照该倍数增大第一目标曝光时间,例如,将第一目标曝光时间增大3倍、4倍等,得到第二目标曝光时间。而当第一目标曝光时间较长时,即大于或等于预设时长时,电子设备可以确定一较小的倍数,例如2倍、2.5倍等。随后,电子设备可以按照该倍数增大第一目标曝光时间,例如,将第一目标曝光时间增大2倍、2.5倍等,得到第二目标曝光时间。
请参阅图5,图5是本申请实施例提供的图像处理方法的第五种流程示意图,流程可以包括:
301、电子设备获取曝光时间。
302、电子设备将曝光时间确定为第二目标曝光时间。
比如,电子设备会获取曝光时间,该曝光时间可以是电子设备自动获取的一较长的曝光时间。例如,在拍摄场景存在光线较暗的区域时,电子设备可以获取一较长的曝光时间,以尽可能多地体现该光线较暗的区域的细节。然后,电子设备可以将该曝光时间确定为第二目标曝光时间。需要说明的是,在本申请实施例中,按照该第二目标曝光时间获取的图像为过曝图像。
303、电子设备按照第二目标曝光时间获取第二YUV图像。
在确定第二目标曝光时间之后,电子设备可以按照该第二目标曝光时间获取第二YUV图像,即获取一帧过曝YUV图像。
304、电子设备根据第二YUV图像,确定第一目标曝光时间。
当得到第二YUV图像后,电子设备可以根据该第二YUV图像,确定第一目标曝光时间。例如,电子设备可以确定出该第二YUV图像的过曝区域。根据该过曝区域的大小来确定第二目标曝光时间。
在一些实施例中,当电子设备以该第二目标曝光时间获取到的YUV图像中,存在一些区域无法体现出细节部分时,可以将这些区域确定为过曝区域。例如,在晴朗的白天,人眼看到的天空通常包括蓝天和白云。若电子设备以该第二目标曝光时间获取到的YUV图像中,天空所在的部分无法看出蓝天和白云,仅能看到一片白色,那么,天空所在的区域即为过曝区域。
由于曝光时间越短,获取的过曝区域的信息量就越多。那么,当过曝区域较大时,电子设备可以确定一较小的曝光时间,将其确定为第一目标曝光时间;当过曝区域较小时,电子设备可以确定一较大的曝光时间,将其确定为第一目标曝光时间。例如,电子设备可以对第二YUV图像进行分析,以确定该第二YUV图像中过曝区域的大小,并根据该YUV图像中过曝区域的大小,确定第一目标曝光时间。
需要说明的是,为尽可能多地体现过曝区域的细节,该第一目标曝光时间不应确定得太大。比如,若按照该第一目标曝光时间获取一YUV图像,在该YUV图像中,过曝区域的细节应该均能体现。例如,白天,用户站在光线亮度较暗的室内对窗外的风景拍照时,照片中,天空部分需呈现出蓝天白云,而不是呈现出一片白色,无法看到蓝天白云。
在一些实施例中,流程304可以包括:
电子设备计算第二YUV图像的HDR分数或者光比,该HDR分数的高低用于表示第二YUV图像的过曝区域的大小。电子设备根据该第二YUV图像的HDR分数或者光比,确定第一目标曝光时间。
在一些实施例中,当得到第二YUV图像之后,电子设备可以计算该第二YUV图像的HDR分数或光比,当得到该第二YUV图像的HDR分数或光比之后,电子设备可以根据该第二YUV图像的HDR分数或者光比,确定第一目标曝光时间。其中,该HDR分数的高低用于描述第二YUV图像的过曝区域的大小。HDR分数越高,则表示该第二YUV图像中存在越大的过曝区域;反之,HDR分数越低,则表示该第二YUV图像中存在越小的过曝区域。光比表示第二YUV图像中的被摄物暗面与亮面的受光比例。光比越大,则表示该第二YUV图像中存在越大的过曝区域;反之,光比越小,则表示该第二YUV图像中存在越小的过曝区域。
当过曝区域较大时,可以获取较短的曝光时间,以获取较多过曝区域的信息量,当过曝区域较小时,可以获取较长的曝光时间,以在获取过曝区域一定信息量的基础上,以提高最终合成的HDR图像的亮度。
例如,当第二YUV图像的HDR分数为g3时,电子设备可以确定第一目标曝光时间为t5;当第二YUV图像的HDR分数为g4时,电子设备可以确定第一目标曝光时间为t6。其中,g3>g4,t5<t6。需要说明的是,在本申请实施例中,按照该第一目标曝光时间获取的图像为欠曝图像。
在一些实施例中,前期,电子设备可以对大量的存在过曝区域的YUV图像进行分析与学习,分析出过曝区域的特点。后期,电子设备可以在获取到YUV图像之后,直接确定出该YUV图像的过曝区域。随后,电子设备根据该YUV图像的过曝区域的大小,确定第一目标曝光时间。其中,过曝区域越大,第一目标曝光时间越小;过曝区域越小,第一目标曝光时间越大。
在另一些实施例中,电子设备根据第二YUV图像的HDR分数或者光比,确定第一目标曝光时间,可以包括:电子设备获取HDR分数或者光比与曝光时间的映射关系;电子设备根据该映射关系,确定第二YUV图像的HDR分数或者光比所对应的曝光时间,得到第一目标曝光时间。
在本实施例中,HDR分数或光比与曝光时间的映射关系,可以是一HDR分数或光比对应一曝光时间;也可以是一HDR分数范围或者光比范围对应一曝光时间。
在一些实施例中,HDR分数或光比与曝光时间的映射关系,也可以是多个HDR分数或光比对应一曝光时间。
需要说明的是,对于采用何种方式设置HDR分数或光比与曝光时间的映射关系,本申请实施例不做具体限制,可由本领域普通技术人员根据实际需要设置合适的HDR分数或光比与曝光时间的映射关系。
比如,当计算出第一YUV图像的HDR分数或者光比之后,电子设备可以获取HDR分数或者光比与曝光时间的映射关系,然后根据该映射关系,确定第一YUV图像的HDR分数或者光比对应的曝光时间,将其确定为第一目标曝光时间。
在一些实施例中,电子设备可以仅计算HDR分数,从而根据该HDR分数确定出第一目标曝光时间;或者,电子设备可以仅计算光比,从而根据该光比确定出第一目标曝光时间。或者。电子设备可以分别计算第二YUV图像的HDR分数和光比,然后根据该第二YUV图像的HDR分数确定第一曝光时间,并根据该第二YUV图像的光比确定第二曝光时间。若第一曝光时间与第二曝光时间相同,则电子设备可以将第一曝光时间确定为第一目标曝光时间。若第一曝光时间与第二曝光时间不相同,则电子设备可以计算第一曝光时间和第二曝光时间的平均值,将该平均值确定为第一目标曝光时间。或者,电子设备可以将第一曝光时间和第二曝光时间中时长较短的确定为第一目标曝光时间,以尽可能多地获取过曝区域的信息量,即尽可能多地获取过曝区域的细节。或者电子设备可以将第一曝光时间和第二曝光时间中时长较长的确定为第一目标曝光时间,以提升最后合成的HDR图像的亮度。
需要说明的是,相对来说,HDR分数的计算量大于光比的计算量。而利用根据HDR分数确定出的第一曝光时间获取的YUV图像合成而得到的HDR图像会相对较好,因此,可以根据实际需求确定采用何种方式来确定第一曝光时间。例如,电子设备可以先对自身的性能进行分析;若电子设备分析出自身的性能不足以支持HDR分数的计算,那么其可以选择计算光比,根据光比确定第一目标曝光时间;若电子设备分析出自身的性能完全可以支持HDR分数的计算,那么其可以选择计算HDR分数,根据HDR分数确定第一目标曝光时间。
305、电子设备按照第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像。
306、电子设备对多帧待合成YUV图像进行合成处理,得到高动态范围图像。
307、电子设备利用高动态范围图像,进行图像的预览或拍照或录像操作。
流程305至307与上述流程103至105相同或相应,此处不再赘述。
需要说明的是,在本申请实施例中,多帧待合成YUV图像中的相邻两帧待合成YUV图像中,其中一帧待合成YUV图像为欠曝图像或者短曝光图像,另一帧待合成YUV图像为过曝图像或长曝光图像。由于短曝光图像保留了拍摄场景中较亮区域的特征,而长曝光图像保留了拍摄场景中较暗区域的特征,则在合成时,可以利用长曝光图像保留的拍摄场景中较暗区域的特征以及短曝光时长图像保留的拍摄场景中较亮区域的特征进行合成得到高动态范围图像。
例如,如图6所示,当处于同一拍摄场景时,电子设备可以获取一较长的曝光时间,将其确定为第二目标曝光时间。然后,电子设备按照第二目标曝光时间获取第二YUV图像N。然后,电子设备根据该第二YUV图像N确定第一目标曝光时间,其中第一目标曝光时间小于第二目标曝光时间。那么,电子设备便可以按照该第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像,如L1,S1,L2,S2,L3和S3,其中L1、L2和L3为长曝光图像,S1、S2和S3为短曝光图像。随后,电子设备可以对该多帧待合成YUV图像进行合成处理,得到高动态范围图像。例如,对L1和S1进行合成处理,得到第1帧高动态范围图像,对L2和S2进行合成处理,得到第2帧高动态范围图像,对L3和S6进行处理,得到第3帧高动态范围图像。电子设备可以将这3帧高动态范围图像显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,该电子设备可以将其中一帧高动态范围图像作为照片输出显示在显示屏上供用户查看。或者当电子设备接收到录像指令时,电子设备可以将这3帧高动态范围图像作为录像得到的视频的第1帧,第2帧和第3帧。
在一些实施例中,当电子设备所支持的最大帧率为90fps时,电子设备可以对L1、S1和L2进行合成处理,得到第1帧高动态范围图像,对S2、L3和S3进行合成处理,得到第2帧高动态范围图像。
请参阅图7,图7是本申请实施例提供的图像处理方法的第六种流程示意图,流程可以包括:
401、电子设备获取曝光时间。
402、电子设备根据曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,该第一目标曝光时间与第二目标曝光时间不相同。
403、电子设备按照第一目标曝光时间和第二目标曝光时间交替获取多帧待合成YUV图像。
流程401至403与上述流程101至103相同或相应,此处不再赘述。
404、电子设备获取电子设备所支持的最大帧率。
405、电子设备根据电子设备所支持的最大帧率,确定目标数量。
可以理解的是,合成HDR图像所采用的图像的数量越多,最后合成HDR图像的品质也会更好。因此,相关技术中,通常都是采用3帧以上的图像去合成HDR图像。而由于受硬件结构的限制,目前,电子设备通常所支持的最大帧率为60fps。也即,该电子设备最多每秒获取60帧图像。若采用3帧以上的图像去合成HDR图像,可能会使得在对图像进行预览或录像操作时,存在明显的卡顿现象。
例如,假设电子设备所支持的最大帧率为60fps,即每秒可以获取60帧图像。那么,采用4帧图像去合成HDR图像,每秒只能得到15帧HDR图像。而每秒展示低于24帧图像会使得用户感觉到卡顿。那么每秒展示15帧HDR图像会使得用户感觉到明显的卡顿现象。
为了避免出现卡顿现象,本实施例将根据电子设备所支持的最大帧率来确定合成HDR图像的待合成YUV图像的数量。
例如,若电子设备所支持的最大帧率为60fps,那么目标数量,即合成HDR图像的待合成YUV图像的数量为2。若电子设备所支持的最大帧率为90fps,那么目标数量,即合成HDR图像的待合成YUV图像的数量为3。若电子设备所支持的最大帧率为120fps,那么目标数量,即合成HDR图像的待合成YUV图像的数量为4,以此类推。这样便可以保证每秒得到并展示30帧图像,使得用户不会感受到卡顿的现象。
可以理解的是,当电子设备所支持的最大帧率为90fps时,电子设备也可以对2帧待合成YUV图像进行合成处理,以降低处理器的处理负载。而为了得到品质更好的HDR图像,电子设备可以在保证不卡顿的情况下,对尽可能多的图像进行合成处理。
在本实施例中,虽然合成HDR图像所采用的图像的数量受电子设备的帧率的限制,可能不会太多,但是本实施例采用的是YUV图像来进行合成处理。该YUV图像是经过降噪等处理的图像,单帧YUV图像的品质相较于RAW图像会更好,因此,最终合成的HDR图像也会更好。并且,由于合成HDR图像的待合成YUV图像中,其中一部分待合成YUV图像为短曝光图像,另一部分待合成YUV图像为长曝光图像,因此,可以保证最后合成的HDR图像的亮度不会太亮也不会太暗,也可以保留较多拍摄场景中较亮区域的特征和较暗区域的特征。
406、电子设备对目标数量的待合成YUV图像进行合成处理,得到高动态范围图像。
407、电子设备利用高动态范围图像,进行图像的预览或拍照或录像操作。
流程406至407与上述流程104至105相同或相似,此处不再赘述。
请参阅图8,图8为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置包括:第一获取模块501,确定模块502,第二获取模块503,合成模块504及处理模块505。
第一获取模块501,用于获取曝光时间。
确定模块502,用于根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同。
第二获取模块503,用于按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像。
合成模块504,用于对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像。
处理模块505,用于利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
在一些实施例中,所述确定模块502,可以用于:按照所述曝光时间获取第一YUV图像;根据所述第一YUV图像,确定第一目标曝光时间;根据所述第一目标曝光时间,确定第二目标曝光时间。
在一些实施例中,所述确定模块502,可以用于:计算所述第一YUV图像的HDR分数或者光比,所述HDR分数的高低用于表示第一YUV图像的过曝区域的大小;根据所述HDR分数或者光比,确定第一目标曝光时间。
在一些实施例中,所述确定模块502,可以用于:根据所述第一目标曝光时间确定倍数;按照所述倍数调整所述第一目标曝光时间,得到第二目标曝光时间。
在一些实施例中,所述确定模块502,可以用于:将所述曝光时间确定为第二目标曝光时间;按照所述第二目标曝光时间获取第二YUV图像;根据所述第二YUV图像,确定第一目标曝光时间。
在一些实施例中,所述合成模块504,可以用于:获取所述电子设备所支持的最大帧率;根据所述电子设备所支持的最大帧率,确定目标数量;对所述目标数量的待合成YUV图像进行合成处理,得到高动态范围图像。
在一些实施例中,所述合成模块504,可以用于:当所述电子设备所支持的最大帧率为60fps时,目标数量为2;当所述电子设备所支持的最大帧率为90fps时,目标数量为3。
在一些实施例中,所述合成模块504,可以用于:若每帧待合成YUV图像中存在同一移动物体,则确定所述移动物体在每帧待合成YUV图像中的位置区域,得到多个位置区域;合并所述多个位置区域,得到合并区域;确定所述合并区域在任意一帧待合成YUV图像中的位置区域,得到第一区域;将每帧待合成YUV图像中除所述移动区域之外的区域确定为目标区域,得到多个目标区域;对第一区域和多个目标区域进行合成处理,得到高动态范围图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图9,图9为本申请实施例提供的电子设备的第一种结构示意图。
该电子设备600可以包括摄像模组601、存储器602、处理器603等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组601可以包括透镜、图像传感器和图像信号处理器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像,即RAW图像,并将该RAW图像提供给图像信号处理器处理。图像信号处理器可以对该RAW图像进行格式转换,降噪等处理,得到YUV图像。其中,RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。YUV是一种颜色编码方法,其中Y表示亮度,U表示色度,V表示浓度,人眼从YUV图像中可以直观的感受到其中所包含的自然特征。
存储器602可用于存储应用程序和数据。存储器602存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器603通过运行存储在存储器602的应用程序,从而执行各种功能应用以及数据处理。
处理器603是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的应用程序,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器603会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器602中,并由处理器603来运行存储在存储器602中的应用程序,从而执行:
获取曝光时间;
根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;
按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
请参阅图10,电子设备700可以包括摄像模组701、存储器702、处理器703、触摸显示屏704、扬声器705、麦克风706等部件。
摄像模组701可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图11,图11为本实施例中图像处理电路的结构示意图。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器702存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器703通过运行存储在存储器702的应用程序,从而执行各种功能应用以及数据处理。
处理器703是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器702内的应用程序,以及调用存储在存储器702内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏704可以用于接收用户对电子设备的触摸控制操作。扬声器705可以播放声音信号。麦克风706可以用于拾取声音信号。
在本实施例中,电子设备中的处理器703会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器702中,并由处理器703来运行存储在存储器702中的应用程序,从而执行:
获取曝光时间;
根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;
按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,处理器703执行所述根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间时,可以执行:按照所述曝光时间获取第一YUV图像;根据所述第一YUV图像,确定第一目标曝光时间;根据所述第一目标曝光时间,确定第二目标曝光时间。
在一种实施方式中,处理器703执行所述根据所述第一YUV图像,确定第一目标曝光时间时,可以执行:计算所述第一YUV图像的HDR分数或者光比,所述HDR分数的高低用于表示第一YUV图像的过曝区域的大小;根据所述HDR分数或者光比,确定第一目标曝光时间。
在一种实施方式中,处理器703执行所述根据所述第一目标曝光时间,确定第二目标曝光时间时,可以执行:根据所述第一目标曝光时间确定倍数;按照所述倍数调整所述第一目标曝光时间,得到第二目标曝光时间。
在一种实施方式中,处理器703执行所述根据所述曝光时间确定第一目标曝光时间和第二目标曝光时间时,可以执行:将所述曝光时间确定为第二目标曝光时间;按照所述第二目标曝光时间获取第二YUV图像;根据所述第二YUV图像,确定第一目标曝光时间。
在一种实施方式中,处理器703执行所述对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像时,可以执行:获取所述电子设备所支持的最大帧率;根据所述电子设备所支持的最大帧率,确定目标数量;对所述目标数量的待合成YUV图像进行合成处理,得到高动态范围图像。
在一种实施方式中,处理器703还可以执行:当所述电子设备所支持的最大帧率为60fps时,目标数量为2;当所述电子设备所支持的最大帧率为90fps时,目标数量为3。
在一种实施方式中,处理器703执行所述对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像时,可以执行:若每帧待合成YUV图像中存在同一移动物体,则确定所述移动物体在每帧待合成YUV图像中的位置区域,得到多个位置区域;合并所述多个位置区域,得到合并区域;确定所述合并区域在任意一帧待合成YUV图像中的位置区域,得到第一区域;将每帧待合成YUV图像中除所述移动区域之外的区域确定为目标区域,得到多个目标区域;对第一区域和多个目标区域进行合成处理,得到高动态范围图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种图像处理方法,其特征在于,包括:
获取曝光时间;
按照所述曝光时间获取第一YUV图像;
计算所述第一YUV图像的HDR分数或者光比,所述HDR分数与第一YUV图像的过曝区域的大小正相关,所述光比与第一YUV图像的过曝区域的大小正相关;
根据所述HDR分数或者光比,确定第一目标曝光时间;
若所述第一目标曝光时间小于预设时长,则确定第一倍数;
若所述第一目标曝光时间大于或等于预设时长,则确定第二倍数,所述第一倍数大于所述第二倍数;
按照所述第一倍数或所述第二倍数调整所述第一目标曝光时间,得到第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;
或者,将所述曝光时间确定为第二目标曝光时间;
按照所述第二目标曝光时间获取第二YUV图像,所述第二YUV图像为过曝图像;
计算所述第二YUV图像的HDR分数或者光比,所述第二YUV图像的HDR分数与第二YUV图像的过曝区域的大小正相关,所述第二YUV图像的光比与第二YUV图像的过曝区域的大小正相关;
根据所述第二YUV图像的HDR分数或者光比,确定第一目标曝光时间;
按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像,包括:
获取所述电子设备所支持的最大帧率;
根据所述电子设备所支持的最大帧率,确定目标数量;
对所述目标数量的待合成YUV图像进行合成处理,得到高动态范围图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述方法还包括:
当所述电子设备所支持的最大帧率为60fps时,目标数量为2;
当所述电子设备所支持的最大帧率为90fps时,目标数量为3。
4.根据权利要求1所述的图像处理方法,其特征在于,所述对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像,包括:
若每帧待合成YUV图像中存在同一移动物体,则确定所述移动物体在每帧待合成YUV图像中的位置区域,得到多个位置区域;
合并所述多个位置区域,得到合并区域;
确定所述合并区域在任意一帧待合成YUV图像中的位置区域,得到第一区域;
将每帧待合成YUV图像中除所述移动区域之外的区域确定为目标区域,得到多个目标区域;
对所述第一区域和多个目标区域进行合成处理,得到高动态范围图像。
5.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取曝光时间;
确定模块,用于按照所述曝光时间获取第一YUV图像;计算所述第一YUV图像的HDR分数或者光比,所述HDR分数与第一YUV图像的过曝区域的大小正相关,所述光比与第一YUV图像的过曝区域的大小正相关;根据所述HDR分数或者光比,确定第一目标曝光时间;若所述第一目标曝光时间小于预设时长,则确定第一倍数;若所述第一目标曝光时间大于或等于预设时长,则确定第二倍数,所述第一倍数大于所述第二倍数;按照所述第一倍数或所述第二倍数调整所述第一目标曝光时间,得到第二目标曝光时间,其中,所述第一目标曝光时间与所述第二目标曝光时间不相同;或者,将所述曝光时间确定为第二目标曝光时间;按照所述第二目标曝光时间获取第二YUV图像,所述第二YUV图像为过曝图像;计算所述第二YUV图像的HDR分数或者光比,所述第二YUV图像的HDR分数与第二YUV图像的过曝区域的大小正相关,所述第二YUV图像的光比与第二YUV图像的过曝区域的大小正相关;根据所述第二YUV图像的HDR分数或者光比,确定第一目标曝光时间;
第二获取模块,用于按照所述第一目标曝光时间和所述第二目标曝光时间交替获取多帧待合成YUV图像;
合成模块,用于对所述多帧待合成YUV图像进行合成处理,得到高动态范围图像;
处理模块,用于利用所述高动态范围图像,进行图像的预览或拍照或录像操作。
6.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1至4任一项所述的图像处理方法。
7.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1至4任一项所述的图像处理方法。
CN201910580026.0A 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备 Active CN110266954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580026.0A CN110266954B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580026.0A CN110266954B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110266954A CN110266954A (zh) 2019-09-20
CN110266954B true CN110266954B (zh) 2021-04-13

Family

ID=67923248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580026.0A Active CN110266954B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110266954B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584058B (zh) * 2019-09-30 2023-02-07 杭州海康汽车技术有限公司 图像采集系统、方法及装置
CN110891149B (zh) * 2019-11-13 2021-07-23 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
CN110708473B (zh) * 2019-11-14 2022-04-15 深圳市道通智能航空技术股份有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN112818732B (zh) * 2020-08-11 2023-12-12 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN113824914B (zh) * 2021-08-12 2022-06-28 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质
CN115706766B (zh) * 2021-08-12 2023-12-15 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质
CN113905194B (zh) * 2021-08-31 2024-05-10 浙江大华技术股份有限公司 一种曝光比处理方法、终端设备及计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN108900785A (zh) * 2018-09-18 2018-11-27 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
JP6184290B2 (ja) * 2013-10-21 2017-08-23 ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. 画像処理装置および画像処理方法
CN107395898B (zh) * 2017-08-24 2021-01-15 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107707827B (zh) * 2017-11-14 2020-05-01 维沃移动通信有限公司 一种高动态图像拍摄方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN108900785A (zh) * 2018-09-18 2018-11-27 Oppo广东移动通信有限公司 曝光控制方法、装置和电子设备

Also Published As

Publication number Publication date
CN110266954A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
KR102376901B1 (ko) 이미징 제어 방법 및 이미징 디바이스
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN107635102B (zh) 高动态范围图像曝光补偿值获取方法和装置
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
CN110445989B (zh) 图像处理方法、装置、存储介质及电子设备
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
CN110445986B (zh) 图像处理方法、装置、存储介质及电子设备
CN110602467A (zh) 图像降噪方法、装置、存储介质及电子设备
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
JP2012209951A (ja) 撮像装置、撮像方法、集積回路およびプログラム
JP2012010048A (ja) 画像信号処理装置
CN111327824A (zh) 拍摄参数的选择方法、装置、存储介质及电子设备
US11601600B2 (en) Control method and electronic device
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
JP4999871B2 (ja) 撮像装置およびその制御方法
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
CN110572585B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant