CN110213503A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110213503A
CN110213503A CN201910580144.1A CN201910580144A CN110213503A CN 110213503 A CN110213503 A CN 110213503A CN 201910580144 A CN201910580144 A CN 201910580144A CN 110213503 A CN110213503 A CN 110213503A
Authority
CN
China
Prior art keywords
image
raw
raw image
camera module
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910580144.1A
Other languages
English (en)
Inventor
邵安宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910580144.1A priority Critical patent/CN110213503A/zh
Publication of CN110213503A publication Critical patent/CN110213503A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法应用于电子设备,该电子设备包括规格相同的第一摄像模组和第二摄像模组,该图像处理方法包括:通过该第一摄像模组获取第一RAW图像;通过该第二摄像模组获取第二RAW图像和第三RAW图像,其中该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;对该第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;利用该RAW合成图像,进行图像的预览或拍照或录像操作。本实施例提供的图像处理方案得到的图像能够适用于图像的预览、拍照和录像。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像能够适用于预览、拍照和录像。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括规格相同的第一摄像模组和第二摄像模组,所述方法包括:
通过所述第一摄像模组获取第一RAW图像;
通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括规格相同的第一摄像模组和第二摄像模组,所述装置包括:
第一获取模块,用于通过所述第一摄像模组获取第一RAW图像;
第二获取模块,用于通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
合成模块,用于对所述第一RAW图像、第二RAW图像以第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。
第四方面,本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。
本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的第一种合成示意图。
图3是本申请实施例提供的图像处理方法的另一流程示意图。
图4是本申请实施例提供的图像处理方法的第二种合成示意图。
图5至图9是本申请实施例提供的图像处理方法的场景示意图。
图10是本申请实施例提供的图像处理装置的结构示意图。
图11是本申请实施例提供的电子设备的结构示意图。
图12是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以包括规格相同的第一摄像模组和第二摄像模组。即,该电子设备可以包括两个相同的摄像模组,这两个摄像模组的规格一致,如它们的像素、类型一致等等。该图像处理方法的流程可以包括:
101、通过第一摄像模组获取第一RAW图像。
102、通过第二摄像模组获取第二RAW图像和第三RAW图像,其中该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
比如,利用zzHDR技术进行图像处理时,因为zzHDR技术是在同一帧图像中既有进行长曝光的像素又有进行短曝光的像素,长、短曝光像素合并生成高动态范围图像时,会降低至少一半的分辨率。因此利用zzHDR技术得到的高动态范围图像无法用于拍照或者录像,否则用户会明显看出分辨率降低的图像显示效果。即,zzHDR技术无法适用于拍照和录像的场景。相关技术中的另一些HDR技术也存在着诸如分辨率降低或者信噪比较低的问题,使得这些HDR技术处理得到的图像无法同时适用于预览、拍照和录像。
在本申请实施例中,电子设备可以先通过第一摄像模组获取第一RAW图像,并通过第二摄像模组获取第二RAW图像和第三RAW图像。其中,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第二RAW图像,第二RAW图像的曝光度可以大于第三RAW图像。
需要说明的是,电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。
曝光度是指图像的曝光程度。曝光程度可以包括过曝光、正常曝光以及欠曝光。曝光度也叫曝光值,曝光值代表能够给出同样曝光的所有相机光圈快门组合。
即,在101和102中,电子设备可以通过第一摄像模组的图像传感器获取第一RAW图像,并通过第二摄像模组的图像传感器获取第二RAW图像和第三RAW图像。其中,第一RAW图像、第二RAW图像和第三RAW图像分别具有不同的曝光度,并且第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。
需要说明的是,在本申请实施例中,不对流程101和102的执行顺序做具体限定。即,在一些实施方式中,流程101可以在102之前,或者流程102在101之前,或者流程101和102可以并行执行。
103、对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,在获取到第一RAW图像、第二RAW图像和第三RAW图像之后,电子设备可以对该第一RAW图像、第二RAW图像以及第三RAW图像进行HDR合成处理,从而得到具有高动态范围的RAW合成图像。
104、利用RAW合成图像,进行图像的预览或拍照或录像操作。
比如,在得到具有高动态范围的RAW合成图像后,电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以将该RAW合成图像显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以直接将该RAW合成图像作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以将该RAW合成图像作为录像得到的视频的其中一帧。
请同时参阅图2,图2为本实施例提供的图像处理方法的第一种合成示意图。
需要说明的是,本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以包括规格相同的第一摄像模组和第二摄像模组。即,该电子设备可以包括两个相同的摄像模组,这两个摄像模组的规格一致,如它们的像素、类型一致等等。该图像处理方法的流程可以包括:
201、电子设备通过第一摄像模组获取第一RAW图像,并通过第二摄像模组获取第二RAW图像和第三RAW图像,其中,第一摄像模组和第二摄像模组的帧率相同,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。
比如,电子设备可以通过第一摄像模组获取第一RAW图像,并通过第二摄像模组获取第二RAW图像和第三RAW图像。
其中,该第一摄像模组和该第二摄像模组的帧率可以相同。例如,该第一摄像模组和该第二摄像模组的帧率均为30fps。当然,在一些其它实施方式中,该第一摄像模组和该第二摄像模组的帧率也可以为其它数值。并且,该第一摄像模组和该第二摄像模组的帧率可以是不低于20fps的数值。当该第一摄像模组和该第二摄像模组的帧率不低于20fps时,后续利用该第一摄像模组和第二摄像模组获取到的图像合成的RAW合成图像进行图像预览或录像时画面会比较流畅而不会出现卡顿现象。
并且,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第二RAW图像,第二RAW图像的曝光度可以大于第三RAW图像。在一些实施方式中,第一RAW图像可以为过曝光图像,第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。或者,在其它曝光参数相同的情况下,第一RAW图像的曝光时间可以大于第二RAW图像,而第二RAW图像的曝光时间可以大于第三RAW图像。即,第一RAW图像可以为长曝光图像,第二RAW图像可以为中等曝光图像,第三RAW图像可以为短曝光图像。
在本实施例中,第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。比如,电子设备可以交替地进行中等曝光和短曝光,从而得到相应的图像。即,本实施例中,第一摄像模组可以不断地获取到长曝光图像,第二摄像模组可以不断地、交替获取到中等曝光图像和短曝光图像。
在本实施例中,可以将获取到的过曝图像(或者长曝光图像)统一记为第一RAW图像,将正常曝光图像(或者中等曝光图像)统一记为第二RAW图像,将欠曝图像(或者短曝光图像)统一记为第三RAW图像。
202、电子设备对第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,在第一摄像模组不断地获取到长曝光图像,并且第二摄像模组不断地、交替获取到中等曝光图像和短曝光图像的过程中,电子设备可以对第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。
请同时参阅图4,图4为本实施例提供的图像处理方法的第二种合成示意图。例如,第一摄像模组按照时间先后顺序进行长曝光得到以下图像:L1、L2、L3、L4(即L1为第一摄像模组拍摄的第一帧图像,L2为第一摄像模组拍摄的第二帧图像,L3为第一摄像模组拍摄的第三帧图像,L4为第一摄像模组拍摄的第四帧图像)等等。第二摄像模组按照时间先后顺序交替进行中等曝光和短曝光得到以下图像:M1、S1、M2、S2、M3(即M1为第二摄像模组拍摄的第一帧图像,S1为第二摄像模组拍摄的第二帧图像,M2为第二摄像模组拍摄的第三帧图像,S2为第二摄像模组拍摄的第四帧图像,M3为第二摄像模组拍摄的第五帧图像)等等。那么,在HDR合成时,电子设备是将L1、M1和S1进行合成得到P1图像,将L2、S1和M2进行合成得到P2图像,将L3、M2和S2进行合成得到P3图像,将L4、S2和M3进行合成得到P4图像。即,电子设备可以依次得到具有高动态范围的P1、P2、P3和P4图像。
203、电子设备将RAW合成图像转换为YUV合成图像。
204、电子设备对YUV合成图像进行预设处理后,进行图像的预览。
比如,203和204可以包括:
在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。
之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作。例如,电子设备可以将YUV合成图像经过预设处理后得到的图像显示在该电子设备的相机应用的预览界面供用户预览。
205、电子设备将预设处理后的YUV合成图像存入预设图像缓存队列。
比如,在对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理后,电子设备可以将处理后得到的图像存入一个预设图像缓存队列中。
206、在进行拍照操作时,电子设备从预设图像缓存队列中获取一帧YUV合成图像,并将获取到的该YUV合成图像作为照片展示。
比如,在对图像进行预览之后,用户点击了电子设备的相机应用的拍照按钮进行拍照操作,那么电子设备可以从预设图像缓存队列中获取一帧经过预设处理的YUV合成图像,并将获取到的该图像作为照片进行展示,如显示在电子设备的显示屏供用户查看拍照效果。
在一种实施方式中,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像的流程,可以包括:
电子设备将第二RAW图像确定为图像对齐处理的基准图像,该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;
在图像对齐后,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,第一RAW图像为过曝光图像,第二RAW图像为正常曝光图像,第三RAW图像为欠曝光图像。那么,电子设备可以将正常曝光的第二RAW图像确定为图像对齐处理的基准图像,其中该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理。即,在进行HDR融合之前,电子设备需要对第一RAW图像、第二RAW图像和第三RAW图像进行图像亮度对齐和图像位置对齐。在本申请实施例中,电子设备可以先将正常曝光的第二RAW图像确定为基准图像,然后将第一RAW图像和第三RAW图像以第二RAW图像为基准进行图像亮度对齐和位置对齐。在图像对齐之后,电子设备可以对第一RAW图像、第二RAW图像和第三RAW图像进行HDR融合,从而得到具有高动态范围的RAW合成图像。
可以理解的是,以中等曝光的第二RAW图像作为图像对齐处理的基准图像,可以使得图像对齐处理更加准确,进而使得最终合成得到的图像的成像效果更好。
在本实施例中,用于进行HDR合成的第一RAW图像、第二RAW图像和第三RAW图像可以是拍摄时间间隔小于预设间隔的图像。比如,用于进行HDR合成的长曝光图像、中等曝光图像以及短曝光图像可以是拍摄时间间隔小于预设间隔的图像。电子设备在拍摄图像时可以生成与各图像对应的时间戳。基于拍摄的时间戳,电子设备即可以在HDR合成时检测对应的长曝光图像、中等曝光图像以及短曝光图像是否为拍摄时间间隔小于预设间隔的图像。若是,则电子设备可以进行HDR合成。若否,则电子设备可以不对这些图像进行HDR合成,而是对这些图像进行丢帧处理,如将这些图像删除等。
请参阅图5至图9,图5至图9为本申请实施例提供的图像处理方法的场景示意图。
比如,如图5所示,电子设备具有第一摄像模组301和第二摄像模组302,其中该第一摄像模组301和第二摄像模组302的规格相同,例如它们属于同一类型的摄像模组并且具有相同的像素。并且,第一摄像模组301和第二摄像模组302具有相同的帧率,例如它们的帧率均为30fps。
例如,如图6所示,用户点击了相机应用的图标,并将摄像头对准某一场景。此时电子设备进入相机应用的预览界面。当检测到进入预览界面后,电子设备可以通过第一摄像模组的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第一RAW图像,该第一RAW图像的曝光时间为T1。同时,电子设备可以通过第二摄像模组的图像传感器交替获取到具有曝光时间为T2和T3的RAW图像,例如将具有曝光时间T2的RAW图像统一记为第二RAW图像,将具有曝光时间T3的RAW图像统一记为第三RAW图像。可以理解的是,第一RAW图像、第二RAW图像和第三RAW图像即为摄像头对准的当前场景的图像。由于第一RAW图像、第二RAW图像和第三RAW图像的拍摄时间间隔很短,因此可以认为它们为同一场景下获取的图像。在一种实施方式中,第一RAW图像、第二RAW图像和第三RAW图像除了曝光时间不同外,其它曝光参数可以相同。
在本实施例中曝光时间T1大于T2,T2大于T3。即,第一摄像模组进行长曝光,得到长曝光的RAW图像。第二摄像模组交替进行中、短曝光,得到中等曝光和短曝光的RAW图像。例如,如图4所示,按照时间先后顺序,电子设备通过第一摄像模组的图像传感器可以获取到长曝光的RAW图像L1、L2、L3和L4,等等。并且,按照时间先后顺序,电子设备通过第二摄像模组的图像传感器可以交替获取到中、短曝光的RAW图像M1、S1、M2、S2、M3,等等。
在获取到长曝光图像、中等曝光图像和短曝光图像后,电子设备可以对长曝光图像、中等曝光图像和短曝光图像进行HDR合成处理,得到具有高动态范围的RAW合成图像。其中,用于进行HDR合成处理的图像可以为第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第二摄像模组获取到的第N+1帧图像。
例如,如图4所示,当获取到图像L1、M1和S1之后,电子设备可以第图像L1、M1和S1进行HDR合成处理,得到具有高动态范围的图像P1。在获取到图像P1后,电子设备可以将图像P1转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。
当获取到图像L2、M2之后,电子设备可以第图像L2、M2和S1进行HDR合成处理,得到具有高动态范围的图像P2。当获取到图像L3、S2之后,电子设备可以第图像L3、M2和S2进行HDR合成处理,得到具有高动态范围的图像P3。当获取到图像L4、M3之后,电子设备可以第图像L4、M3和S2进行HDR合成处理,得到具有高动态范围的图像P4,等等。
在依次得到图像P2、P3和P4后,电子设备同样可以将图像P2、P3和P4转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。即,预览界面上会依次显示由图像P1、P2、P3和P4等经过格式转换和预设处理后的图像。
可以理解的是,本实施例中可以将显示在预览界面上的图像记为预览帧图像。电子设备在每得到一张预览帧图像后,可以将对应的预览帧图像存入预设图像缓存队列中。该预设图像缓存队列可以是定长队列,也可以是非定长队列。
例如,本实施例中,预设图像缓存队列为定长队列,队列长度为30帧。例如,电子设备依次得到用于预览的图像Y1、Y2、Y3、Y4等等。那么,电子设备可以将得到的图像Y1、Y2、Y3、Y4依次存入预设图像缓存队列中。可以理解的是,预设图像缓存队列中存储的始终是最新得到的30帧预览帧图像,如图7所示。
之后,例如如图8所示,用户点击了相机应用界面中的拍照按钮,此时电子设备可以从预设图像缓存队列中获取一帧预览帧,并将该获取的预览帧作为照片显示在显示屏上供用户查看拍照效果。例如,电子设备从预设图像缓存队列中获取到图像Y60。那么,电子设备可以将图像Y60作为照片显示给用户查看,如图9所示。
可以理解的是,本实施例中,当拍照时,电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像,并展示给用户查看,从而可以达到零延时拍照的效果。
请参阅图10,图10为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备可以包括规格相同的第一摄像模组和第二摄像模组。图像处理装置400可以包括:第一获取模块401,第二获取模块402,合成模块403,处理模块404。
第一获取模块401,用于通过所述第一摄像模组获取第一RAW图像。
第二获取模块402,用于通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。
合成模块403,用于对所述第一RAW图像、第二RAW图像以第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
处理模块404,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,所述第一摄像模组和所述第二摄像模组的帧率相同。
在一种实施方式中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,包括:所述第一RAW图像、第二RAW图像和第三RAW图像的曝光时间依次减少。
在一种实施方式中,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。
那么,所述合成模块403可以用于:对所述第一摄像模组获取到的第N帧图像、所述第二摄像模组获取到的第N帧图像以及所述第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。
在一种实施方式中,所述处理模块404可以用于:
将所述RAW合成图像转换为YUV合成图像;
对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,所述处理模块404还可以用于:
将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
在一种实施方式中,所述合成模块403可以用于:
将所述第二RAW图像确定为图像对齐处理的基准图像,所述图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;
在图像对齐后,对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图11,图11为本申请实施例提供的电子设备的结构示意图。
该电子设备500可以包括摄像模组501、存储器502、处理器503等部件。本领域技术人员可以理解,图11中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组501可以是电子设备上安装的双摄像模组等等。其中该摄像模组501可以包括第一摄像模组和第二摄像模组。该第一摄像模组和第二摄像模组的规格可以相同。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
通过所述第一摄像模组获取第一RAW图像;
通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image SignalProcessing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。
图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图12,图12为本实施例中图像处理电路的结构示意图。如图12所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
图像处理电路可以包括:第一摄像头510、第二摄像头520、第一图像信号处理器530、第二图像信号处理器540、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像头510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像头520可以包括一个或多个第二透镜521和第二图像传感器522。
第一摄像头510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像头510的控制参数,从而第一摄像头510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
第二摄像头520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像头520的控制参数,从而第二摄像头520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
在另一些实施方式中,第一图像信号处理器和第二图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、第一图像信号处理器、第二图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
一般的,具有双摄像模组的手机,在某些拍照模式下,双摄像模组均工作。此时,CPU控制供电模块为第一摄像头和第二摄像头供电。第一摄像头中的图像传感器上电,第二摄像头中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是双摄像模组中的一个摄像头工作。例如,仅长焦摄像头工作。这种情况下,CPU控制供电模块给相应摄像头的图像传感器供电即可。
以下为运用图12中图像处理技术实现本实施例提供的图像处理方法的流程:
通过所述第一摄像模组获取第一RAW图像;
通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,所述第一摄像模组和所述第二摄像模组的帧率相同。
在一种实施方式中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,包括:所述第一RAW图像、第二RAW图像和第三RAW图像的曝光时间依次减少。
在一种实施方式中,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。
那么,电子设备执行对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像时,可以执行:对所述第一摄像模组获取到的第N帧图像、所述第二摄像模组获取到的第N帧图像以及所述第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。
在一种实施方式中,电子设备执行利用所述RAW合成图像,进行图像的预览时,可以执行:将所述RAW合成图像转换为YUV合成图像;对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,电子设备还可以执行:将预设处理后的YUV合成图像存入预设图像缓存队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
在一种实施方式中,电子设备执行对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像时,可以执行:将所述第二RAW图像确定为图像对齐处理的基准图像,所述图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;在图像对齐后,对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,应用于电子设备,其特征在于,所述电子设备包括规格相同的第一摄像模组和第二摄像模组,所述方法包括:
通过所述第一摄像模组获取第一RAW图像;
通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
2.根据权利要求1所述的图像处理方法,其特征在于,所述第一摄像模组和所述第二摄像模组的帧率相同。
3.根据权利要求2所述的图像处理方法,其特征在于,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,包括:
所述第一RAW图像、所述第二RAW图像和第三RAW图像的曝光时间依次减少。
4.根据权利要求2所述的图像处理方法,其特征在于,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,包括:对所述第一摄像模组获取到的第N帧图像、所述第二摄像模组获取到的第N帧图像以及所述第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。
5.根据权利要求1所述的图像处理方法,其特征在于,利用所述RAW合成图像,进行图像的预览,包括:
将所述RAW合成图像转换为YUV合成图像;
对所述YUV合成图像进行预设处理后,进行图像的预览。
6.根据权利要求5所述的图像处理方法,其特征在于,所述方法还包括:
将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
7.根据权利要求1所述的图像处理方法,其特征在于,对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,包括:
将所述第二RAW图像确定为图像对齐处理的基准图像,所述图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;
在图像对齐后,对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
8.一种图像处理装置,应用于电子设备,其特征在于,所述电子设备包括规格相同的第一摄像模组和第二摄像模组,所述装置包括:
第一获取模块,用于通过所述第一摄像模组获取第一RAW图像;
第二获取模块,用于通过所述第二摄像模组获取第二RAW图像和第三RAW图像,其中所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;
合成模块,用于对所述第一RAW图像、第二RAW图像以第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至7中任一项所述的方法。
CN201910580144.1A 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备 Pending CN110213503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910580144.1A CN110213503A (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910580144.1A CN110213503A (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110213503A true CN110213503A (zh) 2019-09-06

Family

ID=67795526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910580144.1A Pending CN110213503A (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110213503A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416948A (zh) * 2020-03-25 2020-07-14 维沃移动通信有限公司 一种图像处理方法及电子设备
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013162190A (ja) * 2012-02-02 2013-08-19 Canon Inc ハイダイナミックレンジ動画撮影補助装置
CN104010128A (zh) * 2013-02-20 2014-08-27 佳能株式会社 摄像设备及其控制方法
WO2015081563A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 一种生成图片的方法及一种双镜头设备
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术(北京)有限公司 高动态范围图像的生成方法和装置
JP2018056659A (ja) * 2016-09-26 2018-04-05 キヤノン株式会社 撮影制御装置およびその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013162190A (ja) * 2012-02-02 2013-08-19 Canon Inc ハイダイナミックレンジ動画撮影補助装置
CN104010128A (zh) * 2013-02-20 2014-08-27 佳能株式会社 摄像设备及其控制方法
WO2015081563A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 一种生成图片的方法及一种双镜头设备
CN105340267A (zh) * 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术(北京)有限公司 高动态范围图像的生成方法和装置
JP2018056659A (ja) * 2016-09-26 2018-04-05 キヤノン株式会社 撮影制御装置およびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111416948A (zh) * 2020-03-25 2020-07-14 维沃移动通信有限公司 一种图像处理方法及电子设备
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台

Similar Documents

Publication Publication Date Title
CN110198418A (zh) 图像处理方法、装置、存储介质及电子设备
EP2533520B1 (en) Image sensor having HDR capture capability
WO2020057199A1 (zh) 成像方法、装置和电子设备
TWI615027B (zh) 高動態範圍圖像的生成方法、拍照裝置和終端裝置、成像方法
CN110198417A (zh) 图像处理方法、装置、存储介质及电子设备
CN109672819B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110505411A (zh) 图像拍摄方法、装置、存储介质及电子设备
CN110198419A (zh) 图像处理方法、装置、存储介质及电子设备
CN109993722A (zh) 图像处理方法、装置、存储介质及电子设备
CN109167930A (zh) 图像显示方法、装置、电子设备和计算机可读存储介质
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
US10692196B2 (en) Color correction integrations for global tone mapping
CN108024054A (zh) 图像处理方法、装置及设备
CN110430370A (zh) 图像处理方法、装置、存储介质及电子设备
CN110266966A (zh) 图像生成方法和装置、电子设备、计算机可读存储介质
CN110266954A (zh) 图像处理方法、装置、存储介质及电子设备
KR20100060140A (ko) 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
US20080055431A1 (en) Dark frame subtraction using multiple dark frames
CN110278375A (zh) 图像处理方法、装置、存储介质及电子设备
US11503223B2 (en) Method for image-processing and electronic device
CN116744120B (zh) 图像处理方法和电子设备
CN108833803A (zh) 成像方法、装置和电子设备
CN110213503A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication