CN110278375B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110278375B
CN110278375B CN201910579980.8A CN201910579980A CN110278375B CN 110278375 B CN110278375 B CN 110278375B CN 201910579980 A CN201910579980 A CN 201910579980A CN 110278375 B CN110278375 B CN 110278375B
Authority
CN
China
Prior art keywords
image
camera module
exposure
raw
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910579980.8A
Other languages
English (en)
Other versions
CN110278375A (zh
Inventor
邵安宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910579980.8A priority Critical patent/CN110278375B/zh
Publication of CN110278375A publication Critical patent/CN110278375A/zh
Application granted granted Critical
Publication of CN110278375B publication Critical patent/CN110278375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法可以应用于电子设备,该电子设备包括至少两个摄像模组,该图像处理方法包括:从该至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组;通过该第一摄像模组获取具有第一曝光度的第一RAW图像,通过该第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过该第三摄像模组获取具有第三曝光度的第三RAW图像,其中,该第一曝光度、第二曝光度、第三曝光度依次降低;对该第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;利用该RAW合成图像,进行图像的预览或拍照或录像操作。本申请处理得到的图像能够适用于预览、拍照和录像。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到
HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像能够适用于预览、拍照和录像。
本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括至少两个摄像模组,所述方法包括:
从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组;
通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括至少两个摄像模组,所述装置包括:
选取模块,用于从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组;
获取模块,用于通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;
合成模块,用于对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。
本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的第一种流程示意图。
图2是本申请实施例提供的图像处理方法的第一种合成示意图。
图3是本申请实施例提供的图像处理方法的第二种流程示意图。
图4是本申请实施例提供的图像处理方法的第二种合成示意图。
图5是本申请实施例提供的图像处理方法的第三种流程示意图。
图6是本申请实施例提供的图像处理方法的第三种合成示意图。
图7至图11是本申请实施例提供的图像处理方法的场景示意图。
图12是本申请实施例提供的图像处理装置的结构示意图。
图13是本申请实施例提供的电子设备的结构示意图。
图14是本申请实施例提供的电子设备的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的第一种流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以具有至少两个摄像模组。该图像处理方法的流程可以包括:
101、从至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组。
102、通过第一摄像模组获取具有第一曝光度的第一RAW图像,通过第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过第三摄像模组获取具有第三曝光度的第三RAW图像,其中,该第一曝光度、第二曝光度、第三曝光度依次降低。
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
比如,利用zzHDR技术进行图像处理时,因为zzHDR技术是在同一帧图像中既有进行长曝光的像素又有进行短曝光的像素,长、短曝光像素合并生成高动态范围图像时,会降低至少一半的分辨率。因此利用zzHDR技术得到的高动态范围图像无法用于拍照或者录像,否则用户会明显看出分辨率降低的图像显示效果。即,zzHDR技术无法适用于拍照和录像的场景。相关技术中的另一些HDR技术也存在着诸如分辨率降低或者信噪比较低的问题,使得这些HDR技术处理得到的图像无法同时适用于预览、拍照和录像。
在本申请实施例的101和102的流程中,比如,电子设备可以从其具有的至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组。
在确定出第一摄像模组、第二摄像模组和第三摄像模组后,电子设备可以通过该第一摄像模组的图像传感器获取具有第一曝光度的第一RAW图像,并通过该第二摄像模组的图像传感器获取具有第二曝光度的第二RAW图像,以及通过第三摄像模组的图像传感器获取具有第三曝光度的第三RAW图像。其中,该第一曝光度、第二曝光度和第三曝光度的曝光度依次降低。即,第一曝光度可以大于第二曝光度,第二曝光度可以大于第三曝光度。
需要说明的是,电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。
曝光度是指图像的曝光程度。曝光程度可以包括过曝光、正常曝光以及欠曝光。曝光度也叫曝光值,曝光值代表能够给出同样曝光的所有相机光圈快门组合。
在本实施例中,第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低可以包括如下情形:例如,第一RAW图像可以为过曝光图像、第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。又如,在其它曝光参数相同的情况下,第一RAW图像、第二RAW图像和第三RAW图像可以是曝光时间依次减少的图像,例如相比较而言,第一RAW图像可以为曝光时间较长的长曝光图像,第二RAW图像可以为曝光时间居于中间的中等曝光图像,第三RAW图像可以为曝光时间较短的短曝光图像等等。
例如,本实施例的101和102中,电子设备可以先从其具有的至少两个摄像模组中选取用于进行过曝光或长曝光的第一摄像模组,并选取用于进行正常曝光或者中等曝光的第二摄像模组,以及选取用于进行欠曝光或者短曝光的第三摄像模组。在选取出第一摄像模组、第二摄像模组和第三摄像模组之后,电子设备可以通过该第一摄像模组获取第一RAW图像,并通过第二摄像模组获取第二RAW图像,以及通过第三摄像模组获取第三RAW图像。
需要说明的是,当电子设备包括的摄像模组大于或等于三个时,电子设备选取的第一摄像模组、第二摄像模组和第三摄像模组可以为各不相同的摄像模组。当电子设备包括的摄像模组为两个时,电子设备选取的第一摄像模组、第二摄像模组和第三摄像模组中的两个摄像模组可以是同一个摄像模组。即,当电子设备包括的摄像模组为两个时,其中一个摄像模组可以同时具有两个角色,例如其中一个摄像模组可以既是第二摄像模组又是第三摄像模组等。例如,这个具有两个角色的摄像模组可以既用于获取正常曝光或者中等曝光的第二RAW图像,又用于获取欠曝光或者短曝光的第三RAW图像。
103、对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,在获取到第一RAW图像、第二RAW图像和第三RAW图像之后,电子设备可以对该第一RAW图像、第二RAW图像以及第三RAW图像进行HDR合成处理,从而得到具有高动态范围的RAW合成图像。
104、利用RAW合成图像,进行图像的预览或拍照或录像操作。
比如,在得到具有高动态范围的RAW合成图像后,电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以在对该RAW合成图像进行一定处理(如格式转换或图像锐化或降噪)后显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以在对该RAW合成图像进行一定的处理(如格式转换或图像锐化或降噪)后作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以在对该RAW合成图像进行一定处理(如格式转换或图像锐化或降噪)后将其作为录像得到的视频的其中一帧。
请同时参阅图2,图2为本实施例提供的图像处理方法的第一种合成示意图。
需要说明的是,本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
此外,在本申请实施例中,由于用于HDR合成的图像是直接从图像传感器获取的RAW图像,而RAW格式的图像相对于YUV格式的图像是比较线性的,因此利用RAW图像进行HDR合成时的图像对齐、亮度对齐以及HDR算法合成时的处理速度比较快,最终得到的图像的成像效果也比较好。
请参阅图3,图3为本申请实施例提供的图像处理方法的第二种流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以具有三个摄像模组。流程可以包括:
201、在检测到启动拍摄应用并进入预览界面时,电子设备将当前用于提供预览图像的摄像模组确定为第二摄像模组。
202、电子设备获取除第二摄像模组之外的另外两个摄像模组的像素值。
203、按照像素值由大到小的顺序,电子设备将另外两个摄像模组依次确定为第三摄像模组和第一摄像模组。
比如,201、202、203可以包括:
用户点击拍摄应用的应用图标从而启动该拍摄应用(如相机应用等)。一般的,在检测到启动拍摄应用并进入其预览界面时,电子设备的三个摄像模组中的一个摄像模组会拍摄关于当前拍摄场景的图像并提供给电子设备显示在拍摄应用的预览界面(即提供预览图像),而另外两个摄像模组则可以只在后台拍摄关于当前拍摄场景的图像,但该另外两个摄像模组拍摄的图像并不会被应用于预览;或者,该另外两个摄像模组可以暂时不拍摄关于当前拍摄场景的图像。此时,电子设备可以将当前用于提供预览图像的摄像模组确定为第二摄像模组。
例如,电子设备包括三个摄像模组,分别为摄像模组A、B、C。其中,在检测到启动拍摄应用并进入其预览界面时,电子设备检测到是摄像模组A在提供预览图像,那么电子设备可以将摄像模组A确定为第二摄像模组。例如,电子设备的摄像模组A为长焦摄像模组。在检测到启动拍摄应用并进入其预览界面时,用户选择了预览远景,此时电子设备使用长焦摄像模组A获取远景图像并提供给电子设备用于预览。那么,电子设备可以将长焦摄像模组A确定为第二摄像模组。
在确定出第二摄像模组之后,电子设备可以获取除已被确定为第二摄像模组之外的另外两个摄像模组的像素值,并按照像素值由大到小的顺序,将该另外两个摄像模组依次确定为第三摄像模组和第一摄像模组。即,电子设备可以将该另外两个摄像模组中像素值较大的摄像模组确定为第三摄像模组,并将像素值较小的摄像模组确定为第一摄像模组。例如,摄像模组B和C中,C的像素值较大,那么电子设备可以将摄像模组C确定为第三摄像模组,并将像素值较小的摄像模组B确定为第一摄像模组。
204、电子设备通过第一摄像模组获取具有第一曝光度的第一RAW图像,通过第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过第三摄像模组获取具有第三曝光度的第三RAW图像,其中,第一曝光度、第二曝光度、第三曝光度依次降低,第一摄像模组、第二摄像模组和第三摄像模组的帧率相同。
比如,在从三个摄像模组中确定出第一摄像模组、第二摄像模组和第三摄像模组之后,电子设备可以通过该第一摄像模组获取具有第一曝光度的第一RAW图像,通过该第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过该第三摄像模组获取具有第三曝光度的第三RAW图像。
其中,第一曝光度、第二曝光度、第三曝光度依次降低,即,第一曝光度可以大于第二曝光度,第二曝光度可以大于第三曝光度。也即,第一RAW图像的曝光度大于第二RAW图像,第二RAW图像的曝光度大于第三RAW图像。
在一些实施方式中,第一RAW图像可以为过曝光图像,第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。或者,在其它曝光参数相同的情况下,第一RAW图像的曝光时间可以大于第二RAW图像,而第二RAW图像的曝光时间可以大于第三RAW图像。即,第一RAW图像可以为长曝光图像,第二RAW图像可以为中等曝光图像,第三RAW图像可以为短曝光图像。
并且,第一摄像模组、第二摄像模组和第三摄像模组的帧率可以相同。例如,该第一摄像模组、第二摄像模组和第三摄像模组的帧率均为30fps。当然,在一些其它实施方式中,该第一摄像模组、第二摄像模组和第三摄像模组的帧率也可以为其它数值,如60fps。并且,该第一摄像模组、第二摄像模组和第三摄像模组的帧率可以是不低于20fps的数值。当该第一摄像模组、第二摄像模组和第三摄像模组的帧率不低于20fps时,后续利用该第一摄像模组、第二摄像模组和第三摄像模组获取到的图像合成的RAW合成图像进行图像预览或录像时画面会比较流畅而不会出现卡顿现象。
即,本申请实施例中,在确定出第一摄像模组、第二摄像模组和第三摄像模组之后,电子设备可以通过该第一摄像模组按照拍摄间隔不断地获取到具有第一曝光度的RAW图像,本实施例将具有第一曝光度的RAW图像统一记为第一RAW图像。电子设备可以通过该第二摄像模组按照拍摄间隔不断地获取到具有第二曝光度的RAW图像,本实施例将具有第二曝光度的RAW图像统一记为第二RAW图像。电子设备可以通过该第三摄像模组按照拍摄间隔不断地获取到具有第三曝光度的RAW图像,本实施例将具有第三曝光度的RAW图像统一记为第三RAW图像。即,在本实施例中,可以将获取到的过曝图像(或者长曝光图像)统一记为第一RAW图像,将正常曝光图像(或者中等曝光图像)统一记为第二RAW图像,将欠曝图像(或者短曝光图像)统一记为第三RAW图像。
205、电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
206、电子设备利用RAW合成图像,进行图像的预览或拍照或录像操作。
比如,205和206可以包括:
在第一摄像模组不断地获取到第一RAW图像,并且第二摄像模组不断地获取到第二RAW图像,以及第三摄像模组不断地获取到第三RAW图像的过程中,电子设备可以对获取到的第一RAW图像、第二RAW图像以及第三RAW图像进行HDR合成处理,从而得到具有高动态范围的RAW合成图像。
例如,电子设备可以对第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第三摄像模组获取到的第N帧图像进行HDR合成处理,得到具有高动态范围的RAW合成图像。其中,在进行HDR合成时,电子设备可以第二RAW图像为HDR合成的基准图像。即,电子设备可以从第一RAW图像中获取暗部细节,从第三RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第二RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。
请同时参阅图4,图4为本实施例提供的图像处理方法的第二种合成示意图。例如,第一摄像模组按照时间先后顺序进行长曝光得到以下图像:L1、L2、L3、L4(即L1为第一摄像模组拍摄的第一帧图像,L2为第一摄像模组拍摄的第二帧图像,L3为第一摄像模组拍摄的第三帧图像,L4为第一摄像模组拍摄的第四帧图像)等等。可以理解的是,L1、L2、L3和L4具有相同的曝光度,例如在其它曝光参数相同的情况下,L1、L2、L3和L4具有相同的曝光时间t1。第二摄像模组按照时间先后顺序进行中等曝光得到以下图像:M1、M2、M3、M4(即M1为第二摄像模组拍摄的第一帧图像,M2为第二摄像模组拍摄的第二帧图像,M3为第二摄像模组拍摄的第三帧图像,M4为第二摄像模组拍摄的第四帧图像)等等。可以理解的是,M1、M2、M3、M4具有相同的曝光度,例如在其它曝光参数相同的情况下,M1、M2、M3、M4具有相同的曝光时间t2。第三摄像模组按照时间先后顺序进行短曝光得到以下图像:S1、S2、S3、S4(即S1为第二摄像模组拍摄的第一帧图像,S2为第二摄像模组拍摄的第二帧图像,S3为第二摄像模组拍摄的第三帧图像,S4为第二摄像模组拍摄的第四帧图像)等等。可以理解的是,S1、S2、S3、S4具有相同的曝光度,例如在其它曝光参数相同的情况下,S1、S2、S3、S4具有相同的曝光时间t3。
那么,在HDR合成时,电子设备是将L1、M1和S1进行合成得到P1图像(以M1为HDR合成的基准图像),将L2、M2和S2进行合成得到P2图像(以M2为HDR合成的基准图像),将L3、M3和S3进行合成得到P3图像(以M3为HDR合成的基准图像),将L4、M4和S4进行合成得到P4图像(以M4为HDR合成的基准图像)。即,电子设备可以依次得到具有高动态范围的P1、P2、P3和P4图像。
在得到RAW合成图像后,电子设备可以利用RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以依次利用图像P1、P2、P3和P4进行图像的预览。或者,电子设备可以依次利用图像P1、P2、P3和P4进行拍照。或者,电子设备可以依次利用图像P1、P2、P3和P4进行录像操作。
在一种实施方式中,在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。
之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作或拍照或录像。例如,电子设备可以将YUV合成图像经过预设处理后得到的图像显示在该电子设备的相机应用的预览界面供用户预览,或者将YUV合成图像经过预设处理后得到的图像作为拍照得到的照片提供给用户查看,或者将YUV合成图像经过预设处理后得到的图像作为录像得到的视频中的一帧保存,等等。
请参阅图5,图5为本申请实施例提供的图像处理方法的第三种流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以具有两个摄像模组。流程可以包括:
301、在检测到启动拍摄应用并进入预览界面时,电子设备将当前用于提供预览图像的摄像模组确定为第一摄像模组。
302、电子设备将除第一摄像模组之外的另一个摄像模组确定为第二摄像模组,第三摄像模组和第二摄像模组为同一摄像模组。
比如,301和302可以包括:
用户点击拍摄应用的应用图标从而启动该拍摄应用(如相机应用等)。一般的,在检测到启动拍摄应用并进入其预览界面时,电子设备的两个摄像模组中的一个摄像模组会拍摄关于当前拍摄场景的图像并提供给电子设备显示在拍摄应用的预览界面,而另外一个摄像模组则可以只在后台拍摄关于当前拍摄场景的图像,但该另外一个摄像模组拍摄的图像并不会被应用于预览;或者,该另外一个摄像模组可以暂时不拍摄关于当前拍摄场景的图像。此时,电子设备可以将当前用于提供预览图像的摄像模组确定为第一摄像模组。
例如,电子设备包括两个摄像模组,分别为摄像模组D和E。其中,在检测到启动拍摄应用并进入其预览界面时,电子设备检测到是摄像模组D在提供预览图像,那么电子设备可以将摄像模组D确定为第一摄像模组。例如,电子设备的摄像模组D为长焦摄像模组。在检测到启动拍摄应用并进入其预览界面时,用户选择了预览远景,此时电子设备使用长焦摄像模组D获取远景图像并提供给电子设备用于预览。那么,电子设备可以将长焦摄像模组D确定为第一摄像模组。
在确定出第一摄像模组之后,电子设备可以获取除已被确定为第一摄像模组之外的另外一个摄像模组确定为第二摄像模组和第三摄像模组。即,该另外一个摄像模组同时被确定为第二摄像模组和第三摄像模组。该另外一个摄像模组同时具有两种角色,它既要在充当第二摄像模组时进行正常曝光(或中等曝光),又要在充当第三摄像模组时进行欠曝光(或短曝光)。
303、电子设备通过第一摄像模组获取具有第一曝光度的第一RAW图像,并通过第二摄像模组利用交替曝光的方式获取具有第二曝光度的第二RAW图像和具有第三曝光度第三RAW图像,其中,第一曝光度、第二曝光度、第三曝光度依次降低,该第一摄像模组、第二摄像模组和第三摄像模组的帧率相同。
比如,在确定出第一摄像模组、第二摄像模组(第三摄像模组)后,电子设备可以通过该第一摄像模组获取第一RAW图像,并通过第二摄像模组(第三摄像模组)获取第二RAW图像和第三RAW图像。
其中,该第一摄像模组和该第二摄像模组(第三摄像模组)的帧率可以相同。例如,该第一摄像模组和该第二摄像模组(第三摄像模组)的帧率均为30fps。当然,在一些其它实施方式中,该第一摄像模组和该第二摄像模组的帧率也可以为其它数值,如60fps。并且,该第一摄像模组和该第二摄像模组的帧率可以是不低于20fps的数值。当该第一摄像模组和该第二摄像模组的帧率不低于20fps时,后续利用该第一摄像模组和第二摄像模组获取到的图像合成的RAW合成图像进行图像预览或录像时画面会比较流畅而不会出现卡顿现象。
并且,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第二RAW图像,第二RAW图像的曝光度可以大于第三RAW图像。在一些实施方式中,第一RAW图像可以为过曝光图像,第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。或者,在其它曝光参数相同的情况下,第一RAW图像的曝光时间可以大于第二RAW图像,而第二RAW图像的曝光时间可以大于第三RAW图像。即,第一RAW图像可以为长曝光图像,第二RAW图像可以为中等曝光图像,第三RAW图像可以为短曝光图像。
在本实施例中,第二摄像模组(第三摄像模组)利用交替曝光的方式获取第二RAW图像和第三RAW图像。比如,第二摄像模组可以交替地进行中等曝光和短曝光,从而得到相应的图像。即,本实施例中,第一摄像模组可以不断地获取到长曝光图像,第二摄像模组可以不断地、交替获取到中等曝光图像和短曝光图像。
在本实施例中,可以将获取到的过曝图像(或者长曝光图像)统一记为第一RAW图像,将正常曝光图像(或者中等曝光图像)统一记为第二RAW图像,将欠曝图像(或者短曝光图像)统一记为第三RAW图像。
304、电子设备对第一摄像模组获取到的第N帧RAW图像、第二摄像模组获取到的第N帧RAW图像以及第二摄像模组获取到的第N+1帧RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
305、利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
比如,304和305可以包括:
比如,在第一摄像模组不断地获取到长曝光图像,并且第二摄像模组不断地、交替获取到中等曝光图像和短曝光图像的过程中,电子设备可以对第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第二摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。其中,在进行HDR合成时,电子设备可以第二RAW图像为HDR合成的基准图像。即,电子设备可以从第一RAW图像中获取暗部细节,从第三RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第二RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。
请同时参阅图6,图6为本实施例提供的图像处理方法的第三种合成示意图。例如,第一摄像模组按照时间先后顺序进行长曝光得到以下图像:L1、L2、L3、L4(即L1为第一摄像模组拍摄的第一帧图像,L2为第一摄像模组拍摄的第二帧图像,L3为第一摄像模组拍摄的第三帧图像,L4为第一摄像模组拍摄的第四帧图像)等等。可以理解的是,L1、L2、L3和L4具有相同的曝光度,例如在其它曝光参数相同的情况下,L1、L2、L3和L4具有相同的曝光时间t1。第二摄像模组按照时间先后顺序交替进行中等曝光和短曝光得到以下图像:M1、S1、M2、S2、M3(即M1为第二摄像模组拍摄的第一帧图像,S1为第二摄像模组拍摄的第二帧图像,M2为第二摄像模组拍摄的第三帧图像,S2为第二摄像模组拍摄的第四帧图像,M3为第二摄像模组拍摄的第五帧图像)等等。可以理解的是,M1、M2、M3具有相同的曝光度,例如在其它曝光参数相同的情况下,M1、M2、M3具有相同的曝光时间t2。S1、S2具有相同的曝光度,例如在其它曝光参数相同的情况下,S1、S2具有相同的曝光时间t3。
那么,在HDR合成时,电子设备是将L1、M1和S1进行合成得到P1图像(以M1为HDR合成的基准图像),将L2、S1和M2进行合成得到P2图像(以M2为HDR合成的基准图像),将L3、M2和S2进行合成得到P3图像(以M2为HDR合成的基准图像),将L4、S2和M3进行合成得到P4图像(以M3为HDR合成的基准图像)。即,电子设备可以依次得到具有高动态范围的P1、P2、P3和P4图像。
在得到RAW合成图像后,电子设备可以利用RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以依次利用图像P1、P2、P3和P4进行图像的预览。或者,电子设备可以依次利用图像P1、P2、P3和P4进行拍照。或者,电子设备可以依次利用图像P1、P2、P3和P4进行录像操作。
在一种实施方式中,在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。
之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作或拍照或录像。例如,电子设备可以将YUV合成图像经过预设处理后得到的图像显示在该电子设备的相机应用的预览界面供用户预览,或者将YUV合成图像经过预设处理后得到的图像作为拍照得到的照片提供给用户查看,或者将YUV合成图像经过预设处理后得到的图像作为录像得到的视频中的一帧保存,等等。
在一些实施方式中,本实施例中,电子设备利用RAW合成图像,进行图像的预览时,可以执行:
电子设备将RAW合成图像转换为YUV合成图像;
电子设备对YUV合成图像进行预设处理后,进行图像的预览。
比如,在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。
之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作或拍照或录像。
在一些实施方式中,本实施例还可以包括如下流程:
电子设备将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,电子设备从预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
比如,在将RAW合成图像由RAW格式转化为YUV格式,得到YUV合成图像后,电子设备可以对YUV合成图像进行诸如图像锐化、图像降噪等预设处理。在预设处理后,电子设备可以将处理后得到的图像存入一个预设图像缓存队列中。
例如,在对图像进行预览之后,用户点击了电子设备的相机应用的拍照按钮进行拍照操作,那么电子设备可以从预设图像缓存队列中获取一帧经过预设处理的YUV合成图像,并将获取到的该图像作为照片进行展示,如显示在电子设备的显示屏供用户查看拍照效果。
可以理解的是,本实施例中当需要进行拍照时,电子设备可以直接从预设图像缓存队列中获取预览帧并将其作为照片展示,从而可以达到零延时拍照的效果。
请参阅图7至图11,图7至图11为本申请实施例提供的图像处理方法的场景示意图。
比如,如图7所示,电子设备具有两个摄像模组301和302。例如,摄像模组302为长焦摄像模组,而摄像模组301可以为普通摄像模组。例如,摄像模组301可以为既非长焦摄像模组也非广角摄像模组的普通摄像模组。并且,摄像模组301和摄像模组302具有相同的帧率,例如它们的帧率均为30fps或者60fps等等。
例如,如图8所示,用户点击了相机应用的图标,并将摄像头对准某一场景。此时电子设备进入相机应用的预览界面。当检测到进入预览界面后,电子设备可以将当前用于提供预览图像的摄像模组确定为第一摄像模组,并将另外一个摄像模组确定为第二摄像模组。例如,电子设备检测到是摄像模组302在提供预览图像,那么电子设备可以将摄像模组302确定为第一摄像模组,则摄像模组301可以被确定为第二摄像模组。
在确定出第一摄像模组和第二摄像模组后,电子设备可以进入HDR模式。例如,在该HDR模式下,电子设备可以通过第一摄像模组的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第一RAW图像,该第一RAW图像的曝光时间为T1。同时,电子设备可以通过第二摄像模组的图像传感器交替获取到具有曝光时间为T2和T3的RAW图像,例如将具有曝光时间T2的RAW图像统一记为第二RAW图像,将具有曝光时间T3的RAW图像统一记为第三RAW图像。可以理解的是,第一RAW图像、第二RAW图像和第三RAW图像即为摄像头对准的当前场景的图像。由于第一RAW图像、第二RAW图像和第三RAW图像的拍摄时间间隔很短,因此可以认为它们为同一场景下获取的图像。
在本实施例中曝光时间T1大于T2,T2大于T3。即,第一摄像模组进行长曝光,得到长曝光的RAW图像。第二摄像模组交替进行中、短曝光,得到中等曝光和短曝光的RAW图像。例如,如图6所示,按照时间先后顺序,电子设备通过第一摄像模组的图像传感器可以获取到长曝光的RAW图像L1、L2、L3和L4,等等。并且,按照时间先后顺序,电子设备通过第二目标摄像模组的图像传感器可以交替获取到中、短曝光的RAW图像M1、S1、M2、S2、M3,等等。
在获取到长曝光图像、中等曝光图像和短曝光图像后,电子设备可以对长曝光图像、中等曝光图像和短曝光图像进行HDR合成处理,得到具有高动态范围的RAW合成图像。其中,用于进行HDR合成处理的图像可以为第一摄像模组获取到的第N帧图像、第二摄像模组获取到的第N帧图像以及第二摄像模组获取到的第N+1帧图像。并且,在进行HDR合成时,电子设备可以将中等曝光图像作为HDR合成的基准图像。
例如,如图6所示,当获取到图像L1、M1和S1之后,电子设备可以第图像L1、M1和S1进行HDR合成处理(以M1为HDR合成的基准图像),得到具有高动态范围的图像P1。在获取到图像P1后,电子设备可以将图像P1转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。
当获取到图像L2、M2之后,电子设备可以第图像L2、M2和S1进行HDR合成处理(以M2为HDR合成的基准图像),得到具有高动态范围的图像P2。当获取到图像L3、S2之后,电子设备可以第图像L3、M2和S2进行HDR合成处理(以M2为HDR合成的基准图像),得到具有高动态范围的图像P3。当获取到图像L4、M3之后,电子设备可以第图像L4、M3和S2进行HDR合成处理(以M3为HDR合成的基准图像),得到具有高动态范围的图像P4,等等。
在依次得到图像P2、P3和P4后,电子设备同样可以将图像P2、P3和P4转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。即,预览界面上会依次显示由图像P1、P2、P3和P4等经过格式转换和预设处理后的图像。
可以理解的是,本实施例中可以将显示在预览界面上的图像记为预览帧图像。电子设备在每得到一张预览帧图像后,可以将对应的预览帧图像存入预设图像缓存队列中。该预设图像缓存队列可以是定长队列,也可以是非定长队列。
例如,本实施例中,预设图像缓存队列为定长队列,队列长度为30帧。例如,电子设备依次得到用于预览的图像Y1、Y2、Y3、Y4等等。那么,电子设备可以将得到的图像Y1、Y2、Y3、Y4依次存入预设图像缓存队列中。可以理解的是,预设图像缓存队列中存储的始终是最新得到的30帧预览帧图像,如图9所示。
之后,例如如图10所示,用户点击了相机应用界面中的拍照按钮,此时电子设备可以从预设图像缓存队列中获取一帧预览帧,并将该获取的预览帧作为照片显示在显示屏上供用户查看拍照效果。例如,电子设备从预设图像缓存队列中获取到图像Y60。那么,电子设备可以将图像Y60作为照片显示给用户查看,如图11所示。
可以理解的是,本实施例中,当拍照时,电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像,并展示给用户查看,从而可以达到零延时拍照的效果。
请参阅图12,图12为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备可以包括至少两个摄像模组。图像处理装置400可以包括:选取模块401,获取模块402,合成模块403,处理模块404。
选取模块401,用于从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组。
获取模块402,用于通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低。
合成模块403,用于对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
处理模块404,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,所述电子设备具有三个摄像模组;所述选取模块401用于:
在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第二摄像模组;
获取除所述第二摄像模组之外的另外两个摄像模组的像素值;
按照像素值由大到小的顺序,将所述另外两个摄像模组依次确定为第三摄像模组和第一摄像模组。
在一种实施方式中,所述电子设备具有两个摄像模组;所述选取模块401用于:
在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第一摄像模组;
将除所述第一摄像模组之外的另一个摄像模组确定为第二摄像模组,所述第三摄像模组和所述第二摄像模组为同一摄像模组。
在一种实施方式中,所述第一摄像模组、第二摄像模组和第三摄像模组的帧率相同。
在一种实施方式中,所述第一曝光度、第二曝光度、第三曝光度依次降低,包括:所述第一曝光度、第二曝光度、第三曝光度所具有的曝光时间依次减少,且除曝光时间不同外,所述第一曝光度、第二曝光度、第三曝光度的其它曝光参数相同。
在一种实施方式中,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。
那么,所述合成模块403用于:对所述第一摄像模组获取到的第N帧RAW图像、所述第二摄像模组获取到的第N帧RAW图像以及所述第二摄像模组获取到的第N+1帧RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
在一种实施方式中,所述处理模块404可以用于:
将所述RAW合成图像转换为YUV合成图像;
对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,所述处理模块404还可以用于:
将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图13,图13为本申请实施例提供的电子设备的结构示意图。
该电子设备500可以包括摄像模组501、存储器502、处理器503等部件。本领域技术人员可以理解,图13中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组501可以是电子设备上安装的双摄像模组或者三摄像模组等等。即,电子设备具有至少两个摄像模组。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组;
通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本发明实施例还提供一种电子设备。上述电子设备除了包括存储器和处理外,还包括摄像模组及其图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。
图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图14,图14为本实施例中图像处理电路的结构示意图。如图14所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。图14以电子设备具有两个摄像模组为例。
图像处理电路可以包括:第一摄像模组510、第二摄像模组520、第一图像信号处理器530、第二图像信号处理器540、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像模组510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像模组520可以包括一个或多个第二透镜521和第二图像传感器522。
第一摄像模组510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像模组510的控制参数,从而第一摄像模组510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
第二摄像模组520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像模组520的控制参数,从而第二摄像模组520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
在另一些实施方式中,第一图像信号处理器和第二图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、第一图像信号处理器、第二图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
一般的,具有双摄像模组的手机,在某些拍照模式下,双摄像模组均工作。此时,CPU控制供电模块为第一摄像模组和第二摄像模组供电。第一摄像模组中的图像传感器上电,第二摄像模组中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是双摄像模组中的一个摄像头工作。例如,仅长焦摄像头工作。这种情况下,CPU控制供电模块给相应摄像头的图像传感器供电即可。
以下为运用图14中图像处理技术实现本实施例提供的图像处理方法的流程:
从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组;
通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,所述电子设备具有三个摄像模组;电子设备执行从所述三个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组时,可以执行:在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第二摄像模组;获取除所述第二摄像模组之外的另外两个摄像模组的像素值;按照像素值由大到小的顺序,将所述另外两个摄像模组依次确定为第三摄像模组和第一摄像模组。
在一种实施方式中,所述电子设备具有两个摄像模组;电子设备执行从所述至少两个摄像模组中选取第一摄像模组、第二摄像模组和第三摄像模组时,可以执行:在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第一摄像模组;将除所述第一摄像模组之外的另一个摄像模组确定为第二摄像模组,所述第三摄像模组和所述第二摄像模组为同一摄像模组。
在一种实施方式中,所述第一摄像模组、第二摄像模组和第三摄像模组的帧率相同。
在一种实施方式中,所述第一曝光度、第二曝光度、第三曝光度依次降低,可以包括:所述第一曝光度、第二曝光度、第三曝光度所具有的曝光时间依次减少,且除曝光时间不同外,所述第一曝光度、第二曝光度、第三曝光度的其它曝光参数相同。
在一种实施方式中,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像;
电子设备执行对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像时,可以执行:对所述第一摄像模组获取到的第N帧RAW图像、所述第二摄像模组获取到的第N帧RAW图像以及所述第二摄像模组获取到的第N+1帧RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
在一种实施方式中,电子设备执行利用所述RAW合成图像,进行图像的预览时,可以执行:将所述RAW合成图像转换为YUV合成图像;对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,电子设备还可以执行:将预设处理后的YUV合成图像存入预设图像缓存队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (5)

1.一种图像处理方法,应用于电子设备,其特征在于,所述电子设备包括至少两个摄像模组,所述方法包括:
当所述电子设备具有三个摄像模组时,在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第二摄像模组;获取除所述第二摄像模组之外的另外两个摄像模组的分辨率;按照分辨率由大到小的顺序,将所述另外两个摄像模组依次确定为第三摄像模组和第一摄像模组;
当所述电子设备具有两个摄像模组时,在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第一摄像模组;将除所述第一摄像模组之外的另一个摄像模组确定为第二摄像模组,所述第三摄像模组和所述第二摄像模组为同一摄像模组;
通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;所述第一摄像模组、第二摄像模组和第三摄像模组的帧率相同;当所述电子设备具有两个摄像模组时,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像;
对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;其中,当所述电子设备具有两个摄像模组时,对所述第一摄像模组获取到的第N帧RAW图像、所述第二摄像模组获取到的第N帧RAW图像以及所述第二摄像模组获取到的第N+1帧RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作,其中包括:将所述RAW合成图像转换为YUV合成图像,对所述YUV合成图像进行预设处理后,进行图像的预览;将预设处理后的YUV合成图像存入预设图像缓存队列,所述预设图像缓存队列为定长队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
2.根据权利要求1所述的图像处理方法,其特征在于,所述第一曝光度、第二曝光度、第三曝光度依次降低,包括:
所述第一曝光度、第二曝光度、第三曝光度所具有的曝光时间依次减少,且除曝光时间不同外,所述第一曝光度、第二曝光度、第三曝光度的其它曝光参数相同。
3.一种图像处理装置,应用于电子设备,其特征在于,所述电子设备包括至少两个摄像模组,所述装置包括:
选取模块,用于当所述电子设备具有三个摄像模组时,在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第二摄像模组;获取除所述第二摄像模组之外的另外两个摄像模组的分辨率;按照分辨率由大到小的顺序,将所述另外两个摄像模组依次确定为第三摄像模组和第一摄像模组;当所述电子设备具有两个摄像模组时,在检测到启动拍摄应用并进入预览界面时,将当前用于提供预览图像的摄像模组确定为第一摄像模组;将除所述第一摄像模组之外的另一个摄像模组确定为第二摄像模组,所述第三摄像模组和所述第二摄像模组为同一摄像模组;
获取模块,用于通过所述第一摄像模组获取具有第一曝光度的第一RAW图像,通过所述第二摄像模组获取具有第二曝光度的第二RAW图像,以及通过所述第三摄像模组获取具有第三曝光度的第三RAW图像,其中,所述第一曝光度、第二曝光度、第三曝光度依次降低;所述第一摄像模组、第二摄像模组和第三摄像模组的帧率相同;当所述电子设备具有两个摄像模组时,所述第二摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像;
合成模块,用于对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;其中,当所述电子设备具有两个摄像模组时,对所述第一摄像模组获取到的第N帧RAW图像、所述第二摄像模组获取到的第N帧RAW图像以及所述第二摄像模组获取到的第N+1帧RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作,其中包括:将所述RAW合成图像转换为YUV合成图像,对所述YUV合成图像进行预设处理后,进行图像的预览;将预设处理后的YUV合成图像存入预设图像缓存队列,所述预设图像缓存队列为定长队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
4.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至2中任一项所述的方法。
5.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至2中任一项所述的方法。
CN201910579980.8A 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备 Active CN110278375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910579980.8A CN110278375B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579980.8A CN110278375B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110278375A CN110278375A (zh) 2019-09-24
CN110278375B true CN110278375B (zh) 2021-06-15

Family

ID=67963683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579980.8A Active CN110278375B (zh) 2019-06-28 2019-06-28 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110278375B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526299B (zh) 2020-04-28 2022-05-17 荣耀终端有限公司 一种高动态范围图像合成方法和电子设备
CN113676674B (zh) * 2021-08-19 2023-06-27 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113660425B (zh) * 2021-08-19 2023-08-22 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162190A (ja) * 2012-02-02 2013-08-19 Canon Inc ハイダイナミックレンジ動画撮影補助装置
JP2017118551A (ja) * 2006-12-12 2017-06-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 多重センサを有する高ダイナミックレンジカメラ
JP2018504790A (ja) * 2015-12-08 2018-02-15 ▲楽▼視控股(北京)有限公司Le Holdings(Beijing)Co.,Ltd. ハイダイナミックレンジ画像の生成方法及び装置
CN109936700A (zh) * 2017-12-19 2019-06-25 群光电子股份有限公司 影像串流画质处理系统及影像串流画质处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
US9449374B2 (en) * 2014-03-17 2016-09-20 Qualcomm Incoporated System and method for multi-frame temporal de-noising using image alignment
CN109413335B (zh) * 2017-08-16 2020-12-18 瑞芯微电子股份有限公司 一种双重曝光合成hdr图像的方法和装置
CN109218613B (zh) * 2018-09-18 2020-08-14 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN109672819B (zh) * 2018-12-10 2021-04-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118551A (ja) * 2006-12-12 2017-06-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 多重センサを有する高ダイナミックレンジカメラ
JP2013162190A (ja) * 2012-02-02 2013-08-19 Canon Inc ハイダイナミックレンジ動画撮影補助装置
JP2018504790A (ja) * 2015-12-08 2018-02-15 ▲楽▼視控股(北京)有限公司Le Holdings(Beijing)Co.,Ltd. ハイダイナミックレンジ画像の生成方法及び装置
CN109936700A (zh) * 2017-12-19 2019-06-25 群光电子股份有限公司 影像串流画质处理系统及影像串流画质处理方法

Also Published As

Publication number Publication date
CN110278375A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
KR102376901B1 (ko) 이미징 제어 방법 및 이미징 디바이스
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
CN109040609B (zh) 曝光控制方法、装置、电子设备和计算机可读存储介质
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
US8564679B2 (en) Image processing apparatus, image processing method and program
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
EP3429189B1 (en) Dual image capture processing
CN109993722B (zh) 图像处理方法、装置、存储介质及电子设备
CN108712608B (zh) 终端设备拍摄方法和装置
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
WO2020057199A1 (zh) 成像方法、装置和电子设备
CN102348066B (zh) 摄像装置
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN110213502B (zh) 图像处理方法、装置、存储介质及电子设备
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
JP2010136224A (ja) 撮像装置及び撮像方法
US11503223B2 (en) Method for image-processing and electronic device
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266967B (zh) 图像处理方法、装置、存储介质及电子设备
CN110278386B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant