CN110266965B - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110266965B CN110266965B CN201910577873.1A CN201910577873A CN110266965B CN 110266965 B CN110266965 B CN 110266965B CN 201910577873 A CN201910577873 A CN 201910577873A CN 110266965 B CN110266965 B CN 110266965B
- Authority
- CN
- China
- Prior art keywords
- image
- camera module
- raw
- module
- raw image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 49
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 49
- 239000002131 composite material Substances 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 16
- 239000000872 buffer Substances 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000003707 image sharpening Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法,可以应用于电子设备,该电子设备包括第一摄像模组、第二摄像模组和第三摄像模组,其中第二摄像模组为广角摄像模组,第三摄像模组为黑白摄像模组,该图像处理方法包括:从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;通过第一目标摄像模组获取第一RAW图像,通过第二目标摄像模组获取第二RAW图像,并通过第三摄像模组获取第三RAW图像,其中,第一RAW图像、第三RAW图像、第二RAW图像的曝光度依次降低;以第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;利用RAW合成图像,进行图像的预览或拍照或录像操作。
Description
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到
HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像能够适用于预览、拍照和录像。
本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括第一摄像模组、第二摄像模组和第三摄像模组,其中所述第二摄像模组为广角摄像模组,所述第三摄像模组为黑白摄像模组,所述方法包括:
从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;
通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括第一摄像模组、第二摄像模组和第三摄像模组,其中所述第二摄像模组为广角摄像模组,所述第三摄像模组为黑白摄像模组,所述装置包括:
确定模块,用于从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;
获取模块,用于通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
合成模块,用于以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。
本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像处理方法的第一种合成示意图。
图3是本申请实施例提供的图像处理方法的另一流程示意图。
图4是本申请实施例提供的图像处理方法的第二种合成示意图。
图5为将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组时的图像合成示意图。
图6为将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组时的图像合成示意图。
图7至图11是本申请实施例提供的图像处理方法的场景示意图。
图12是本申请实施例提供的图像处理装置的结构示意图。
图13是本申请实施例提供的电子设备的结构示意图。
图14是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以包括第一摄像模组、第二摄像模组和第三摄像模组,其中,该第二摄像模组可以为广角摄像模组,该第三摄像模组可以为黑白摄像模组。该图像处理方法的流程可以包括:
101、从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。
102、通过第一目标摄像模组获取第一RAW图像,通过第二目标摄像模组获取第二RAW图像,并通过第三摄像模组获取第三RAW图像,其中,第一RAW图像、第三RAW图像、第二RAW图像的曝光度依次降低。
相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。
比如,利用zzHDR技术进行图像处理时,因为zzHDR技术是在同一帧图像中既有进行长曝光的像素又有进行短曝光的像素,长、短曝光像素合并生成高动态范围图像时,会降低至少一半的分辨率。因此利用zzHDR技术得到的高动态范围图像无法用于拍照或者录像,否则用户会明显看出分辨率降低的图像显示效果。即,zzHDR技术无法适用于拍照和录像的场景。相关技术中的另一些HDR技术也存在着诸如分辨率降低或者信噪比较低的问题,使得这些HDR技术处理得到的图像无法同时适用于预览、拍照和录像。
在本申请实施例的101和102的流程中,比如,电子设备可以先从第一摄像模组和第二摄像模组(广角摄像模组)中确定出第一目标摄像模组以及第二目标摄像模组。
之后,电子设备可以通过确定出来的第一目标摄像模组获取第一RAW图像,并通过确定出来的第二目标摄像模组获取第二RAW图像,以及通过第三摄像模组获取第三RAW图像。其中,该第一RAW图像、第三RAW图像和第二RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第三RAW图像,第三RAW图像的曝光度可以大于第二RAW图像。
需要说明的是,电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。
曝光度是指图像的曝光程度。曝光程度可以包括过曝光、正常曝光以及欠曝光。曝光度也叫曝光值,曝光值代表能够给出同样曝光的所有相机光圈快门组合。
在本实施例中,第一RAW图像、第三RAW图像和第二RAW图像的曝光度依次降低可以至少包括如下情形:例如,第一RAW图像可以为过曝光图像、第三RAW图像可以为正常曝光图像,第二RAW图像可以为欠曝光图像。又如,第一RAW图像、第三RAW图像和第二RAW图像可以是曝光时间依次减少的图像,例如相比较而言,第一RAW图像可以为曝光时间较长的长曝光图像,第三RAW图像可以为曝光时间居于中间的中等曝光图像,第二RAW图像可以为曝光时间较短的短曝光图像等等。
即,本实施例的101和102中,电子设备可以先从第一摄像模组和第二摄像模组中选取用于进行过曝光或长曝光的第一目标摄像模组,并选取用于进行欠曝光或者短曝光的第二目标摄像模组。在选取出第一目标摄像模组和第二目标摄像模组之后,电子设备可以通过该第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像,以及通过第三摄像模组获取第三RAW图像。
103、以第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,在获取到第一RAW图像、第二RAW图像和第三RAW图像之后,电子设备可以第三RAW图像为基准图像,对该第一RAW图像、第二RAW图像以及第三RAW图像进行HDR合成处理,从而得到具有高动态范围的RAW合成图像。
即,由于第一RAW图像的曝光度最高,第二RAW图像的曝光度最低,因此电子设备可以从第一RAW图像中获取暗部细节,从第二RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第三RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。
104、利用RAW合成图像,进行图像的预览或拍照或录像操作。
比如,在得到具有高动态范围的RAW合成图像后,电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以在对该RAW合成图像进行一定处理后显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以在对该RAW合成图像进行一定的处理后作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以在对该RAW合成图像进行一定处理后将其作为录像得到的视频的其中一帧。
请同时参阅图2,图2为本实施例提供的图像处理方法的第一种合成示意图。
需要说明的是,本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。
此外,由于第三摄像模组为黑白摄像模组,黑白摄像模组具有提升图像的亮度细节和暗光画质的效果,因此本申请实施例中通过第三摄像模组(即黑白摄像模组)获取的第三RAW图像其具有更好的亮度细节和暗光画质,因此利用该第三RAW图像作为HDR合成的基准图像其最终得到的具有高动态范围的RAW合成图像也具有更好的亮度细节和暗光画质。
请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以包括第一摄像模组、第二摄像模组和第三摄像模组,其中,该第二摄像模组可以为广角摄像模组,该第三摄像模组可以为黑白摄像模组。该图像处理方法的流程可以包括:
201、电子设备从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。
比如,电子设备上安装有相机应用,用户点击了该相机应用的图标从而开启了相机应用。在开启相机应用后,可以进入到相机应用的预览界面。在进入到相机应用的预览界面后,电子设备可以从第一摄像模组和第二摄像模组(即广角摄像模组)中确定出第一目标摄像模组和第二目标摄像模组。
其中,确定出来的第一目标摄像模组可以是用于拍摄具有最大曝光度(如进行过曝光或者长曝光)的摄像模组,而确定出来的第二目标摄像模组可以是用于拍摄具有最小曝光度(如进行欠曝光或者短曝光)的摄像模组。
202、电子设备通过第一目标摄像模组获取第一RAW图像,通过第二目标摄像模组获取第二RAW图像,并通过第三摄像模组获取第三RAW图像,其中,该第一RAW图像、第三RAW图像、第二RAW图像的曝光度依次降低,该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率相同。
比如,在确定出第一目标摄像模组和第二目标摄像模组后,电子设备可以通过第一目标摄像模组拍摄第一RAW图像,并通过第二目标摄像模组拍摄第二RAW图像,以及通过第三摄像模组(即黑白摄像模组)拍摄第三RAW图像。
其中,该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率可以相同(即第一摄像模组、第二摄像模组以及第三摄像模组的帧率可以相同)。例如,该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率可以均为30fps。当然,在一些其它实施方式中,该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率也可以为其它数值。并且,该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率可以是不低于20fps的数值。当该第一目标摄像模组、第二目标摄像模组以及第三摄像模组的帧率不低于20fps时,后续利用该第一目标摄像模组、第二目标摄像模组以及第三摄像模组获取到的图像合成的RAW合成图像进行图像预览或录像时画面会比较流畅而不会出现卡顿现象。
并且,该第一RAW图像、第三RAW图像和第二RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第三RAW图像,第三RAW图像的曝光度可以大于第二RAW图像。在一些实施方式中,第一RAW图像可以为过曝光图像,第三RAW图像可以为正常曝光图像,第二RAW图像可以为欠曝光图像。或者,在其它曝光参数相同的情况下,第一RAW图像的曝光时间可以大于第三RAW图像,而第三RAW图像的曝光时间可以大于第二RAW图像。即,第一RAW图像可以为长曝光图像,第三RAW图像可以为中等曝光图像,第二RAW图像可以为短曝光图像。
在本实施例中,可以将获取到的过曝图像(或者长曝光图像)统一记为第一RAW图像,将正常曝光图像(或者中等曝光图像)统一记为第三RAW图像,将欠曝图像(或者短曝光图像)统一记为第二RAW图像。
例如,本实施例中,第一目标摄像模组可以不断地获取到长曝光图像,第二目标摄像模组可以不断地获取到短曝光图像,第三摄像模组(黑白摄像模组)可以不断的获取到中等曝光图像。
203、以第三RAW图像为基准图像,电子设备对第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第三摄像模组获取到的第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,其中,用于合成的第N帧第一RAW图像、第N帧第二RAW图像以及第三摄像模组获取到的第三RAW图像为同步获取的图像。
比如,在第一目标摄像模组不断地获取到长曝光图像,并且第二目标摄像模组不断地获取到短曝光图像,以及第三摄像模组不断地获取到中等曝光图像的过程中,电子设备可以对第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第三摄像模组获取到的第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。其中,在进行HDR合成时,电子设备可以第三RAW图像为HDR合成的基准图像。即,电子设备可以从第一RAW图像中获取暗部细节,从第二RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第三RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。
并且,用于进行HDR合成的第N帧第一RAW图像、第N帧第二RAW图像以及第三摄像模组获取到的第三RAW图像为同步获取的图像。需要说明的是,上述同步获取的图像是指第一目标摄像模组、第二目标摄像模组和第三摄像模组这三个摄像模组在相同时间拍摄的图像或者这三个摄像模组在间隔很短的时间内(如间隔小于预设时间间隔)拍摄的图像。
请同时参阅图4,图4为本实施例提供的图像处理方法的第二种合成示意图。例如,第一目标摄像模组按照时间先后顺序进行长曝光得到以下图像:L1、L2、L3、L4(即L1为第一目标摄像模组拍摄的第一帧图像,L2为第一目标摄像模组拍摄的第二帧图像,L3为第一目标摄像模组拍摄的第三帧图像,L4为第一目标摄像模组拍摄的第四帧图像)等等。可以理解的是,L1、L2、L3和L4具有相同的曝光度,例如在其它曝光参数相同的情况下,L1、L2、L3和L4具有相同的曝光时间t1。
第二目标摄像模组按照时间先后顺序进行短曝光得到以下图像:S1、S2、S3、S4(即S1为第二目标摄像模组拍摄的第一帧图像,S2为第二目标摄像模组拍摄的第二帧图像,S3为第二目标摄像模组拍摄的第三帧图像,S4为第二目标摄像模组拍摄的第四帧图像)等等。可以理解的是,S1、S2、S3、S4具有相同的曝光度,例如在其它曝光参数相同的情况下,S1、S2、S3、S4具有相同的曝光时间t2。
第三摄像模组按照时间先后顺序进行中等曝光得到以下图像:M1、M2、M3、M4(即M1为第三摄像模组在第一摄像模组拍摄L1时拍摄的第一帧图像,M2为第三摄像模组在第一摄像模组拍摄L2时拍摄的第二帧图像,M3为第三摄像模组在第一摄像模组拍摄L3时拍摄的第三帧图像,M4为第三摄像模组在第一摄像模组拍摄L4时拍摄的第四帧图像)等等。可以理解的是,M1、M2、M3、M4具有相同的曝光度,例如在其它曝光参数相同的情况下,M1、M2、M3具有相同的曝光时间t3。
那么,在HDR合成时,电子设备是将L1、M1和S1进行合成得到P1图像(以M1为HDR合成的基准图像),将L2、M2和S2进行合成得到P2图像(以M2为HDR合成的基准图像),将L3、M3和S4进行合成得到P3图像(以M3为HDR合成的基准图像),将L4、M4和S4进行合成得到P4图像(以M4为HDR合成的基准图像)。即,电子设备可以依次得到具有高动态范围的P1、P2、P3和P4图像。
204、电子设备将RAW合成图像转换为YUV合成图像。
205、电子设备对YUV合成图像进行预设处理后,进行图像的预览。
比如,204和205可以包括:
在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。
之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作。例如,电子设备可以将YUV合成图像经过预设处理后得到的图像显示在该电子设备的相机应用的预览界面供用户预览。
请同时参阅图5和图6。图5为电子设备将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组时的图像合成示意图。图6为电子设备将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组时的图像合成示意图。
206、电子设备将预设处理后的YUV合成图像存入预设图像缓存队列。
207、在进行拍照操作时,电子设备从预设图像缓存队列中获取一帧YUV合成图像,并将获取到的该YUV合成图像作为照片展示。
比如,206和207可以包括:
在对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理后,电子设备可以将处理后得到的图像存入一个预设图像缓存队列中。
例如,在对图像进行预览之后,用户点击了电子设备的相机应用的拍照按钮进行拍照操作,那么电子设备可以从预设图像缓存队列中获取一帧经过预设处理的YUV合成图像,并将获取到的该图像作为照片进行展示,如显示在电子设备的显示屏供用户查看拍照效果。
可以理解的是,本实施例中,当拍照时,电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像,并展示给用户查看,从而可以达到零延时拍照的效果。
在一种实施方式中,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像的流程,可以包括:
电子设备将第三RAW图像确定为图像对齐处理的基准图像,该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;
在图像对齐后,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
比如,第一RAW图像为过曝光图像,第三RAW图像为正常曝光图像,第二RAW图像为欠曝光图像。那么,电子设备可以将正常曝光的第三RAW图像确定为图像对齐处理的基准图像,其中该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理。即,在进行HDR融合之前,电子设备需要对第一RAW图像、第二RAW图像和第三RAW图像进行图像亮度对齐和图像位置对齐。在本申请实施例中,电子设备可以先将正常曝光的第三RAW图像确定为图像对齐处理的基准图像,然后将第一RAW图像和第二RAW图像以第三RAW图像为基准进行图像亮度对齐和位置对齐。在图像对齐之后,电子设备可以对第一RAW图像、第二RAW图像和第三RAW图像进行HDR合成(在进行HDR合成时仍然可以第三RAW图像作为合成的基准图像),从而得到具有高动态范围的RAW合成图像。
需要说明的是,由于第二摄像模组为广角摄像模组,广角摄像模组拍摄的图像具有一些程度的畸变,因此在对第一RAW图像、第二RAW图像和第三RAW图像进行位置对齐前,电子设备可以先对由广角摄像模组(即第二摄像模组)拍摄得到的图像进行畸变校正。在畸变校正后,电子设备可以再对第一RAW图像、第二RAW图像和第三RAW图像进行位置对齐和亮度对齐。
需要说明的是,以中等曝光的第三RAW图像作为图像对齐处理的基准图像,可以使得图像对齐处理更加准确,进而使得最终合成得到的图像的成像效果更好。
在本实施例中,用于进行HDR合成的第一RAW图像、第二RAW图像和第三RAW图像也可以是拍摄时间间隔小于预设间隔的图像。比如,用于进行HDR合成的长曝光图像、中等曝光图像以及短曝光图像可以是拍摄时间间隔小于预设间隔的图像。电子设备在拍摄图像时可以生成与各图像对应的时间戳。基于拍摄的时间戳,电子设备即可以在HDR合成时检测对应的长曝光图像、中等曝光图像以及短曝光图像是否为拍摄时间间隔小于预设间隔的图像。若是,则电子设备可以进行HDR合成。若否,则电子设备可以不对这些图像进行HDR合成,而是对这些图像进行丢帧处理,如将这些图像删除等。
在一种实施方式中,201中电子设备从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组的流程,可以包括:
电子设备随机地从第一摄像模组和第二摄像模组中确定第一目标摄像模组,并将被确定为该第一目标摄像模组的摄像模组外的另一摄像模组确定为第二目标摄像模组。
比如,电子设备可以随机地将第一摄像模组确定为第一目标摄像模组,那么对应的,电子设备可以将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组。
或者,电子设备可以随机地将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,那么对应的,电子设备可以将第一摄像模组确定为第二目标摄像模组。
在另一种实施方式中,201中电子设备从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组的流程,可以包括:
电子设备通过第一摄像模组获取图像,并将获取到的图像确定为待检测图像;
电子设备获取待检测图像的边角区域的图像的亮度,该边角区域的图像具有预设尺寸;
若检测到边角区域的图像的亮度小于预设阈值,则电子设备将第二摄像模组确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组;
若检测到边角区域的图像的亮度大于或等于预设阈值,则电子设备将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组确定为第二目标摄像模组。
比如,用户点击了相机应用的应用图标从而开启了相机应用,进入相机应用的预览界面。在进入预览界面后,电子设备可以先通过第一摄像模组获取一帧图像,并将该图像确定为待检测图像。在获取到该待检测图像后,电子设备可以获取该待检测图像的边角区域的图像的亮度,即电子设备可以获取位于该待检测图像的边角区域的图像的亮度。其中,上述边角区域具有预设尺寸。例如,电子设备可以获取位于待检测图像的四个直角区域、具有预设尺寸的边角区域图像的亮度。可以理解的是,上述边角区域的图像可以是待检测图像的四个直角区域的图像中的任意数量的图像,如一个或两个或三个或四个。
在获取到待检测图像的边角区域的图像的亮度后,电子设备可以检测该亮度是否小于预设阈值。
若检测到待检测图像的边角区域的图像的亮度小于预设阈值,那么可以认为待检测图像的边角区域较暗。在这种情况下,电子设备可以将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组。例如,利用第二摄像模组(广角摄像模组)进行长曝光,利用第一摄像模组进行短曝光。
若检测到待检测图像的边角区域的图像的亮度大于或等于预设阈值,那么可以认为待检测图像的边角区域较亮。在这种情况下,电子设备可以将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组。例如,利用第一摄像模组进行长曝光,利用第二摄像模组(广角摄像模组)进行短曝光。
请参阅图7至图11,图7至图11为本申请实施例提供的图像处理方法的场景示意图。
比如,如图7所示,电子设备具有第一摄像模组301、第二摄像模组302和第三摄像模组303,其中该第二摄像模组302为广角摄像模组,该第三摄像模组303为黑白摄像模组,而该第一摄像模组301可以为普通摄像模组。例如,第一摄像模组301可以为既非长焦摄像模组也非广角摄像模组的普通摄像模组。并且,第一摄像模组301、第二摄像模组302和第三摄像模组可以具有相同的帧率,例如它们的帧率均为30fps或者60fps等等。
例如,如图8所示,用户点击了相机应用的图标,并将摄像头对准某一场景。此时电子设备进入相机应用的预览界面。当检测到进入预览界面后,电子设备可以随机地将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组。
在确定出第一目标摄像模组和第二目标摄像模组后,电子设备可以进入HDR模式。例如,在该HDR模式下,电子设备可以通过第一目标摄像模组的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第一RAW图像,该第一RAW图像的曝光时间为T1。同时,电子设备可以通过第二目标摄像模组的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第二RAW图像,该第二RAW图像的曝光时间为T2。并且,电子设备可以通过第三摄像模组(即黑白摄像模组)的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第三RAW图像,该第三RAW图像的曝光时间为T3。可以理解的是,第一RAW图像、第二RAW图像和第三RAW图像即为摄像头对准的当前场景的图像。由于第一RAW图像、第二RAW图像和第三RAW图像的拍摄时间间隔很短,因此可以认为它们为同一场景下获取的图像。在一种实施方式中,第一RAW图像、第二RAW图像和第三RAW图像除了曝光时间不同外,其它曝光参数可以相同。
在本实施例中曝光时间T1大于T3,T3大于T2。即,第一目标摄像模组进行长曝光,得到长曝光的RAW图像。第二目标摄像模组进行短曝光,得到短曝光的RAW图像。第三摄像模组进行中等曝光,得到中等曝光的RAW图像。例如,如图4所示,按照时间先后顺序,电子设备通过第一目标摄像模组的图像传感器可以获取到长曝光的RAW图像L1、L2、L3和L4,等等。并且,按照时间先后顺序,电子设备通过第二目标摄像模组的图像传感器获取到短曝光的RAW图像S1、S2、S3、S4,等等。按照时间先后顺序,电子设备通过第三摄像模组的图像传感器获取到中等曝光的RAW图像M1、M2、M3、M4,等等。
在获取到长曝光图像、中等曝光图像和短曝光图像后,电子设备可以对长曝光图像、中等曝光图像和短曝光图像进行HDR合成处理,得到具有高动态范围的RAW合成图像。其中,用于进行HDR合成处理的图像可以为第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第三摄像模组获取到的第三RAW帧图像,其中用于进行HDR合成的第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第三摄像模组获取到的第三RAW帧图像是同步获取的RAW图像。并且,在进行HDR合成时,电子设备可以中等曝光图像作为HDR合成的基准图像。
例如,如图4所示,当获取到图像L1、M1和S1之后,电子设备可以第图像L1、M1和S1进行HDR合成处理(以M1为HDR合成的基准图像),得到具有高动态范围的图像P1。在获取到图像P1后,电子设备可以将图像P1转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。
当获取到图像L2、M2、S2之后,电子设备可以对图像L2、M2和S2进行HDR合成处理(以M2为HDR合成的基准图像),得到具有高动态范围的图像P2。当获取到图像L3、M3、S3之后,电子设备可以第图像L3、M3、S3进行HDR合成处理(以M3为HDR合成的基准图像),得到具有高动态范围的图像P3。当获取到图像L4、M4、S4之后,电子设备可以第图像L4、M4和S4进行HDR合成处理(以M4为HDR合成的基准图像),得到具有高动态范围的图像P4,等等。
在依次得到图像P2、P3和P4后,电子设备同样可以将图像P2、P3和P4转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。即,预览界面上会依次显示由图像P1、P2、P3和P4等经过格式转换和预设处理后的图像。
可以理解的是,本实施例中可以将显示在预览界面上的图像记为预览帧图像。电子设备在每得到一张预览帧图像后,可以将对应的预览帧图像存入预设图像缓存队列中。该预设图像缓存队列可以是定长队列,也可以是非定长队列。
例如,本实施例中,预设图像缓存队列为定长队列,队列长度为30帧。例如,电子设备依次得到用于预览的图像Y1、Y2、Y3、Y4等等。那么,电子设备可以将得到的图像Y1、Y2、Y3、Y4依次存入预设图像缓存队列中。可以理解的是,预设图像缓存队列中存储的始终是最新得到的30帧预览帧图像,如图9所示。
之后,例如如图10所示,用户点击了相机应用界面中的拍照按钮,此时电子设备可以从预设图像缓存队列中获取一帧预览帧,并将该获取的预览帧作为照片显示在显示屏上供用户查看拍照效果。例如,电子设备从预设图像缓存队列中获取到图像Y60。那么,电子设备可以将图像Y60作为照片显示给用户查看,如图11所示。
可以理解的是,本实施例中,当拍照时,电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像,并展示给用户查看,从而可以达到零延时拍照的效果。
请参阅图12,图12为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备可以包括第一摄像模组、第二摄像模组和第三摄像模组,其中该第二摄像模组可以为广角摄像模组,该第三摄像模组可以为黑白摄像模组。图像处理装置400可以包括:确定模块401,获取模块402,合成模块403,处理模块404。
确定模块401,用于从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。
获取模块402,用于通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低。
合成模块403,用于以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,所述确定模块401用于:
随机地从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组,并将被确定为所述第一目标摄像模组的摄像模组外的另一摄像模组确定为第二目标摄像模组。
在一种实施方式中,所述确定模块401用于:
通过第一摄像模组获取图像,并将获取到的图像确定为待检测图像;
获取所述待检测图像的边角区域的图像的亮度,所述边角区域的图像具有预设尺寸;
若检测到所述边角区域的图像的亮度小于预设阈值,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组;
若检测到所述边角区域的图像的亮度大于或等于预设阈值,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组。
在一种实施方式中,所述第一摄像模组、所述第二摄像模组以及所述第三摄像模组的帧率相同。
在一种实施方式中,所述第一RAW图像、第三RAW图像和所述第二RAW图像的曝光时间依次减少。
在一种实施方式中,所述合成模块403用于:
对所述第一目标摄像模组获取到的第N帧第一RAW图像、所述第二目标摄像模组获取到的第N帧第二RAW图像以及所述第三摄像模组获取到的第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,其中,用于合成的所述第N帧第一RAW图像、所述第N帧第二RAW图像以及所述第三摄像模组获取到的第三RAW图像为同步获取的图像。
在一种实施方式中,所述处理模块404可以用于:
将所述RAW合成图像转换为YUV合成图像;
对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,所述处理模块404可以用于:
将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图13,图13为本申请实施例提供的电子设备的结构示意图。
该电子设备500可以包括摄像模组501、存储器502、处理器503等部件。本领域技术人员可以理解,图13中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组501可以是电子设备上安装的三摄像模组等等。其中该摄像模组501可以包括第一摄像模组、第二摄像模组和第三摄像模组。该第二摄像模组可以为广角摄像模组。该第三摄像模组可以为黑白摄像模组。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;
通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
本发明实施例还提供一种电子设备。上述电子设备中可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(ImageSignalProcessing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。
图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图14,图14为本实施例中图像处理电路的结构示意图。如图14所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
图像处理电路可以包括:第一摄像模组510、第二摄像模组520、第三摄像模组580、第一图像信号处理器530、第二图像信号处理器540、第三图像信号处理器590、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像模组510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像模组520可以包括一个或多个第二透镜521和第二图像传感器522。第三摄像模组580可以包括一个或多个第二透镜581和第二图像传感器582。
在一种实施方式中,上述第二摄像模组520可以为广角摄像模组,第三摄像模组580可以为黑白摄像模组。第一摄像模组510可以为普通摄像模组,如既非长焦也非广角摄像模组。
第一摄像模组510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像模组510的控制参数,从而第一摄像模组510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
第二摄像模组520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像模组520的控制参数,从而第二摄像模组520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
第三摄像模组580采集的第三图像传输给第三图像信号处理器590进行处理。第三图像信号处理器590处理第三图像后,可将第三图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第三摄像模组580的控制参数,从而第三摄像模组580可根据控制参数进行自动对焦、自动曝光等操作。第三图像经过第三图像信号处理器590进行处理后可存储至图像存储器560中。第三图像信号处理器590也可以读取图像存储器560中存储的图像以进行处理。另外,第三图像经过第三图像信号处理器590进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。
在另一些实施方式中,第一图像信号处理器、第二图像信号处理器、第三图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、第一图像信号处理器、第二图像信号处理器、第三图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
一般的,具有三摄像模组的手机,在某些拍照模式下,三个摄像模组均工作。此时,CPU控制供电模块为第一摄像模组、第二摄像模组和第三摄像模组供电。第一摄像模组中的图像传感器上电,第二摄像模组中的图像传感器上电,第三摄像模组中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是三摄像模组中的一个摄像头工作。例如,仅广角摄像头工作。这种情况下,CPU控制供电模块给相应摄像头的图像传感器供电即可。
以下为运用图14中图像处理技术实现本实施例提供的图像处理方法的流程:
从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;
通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
在一种实施方式中,电子设备执行从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组时,可以执行:随机地从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组,并将被确定为所述第一目标摄像模组的摄像模组外的另一摄像模组确定为第二目标摄像模组。
在一种实施方式中,电子设备执行从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组时,可以执行:通过第一摄像模组获取图像,并将获取到的图像确定为待检测图像;获取所述待检测图像的边角区域的图像的亮度,所述边角区域的图像具有预设尺寸;若检测到所述边角区域的图像的亮度小于预设阈值,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组;若检测到所述边角区域的图像的亮度大于或等于预设阈值,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组。
在一种实施方式中,所述第一摄像模组、所述第二摄像模组以及所述第三摄像模组的帧率相同。
在一种实施方式中,所述第一RAW图像、第三RAW图像和所述第二RAW图像的曝光时间依次减少。
在一种实施方式中,电子设备执行所述对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像时,可以执行:对所述第一目标摄像模组获取到的第N帧第一RAW图像、所述第二目标摄像模组获取到的第N帧第二RAW图像以及所述第三摄像模组获取到的第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,其中,用于合成的所述第N帧第一RAW图像、所述第N帧第二RAW图像以及所述第三摄像模组获取到的第三RAW图像为同步获取的图像。
在一种实施方式中,电子设备执行利用所述RAW合成图像,进行图像的预览时,可以执行:将所述RAW合成图像转换为YUV合成图像;对所述YUV合成图像进行预设处理后,进行图像的预览。
在一种实施方式中,电子设备还可以执行:将预设处理后的YUV合成图像存入预设图像缓存队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种图像处理方法,应用于电子设备,其特征在于,所述电子设备包括第一摄像模组、第二摄像模组和第三摄像模组,其中所述第二摄像模组为广角摄像模组,所述第三摄像模组为黑白摄像模组,所述方法包括:
从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组,包括:通过第一摄像模组获取图像,并将获取到的图像确定为待检测图像;获取所述待检测图像的边角区域的图像的亮度,所述边角区域的图像具有预设尺寸;若检测到所述边角区域的图像的亮度小于预设阈值,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组;若检测到所述边角区域的图像的亮度大于或等于预设阈值,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组;
通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
2.根据权利要求1所述的图像处理方法,其特征在于,所述第一摄像模组、所述第二摄像模组以及所述第三摄像模组的帧率相同。
3.根据权利要求2所述的图像处理方法,其特征在于,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低,包括:
所述第一RAW图像、第三RAW图像和所述第二RAW图像的曝光时间依次减少。
4.根据权利要求1所述的图像处理方法,其特征在于,所述对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,包括:
对所述第一目标摄像模组获取到的第N帧第一RAW图像、所述第二目标摄像模组获取到的第N帧第二RAW图像以及所述第三摄像模组获取到的第N帧第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像,其中,用于合成的所述第N帧第一RAW图像、所述第N帧第二RAW图像以及所述第三摄像模组获取到的第三RAW图像为同步获取的图像,其中,N为正整数。
5.根据权利要求1所述的图像处理方法,其特征在于,利用所述RAW合成图像,进行图像的预览,包括:
将所述RAW合成图像转换为YUV合成图像;
对所述YUV合成图像进行预设处理后,进行图像的预览。
6.根据权利要求5所述的图像处理方法,其特征在于,所述方法还包括:
将预设处理后的YUV合成图像存入预设图像缓存队列;
在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。
7.一种图像处理装置,应用于电子设备,其特征在于,所述电子设备包括第一摄像模组、第二摄像模组和第三摄像模组,其中所述第二摄像模组为广角摄像模组,所述第三摄像模组为黑白摄像模组,所述装置包括:
确定模块,用于从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组,包括:通过第一摄像模组获取图像,并将获取到的图像确定为待检测图像;获取所述待检测图像的边角区域的图像的亮度,所述边角区域的图像具有预设尺寸;若检测到所述边角区域的图像的亮度小于预设阈值,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组;若检测到所述边角区域的图像的亮度大于或等于预设阈值,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组;
获取模块,用于通过所述第一目标摄像模组获取第一RAW图像,通过所述第二目标摄像模组获取第二RAW图像,并通过所述第三摄像模组获取第三RAW图像,其中,所述第一RAW图像、所述第三RAW图像、所述第二RAW图像的曝光度依次降低;
合成模块,用于以所述第三RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;
处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。
8.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
9.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910577873.1A CN110266965B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910577873.1A CN110266965B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110266965A CN110266965A (zh) | 2019-09-20 |
CN110266965B true CN110266965B (zh) | 2021-06-01 |
Family
ID=67923164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910577873.1A Active CN110266965B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110266965B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111479059B (zh) * | 2020-04-15 | 2021-08-13 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、电子设备及存储介质 |
CN116156081A (zh) * | 2021-11-22 | 2023-05-23 | 哲库科技(上海)有限公司 | 一种图像处理方法及装置、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278890A (ja) * | 2009-05-29 | 2010-12-09 | Canon Inc | 画像形成装置、画像形成方法 |
CN104077759A (zh) * | 2014-02-28 | 2014-10-01 | 西安电子科技大学 | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 |
CN105635533A (zh) * | 2015-12-23 | 2016-06-01 | 天津大学 | 一种具有高动态响应范围的快照式高光谱相机 |
CN106162024A (zh) * | 2016-08-02 | 2016-11-23 | 乐视控股(北京)有限公司 | 照片处理方法及装置 |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN108449541A (zh) * | 2018-03-12 | 2018-08-24 | 维沃移动通信有限公司 | 一种全景图像拍摄方法及移动终端 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9516351B2 (en) * | 2012-07-13 | 2016-12-06 | Koninklijke Philips N.V. | HDR image encoding and decoding methods and devices |
CN107395898B (zh) * | 2017-08-24 | 2021-01-15 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
-
2019
- 2019-06-28 CN CN201910577873.1A patent/CN110266965B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010278890A (ja) * | 2009-05-29 | 2010-12-09 | Canon Inc | 画像形成装置、画像形成方法 |
CN104077759A (zh) * | 2014-02-28 | 2014-10-01 | 西安电子科技大学 | 一种基于色觉感知及全局质量因子的多曝光度图像融合方法 |
CN105635533A (zh) * | 2015-12-23 | 2016-06-01 | 天津大学 | 一种具有高动态响应范围的快照式高光谱相机 |
CN106162024A (zh) * | 2016-08-02 | 2016-11-23 | 乐视控股(北京)有限公司 | 照片处理方法及装置 |
CN107222680A (zh) * | 2017-06-30 | 2017-09-29 | 维沃移动通信有限公司 | 一种全景图像的拍摄方法和移动终端 |
CN108449541A (zh) * | 2018-03-12 | 2018-08-24 | 维沃移动通信有限公司 | 一种全景图像拍摄方法及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN110266965A (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108322669B (zh) | 图像获取方法及装置、成像装置和可读存储介质 | |
CN108989700B (zh) | 成像控制方法、装置、电子设备以及计算机可读存储介质 | |
CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108712608B (zh) | 终端设备拍摄方法和装置 | |
CN110225248B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
US8564679B2 (en) | Image processing apparatus, image processing method and program | |
CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
WO2020057199A1 (zh) | 成像方法、装置和电子设备 | |
CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
CN110213502B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN109993722B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266954B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110012227B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
EP3820141A1 (en) | Imaging control method and apparatus, electronic device, and readable storage medium | |
CN108337446B (zh) | 基于双摄像头的高动态范围图像获取方法、装置及设备 | |
CN108337449A (zh) | 基于双摄像头的高动态范围图像获取方法、装置及设备 | |
CN110213498B (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110445986B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |