CN115426449B - 一种拍照方法和终端 - Google Patents
一种拍照方法和终端 Download PDFInfo
- Publication number
- CN115426449B CN115426449B CN202210912581.0A CN202210912581A CN115426449B CN 115426449 B CN115426449 B CN 115426449B CN 202210912581 A CN202210912581 A CN 202210912581A CN 115426449 B CN115426449 B CN 115426449B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- terminal
- zoom magnification
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供了一种拍照方法和终端。在该方法中,在高亮度场景且高动态范围下,以及变焦倍率大于或者等于预设变焦倍率的情况下,终端可以使用图像传感器在高动态范围(HDR)模式下获取长曝光原图像以及短曝光原图像。然后基于该长曝光原图像以及短曝光原图像采取非合并型裁剪以及二次裁剪的方式进行数字变焦,以得到目标图像。这样,可以使得终端在数字变焦得到与变焦倍率对应的目标图像时,减少目标图像的清晰度损失,提升目标图像质感以及图像的动态范围。
Description
技术领域
本申请涉及终端及图像处理领域,尤其涉及一种拍照方法和终端。
背景技术
目前,终端在拍摄图像时通常都支持图像变焦,其中,图像变焦是指在终端录制视频的过程中可以通过改变变焦倍率而使得获取的图像中的被拍摄对象的大小改变,具体可以表现在:即使被拍摄对象相对于终端的位置没有改变,如果变焦倍率变大,终端的视场角(fieldof view,FOV)变小,终端显示的图像中该被拍摄对象变大,但是图像中可以呈现的被拍摄对象变少;如果变焦倍率变小,终端的视场角变大,终端显示的图像中该被拍摄对象变小,但是图像中可以呈现的被拍摄对象变多。
当前,终端实现的图像变焦是一种数字变焦,数字变焦是终端通过在原图像中裁剪出与变焦倍率对应的图像,再基于裁剪后的图像进行上采样等处理形成与原图像大小相同的图像作为数字变焦后的图像。裁剪后的图像分辨率下降,会导致数字变焦后的图像清晰度损失。
在进行数字变焦时,如何使得数字变焦图像更清晰是当前研究的方向。
发明内容
本申请提供了一种拍照方法和终端,在变焦倍率大于或者等于预设变焦倍率的情况下,可以使得终端在数字变焦得到与变焦倍率对应的目标图像时,减少目标图像的清晰度损失,提升目标图像质感。
第一方面,本申请提供了一种拍照方法,应用于包括摄像头的终端,所述终端显示的图像中包括G×H个像素,所述方法包括:所述摄像头基于一倍变焦倍率采集第一原图像;所述第一原图像中一列包括C×G个像素,一行包括C×H个像素;在确定拍摄场景的光照强度为高亮度场景,且变焦倍率大于或者等于预设变焦倍率C的情况下,所述终端基于所述预设变焦倍率对所述第一原图像进行第一裁剪得到第一裁剪图像,所述第一原图像与所述第一裁剪图像中的像素排布规律相同;所述第一裁剪图像中包括G×H个像素;所述终端对所述第一裁剪图像进行重新马赛克得到第一待处理图像;在所述变焦倍率大于所述预设变焦倍率的情况下,所述终端基于所述变焦倍率以及所述预设变焦倍率,对所述第一待处理图像进行第二裁剪得到第二裁剪图像,所述第二裁剪图像中包括的像素小于G×H个像素;所述终端基于所述第二裁剪图像进行增加像素的处理得到像素量标准图像,所述像素量标准图像中包括G×H个像素;在确定所述变焦倍率等于所述预设变焦倍率的情况下,所述终端将所述第一待处理图像作为所述像素量标准图像;在确定拍摄场景的光照强度为低亮度场景,或者所述变焦倍率大于等于所述一倍变焦倍率但是小于所述预设变焦倍率的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像;所述第二待处理图像包括G×H个像素;所述第二待处理图像中像素的排布规律与所述第一原图像不同;在所述变焦倍率大于所述一倍变焦倍率的情况下,所述终端基于所述变焦倍率对所述第二待处理图像进行裁剪得到第三裁剪图像,所述第三裁剪图像中包括的像素量小于所述第二裁剪图像中包括的像素量;所述终端基于所述第三裁剪图像进行增加像素的处理得到所述像素量标准图像;所述终端基于所述像素量标准图像进行处理得到目标图像。
上述实施例中,高亮度场景下,在变焦倍率为N时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图6C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括/>个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。摄像头基于一倍变焦倍率采集第一原图像也可以表述为摄像头采集第一原图像,该第一原图像中的内容与1倍变焦倍率(一倍变焦倍率)对应的取景内容相同。
结合第一方面,在一种实施方式中,所述摄像头基于一倍变焦倍率采集第一原图像,具体包括:在确定所述拍摄场景的动态范围为高动态范围的情况下,所述摄像头采取第一模式,采集的所述第一原图像中包括长曝光原图像以及短曝光原图像;在确定所述拍摄场景的动态范围为低动态范围的情况下,所述摄像头采取第二模式,采集的所述第一原图像中包括正常曝光原图像。
在一些实施例中,摄像头包括两种不同的模式(第一模式即是HDR模式,第二模式即是普通模式)。在拍摄场景的动态范围不同是使用不同的模式采集图像,进行后续处理得到目标图像。
结合第一方面,在一种实施方式中,在确定所述第一原图像中包括长曝光原图像以及短曝光原图像的情况下,所述终端基于所述预设变焦倍率对所述第一原图像进行第一裁剪得到第一裁剪图像,具体包括:所述终端基于所述预设变焦倍率对所述长曝光原图像进行第一裁剪得到裁剪后的长曝光原图像,以及,基于所述预设变焦倍率对所述短曝光原图像进行第一裁剪得到剪后的短曝光原图像;将所述裁剪后的长曝光原图像以及裁剪后的短曝光原图像作为第一裁剪图像。
结合第一方面,在一种实施方式中,在确定所述第一原图像中包括正常曝光原图像的情况下,所述终端基于所述预设变焦倍率对所述第一原图像进行第一裁剪得到第一裁剪图像,具体包括:所述终端基于所述预设变焦倍率对所述正常曝光原图像进行第一裁剪,得到裁剪后的正常曝光原图像;将所述裁剪后的正常曝光原图像作为第一图裁剪图像。
结合第一方面,在一种实施方式中,所述终端基于所述第一裁剪图像进行重新马赛克得到第一待处理图像,具体包括:所述终端将所述剪后的长曝光原图像进行重新马赛克得到第一长曝光拜尔图像,以及,将所述剪后的短曝光原图像进行重新马赛克得到第一短曝光拜尔图像;其中,所述第一长曝光拜尔图像以及所述第一短曝光拜尔图像中的内容与所述预设变焦倍率对应的取景范围相同;所述终端将所述第一长曝光拜尔图像以及所述第一短曝光拜尔图像进行融合得到第一待处理图像。
上述实施例中,长曝光原图像可以获取更多亮光下的图像细节,短曝光原图像可以获取更多暗光下的图像细节,第一长曝光拜尔图像是基于长曝光原图像生成,由于该长曝光原图像中包括更多亮光下的图像细节,则该第一长曝光拜尔图像中也可以保留更多亮光下的图像细节,第一短曝光拜尔图像是基于短曝光原图像生成,由于该短曝光原图像中包括更多暗光下的图像细节,则该第一短曝光拜尔图像中也可以保留更多暗光下的图像细节。则融合得到的第一待处理图像中既包括暗光下的图像细节,也包括亮光下的图像细节,这样可以使得该目标图像的明暗对比度强。
结合第一方面,在一种实施例中,所述终端基于所述第一裁剪图像进行重新马赛克得到第一待处理图像,具体包括:所述终端将所述剪后的正常曝光原图像进行重新马赛克得到第一正常曝光拜尔图像;所述第一正常曝光拜尔图像中的内容与所述预设变焦倍率对应的取景范围相同;所述终端将所述第一正常曝光拜尔图像作为第一待处理图像。
上述实施例中,拍摄场景为低动态范围的情况下,可以基于第一正常曝光原图像得到目标图像,不需要基于长曝光原图像以及短曝光原图像进行融合。使得最终的目标图像呈现低动态范围,符合拍摄场景。
结合第一方面,在一些实施例中,在确定所述第一原图像中包括长曝光原图像以及短曝光原图像的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像,具体包括:所述终于基于所述长曝光原图像进行像素合并得到第二长曝光拜尔图像,以及,基于所述短曝原光图像进行像素合并得到第二短曝光拜尔图像;其中,所述第二长曝光拜尔图像以及所述第二短曝光拜尔图像中的内容与所述一倍变焦倍率对应的取景范围相同;所述终端基于所述第二长曝光拜尔图像以及所述第二短曝光拜尔图像进行融合,得到所述第二待处理图像。
上述实施例中,长曝光原图像可以获取更多亮光下的图像细节,短曝光原图像可以获取更多暗光下的图像细节,第二长曝光拜尔图像是基于长曝光原图像生成,由于该长曝光原图像中包括更多亮光下的图像细节,则该第二长曝光拜尔图像中也可以保留更多亮光下的图像细节,第二短曝光拜尔图像是基于短曝光原图像生成,由于该短曝光原图像中包括更多暗光下的图像细节,则该第二短曝光拜尔图像中也可以保留更多暗光下的图像细节。则融合得到的第二待处理图像中既包括暗光下的图像细节,也包括亮光下的图像细节,这样可以使得该目标图像的明暗对比度强。
结合第一方面,在一些实施例中,在确定所述第一原图像中包括正常曝光原图像的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像,具体包括:所述终端基于所述正常曝光原图像进行像素合并得到第二正常曝光拜尔图像;其中,所述第二正常曝光拜尔图像中的内容与所述一倍变焦倍率对应的取景范围相同;所述终端将所述第二正常曝光拜尔图像作为所述第二待处理图像。
上述实施例中,拍摄场景为低动态范围的情况下,可以基于第二正常曝光原图像得到目标图像,不需要基于长曝光原图像以及短曝光原图像进行融合。使得最终的目标图像呈现低动态范围,符合拍摄场景。
结合第一方面,在一些实施例中,所述C等于2或者3。
结合第一方面,在一些实施例中,所述目标图像包括预览图像、拍摄图像或者缩略图像。
结合第一方面,在一些实施例中,所述裁剪后的长曝光原图像、所述裁剪后的短曝光原图像、所述裁剪后的正常曝光原图像、所述第二长曝光拜尔图像、所述第二短曝光拜尔图像以及所述第二正常曝光拜尔图像为所述摄像头获取的。
上述实施例中,所述裁剪后的长曝光原图像、所述裁剪后的短曝光原图像、所述裁剪后的正常曝光原图像、所述第二长曝光拜尔图像、所述第二短曝光拜尔图像以及所述第二正常曝光拜尔图像中包括的像素量都为G×H个像素,这样保证摄像头(相机)输出的图像尺寸不发生变化。
第二方面,本申请提供了一种电子设备,该电子设备包括:一个或多个处理器和存储器;该存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中,高亮度场景下,在变焦倍率为N时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图6C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括/>个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。
第三方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中,高亮度场景下,在变焦倍率为N时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图6C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括/>个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。
第四方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中,高亮度场景下,在变焦倍率为N时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图6C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括/>个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。
第五方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中,高亮度场景下,在变焦倍率为N时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括/>个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。
附图说明
图1示出了图像传感器通过感光单元获取传感器原图像的示意图;
图2示出了拜尔原图像的一个示意图;
图3示出了一种拍照系统的结构示意图;
图4-图5图示出了一种方案中终端通过数字变焦得到目标图像的示意图;
图6A-图6C示出了变焦倍率N大于预设变焦倍率C的情况下,通过数字变焦得到目标图像的示意图;
图7示出了高动态范围的情况下,终端基于长曝光原图像以及短曝光原图像获取待处理图像的示意图;
图8示出了终端在变焦倍率大于或者等于预设变焦倍率下进行数字变焦的示意性流程图;
图9示出了终端在变焦倍率大于或者等于1倍变焦倍率且小于预设变焦倍率下进行数字变焦的示意性流程图;
图10A-图10D示出了终端进行数字变焦的一组示例性用户界面;
图11A-图11F示出了变焦倍率N大于或者等于预设变焦倍率C时,拍照系统在进行数字变焦时的示意性模块交互图;
图12A以及图12B示出了变焦倍率等于1倍变焦倍率时,拍照系统在进行数字变焦时的示意性模块交互图;
图13是本申请实施例提供的终端的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于理解,下面先对本申请实施例涉及的相关术语及概念进行介绍。
(1)传感器原图像以及拜尔(bayer)原图像
终端在拍摄图像的过程中,首先获取传感器原图像,然后将其转化为拜尔原图像,再基于该拜尔原图像得到色彩空间下的图像,该色彩空间下的图像可以为RGB图像(RGB格式的图像)或者YUV图像(YUV格式的图像)等,不应该构成对本申请实施里的限定。本申请实施例以色彩空间下的图像为RGB图像为例进行说明。终端可以利用显示器显示该RGB图像,该显示在终端中的RGB图像符合人眼。该RGB图像为拍照过程中终端可以显示的图像,例如预览图像等。下文中为了便于叙述可以将该RGB图像称为可显示图像。
本申请实施例中,传感器原图像可以理解为图像传感器(sensor)输出的符合感光单元排布的图像。
其中,图像传感器中的感光单元为接收光照将其转化为电信号以形成图像的部件。要进一步理解感光单元,首先应该理解摄像头(camera)的组成。摄像头为终端中获取图像的装置,其中可以包括光学镜片(lens)以及图像传感器。图像传感器可以投射经过光学镜头的光学图像。图像传感器中包括A×B个感光单元(即感光单元包括A行B列个感光单元,宽为B个感光单元),该A×B个感光单元与光学镜头之间存在一个颜色滤波(colorfilter)装置时,感光单元获取的颜色信息(颜色信息即为不同颜色光照的强度)为通过该颜色滤波装置过滤后的颜色信息。感光单元排布可以理解为图像传感器的感光单元获取颜色信息的排布规律。其中颜色滤波装置又可以被称为颜色滤波阵列(color filter array,CFA),常见的颜色滤波阵列包括bayer颜色滤波阵列、quadra颜色滤波阵列(quadraCFA)等。
本申请实施例适用于感光单元与光学镜头之间存在的颜色滤波阵列为quadraCFA的情况。此时,图像传感器的感光单元排布规律为C×C个连续的感光单元获取的颜色信息相同。第一行感光单元中前两个C×C个连续的感光单元以及第二行感光单元中前两个C×C个连续的感光单元获取的颜色信息中有50%是绿色、25%是红色、25%是蓝色。其他感光单元依次重复按照该四个C×C个连续的感光单元排布。其中,C的取值范围大于或者等于2的正整数,例如可以2或者3等,不应该构成对本申请实施例的限定。
其中,绿色用于表示绿色光照强度,红色用于表示红色光照强度,蓝色用于表示蓝色光照强度。即不同颜色像素对应的取值范围可以为0-255之间的任一值。一个像素对应的像素值越大,则光照强度越大。
图1示出了图像传感器通过感光单元获取传感器原图像的示意图。
如图1中的(a)所示,以quadraCFA为2×2quadraCFA为例进行说明。此时,图像传感器中包括A×B个感光单元,第一行感光单元中第一个2×2个连续的感光单元获取的颜色信息为红色,第一行感光单元中第二个2×2个连续的感光单元获取的颜色信息为绿色。第二行感光单元中第一个2×2个连续的感光单元获取的颜色信息为绿色,第二行感光单元中第二个2×2个连续的感光单元获取的颜色信息为蓝色,其他感光单元依次重复排布。此时,图像传感器获取的传感器原图像(部分像素)可以参考图1中的(b)所示。传感器原图像中包括A×B个像素,其中,第i行第j列的像素包括的信息对应第i行第j列感光单元的颜色信息。每4×4个像素中有50%是绿色像素、25%是红色像素、25%是蓝色像素,且每2×2个连续的像素颜色相同。传感器原图像中,存在C×C个相邻的像素颜色相同,都为红色像素、绿色像素或者蓝色像素,即同一行或者同一列中存在C个相邻像素的颜色相同。
应该理解的是,不同颜色像素包括的信息为不同颜色光照的强度,可以称不同颜色像素包括的信息为该像素对应的颜色光照强度。例如一个绿色像素包括的信息可以称为绿色像素对应的绿色光照强度。
其中,2×2quadraCFA是指图像传感器的感光单元排布规律为2×2个连续的感光单元获取的颜色信息相同,即此时C等于2。当C等于3时,可以quadraCFA为3×3quadraCFA。
拜尔原图像为每2×2个像素中有50%是绿色像素,25%是红色像素,另外25%是蓝色像素的图像。
图2示出了拜尔原图像的一个示意图。
拜尔原图像中第一行的前两个像素以及第二行的前两个像素组成的四个像素中存在一个红色像素、一个蓝色像素和两个绿色像素,其他连续的2×2个像素排布规律与该四个像素相同。如图2所示,为拜尔原图像中部分像素的示意图,每2×2个像素中有一个红色像素、一个蓝色像素和两个绿色像素。
这里应该理解的是,这里记终端显示的图像中默认包括G列H行像素,即终端所显示的图像中默认包括G×H个像素。则图像传感器获取的传感器原图像中通常包括C2倍的G×H个像素,其中C为大于或者等于2的正整数,通常K可以取值为2或者3等。不构成对本申请实施例的限定。
为了便于叙述,下文中可以将传感器原图像简称为原图像。为了便于区分,可以将拜尔原图像简称为拜尔图像。
(2)拍照系统
终端的拍照系统用于将前述涉及的原图像转化为符合人眼的可显示图像。该拍照系统中包括但不限于决策模块、摄像头(camera)、图像信号处理器(image signalprocessor,ISP)以及后处理算法模块。
图3示出了一种拍照系统的结构示意图。
如图3所示,该拍照系统中包括决策模块、摄像头(camera)、图像信号处理器(image signal processor,ISP)以及后处理算法模块。
决策模块可以用于获取决策因子,基于决策因子向其他三个模块(包括摄像头、图像信号处理器以及处理算法模块)下发指令,该指令中携带了其他三个模块工作时涉及的参数。例如,决策因子可以包括数字变焦倍率、拍摄场景的光照强度以及拍摄场景的动态范围等。
其中,数字变焦倍率即为前述涉及的变焦倍率,下文中仍然可以将该数字变焦倍率简称为变焦倍率。
摄像头可以用于获取图像,该图像可以包括前述涉及的传感器原图像以及拜尔原图像。摄像头中主要包括光学镜片(lens)以及图像传感器。
在一些可能的情况下,该摄像头可以输出不同格式的原图像到其他模块(例如包括图像信号处理器以及后处理算法模块等模块),例如裁剪后的传感器原图像或者经传感器原图像处理得到的拜尔原图像。
其中,光学镜片能够让光线进入摄像头,并呈现在图像传感器上。不同的光学镜片对应的入射光线不同,从而可以使得终端的预览界面显示的取景范围不同。例如,广角摄像头的取景范围大,而相对长焦摄像头的取景范围窄,但图像清晰。
图像传感器可以用于投射经过光学镜片的光学图像,将其转化为传感器原图像。在一些可能的情况下,图像传感器还可以用于获取拜尔原图像。关于图像传感器、传感器原图像以及拜尔原图像的相关描述可以参考前述术语(1)中的示例性描述。图像传感器可以基于决策模块输入的参数进行获取图像的工作,例如基于决策模块输入的拍摄场景的光照强度确定曝光时间,然后采取该曝光时间获取传感器原图像。
图像信号处理器可以对摄像头输出的不同格式的原图像经过去马赛克(demoasic)处理得到RGB图像(RGB格式的图像),终端还可以将该RGB图像转化为YUV图像(YUV格式的图像)。
图像信号处理器(ISP)中可以包括ISP配置模块、ISP第一模块、ISP第二模块、ISP第三模块以及其他模块。
其中ISP配置模块可以用于接收决策模块输入工作时涉及的参数。然后将参数配置到ISP第一模块、ISP第二模块、ISP第三模块以及其他模块。使得ISP第一模块、ISP第二模块、ISP第三模块以及其他模块可以基于参数对图像进行处理。
ISP第一模块可以为ISP中处理预览图像的模块。该ISP第一模块可以接收摄像头输出的D帧图像,基于该摄像头输出的D帧图像进行处理得到预览图像。其中D为大于或者等于1的整数,例如D可以等于1或者2,本申请实施例对此不作限定。
ISP第二模块可以为ISP中处理拍摄图像的模块。该ISP第二模块可以基于摄像头输出的E帧图像,基于该摄像头输出的E帧图像进行处理得到拍摄图像。该E可以为大于或者等于1的正整数,例如可以为6、8、12或者16等,本申请实施例对此不作限定。
其中,拍摄图像是指检测到拍摄操作时终端获取的图像。该拍摄操作包括但不限于针对拍摄控件的操作、针对录像控件的操作以及一些定时拍摄的操作等。该拍摄图像可以存储在终端的相册中。
ISP第三模块可以为ISP中处理缩略图像的模块。该ISP第二模块可以基于摄像头输出的F帧图像,基于该摄像头输出的F帧像进行处理得到缩略图像。该F可以为大于或者等于1的正整数,例如可以为1或者2等,本申请实施例对此不作限定。
后处理算法模块可以与ISP第二模块进行交互,共同处理得到拍摄图像。后处理算法模块中包括的处理算法包括但不限于多帧降噪以及白平衡算法等。
通常来说,预览图像、拍摄图像以及缩略图像中包括的像素总量与终端显示的图像中默认包括的像素总量相同,为G列H行像素,即G×H个像素。例如,可以为4096×3072个像素。下面以终端显示的图像中默认包括G×H个像素为例对本申请进行描述。
在一种方案中,终端实现数字变焦得到与变焦倍率对应的目标图像的过程为:终端可以基于图像传感器获取的原图像进行像素合并,得到第一拜尔图像,将该第一拜尔图像作为待处理图像。然后基于变焦倍率将该待处理图像进行裁剪,得到裁剪后的图像。该裁剪后的图像中的内容与变焦倍率对应的取景范围相同。该裁剪后的图像中包括的像素少于G×H个像素,终端可以基于该裁剪后的图像进行上采样或者插值计算处理等增加像素的方式,得到对应变焦倍率的像素量标准图像,然后对该对应变焦倍率的像素量标准图像进行处理,得到目标图像。其中,该对应变焦倍率的像素量标准图像中包括G×H个像素,与终端所显示图像中默认包括的像素总量相同。该变焦倍率为大于1的变焦倍率。目标图像可以为前述涉及的预览图像、拍摄图像以及缩略图像中的一个或者多个。
其中,像素合并是指将原图像中全部C×C个连续且具有相同颜色信息的像素进行合并得到拜尔图像中的一个像素。其中,一个像素的颜色信息包括红色、蓝色以及绿色中的一个。
这里应该理解的是,第一拜尔图像中的内容与变1倍焦倍率对应的取景范围相同,则在变焦倍率为1倍变焦倍率时,终端将第一拜尔图像作为待处理图像,终端可以不对该待处理图像进行裁剪,直接基于该待处理图像作为与变焦倍率对应的图像进行处理即可得到目标图像。
图4-图5图示出了一种方案中终端通过数字变焦得到目标图像的示意图。
下面结合图4-图5对终端通过数字变焦得到对目标图像的详细描述可以参考下述内容。
前述过程中,终端基于图像传感器获取的原图像进行像素合并,得到第一拜尔图像的过程可以参考下述对图4的描述。
摄像头中的图像传感器获取的原图像中包括C2倍的G×H个像素。终端可以将图像传感器获取的原图像进行像素合并处理,得到第一拜尔图像,该第一拜尔图像中包括G×H个像素。这里以C等于2、G等于16、H等于12为例进行说明,其他取值可以参考相关描述,不构成对本申请实施例的限定。
如图4中的(a)所示,图像传感器获取的原图像中包括32×24个像素。对其中原图部分像进行像素合并的过程可以参考图4中的(b)。如图4中的(b)所示,终端可以将部分原图像中2×2个连续且具有相同颜色信息的像素进行合并,得到一个像素。例如,终端可以将该部分原图像中连续4个红色像素对应的红色光照强度相加作为第一拜尔图像中一个红色像素对应的红色光照强度。
应该理解的是,图4中的(b)是以部分原图像得到部分第一拜尔图像为例进行说明的,原图像的其他部分得到拜尔图像其他部分的过程可以参考此描述,此处不再赘述。
前述过程中,终端将第一拜尔图像作为待处理图像,基于变焦倍率将该待处理图像(包括G×H个像素)进行裁剪,得到裁剪后的图像。基于该裁剪后的图像进行上采样或者插值计算等处理等增加像素的方式,得到对应变焦倍率的像素量标准图像(包括G×H个像素)的过程可以参考下述对图5的描述。
这里记变焦倍率为N,第一拜尔图像中包括G×H个像素。将第一拜尔图像作为待处理图像,基于变焦倍率N对待处理图像进行裁剪,得到的裁剪后的图像中包括个像素。其中运算符/>表示对K进行向下取整,应该理解的是,这里除了向下取整以外,还可以采取向上取整,或者向上取整与向下取整的方式,例如行向上取整,列向下取整,不应该构成对本申请实施例的限定。
如图5所示,这里以2倍变焦倍率为例进行说明,在待处理图像中包括16×12个像素,变焦倍率为2倍变焦倍率的情况下,裁剪后的图像中可以包括8×6个像素。图5中示出的裁剪是以第一拜尔图像的中心为裁剪中心进行的。
然后,终端可以对裁剪后的图像进行上采样或者插值计算等处理得到包括16×12个像素的像素量标准图像,该像素量标准图像中的内容与变焦倍率对应的取景范围相同。再基于该像素量标准图像进行处理得到目标图像。其中,像素量标准图像中包括的像素总量与终端显示的图像中默认包括的像素总量相同。
应该理解的是,数字变焦得到与变焦倍率对应的目标图像的过程中。在变焦倍率N大于1的情况下,存在导致了像素量损失的裁剪操作,然后基于上采样或者插值计算等处理等增加像素的处理才得到了目标图像,则在N倍变焦倍率下得到的目标图像相比于1倍变焦倍率下得到的目标图像,清晰度会损失。
应该理解的是,变焦倍率越大,则裁剪后的图像与像素量标准图像之间相差的像素量越多,则在基于裁剪后的图像得到像素标准图像时需要经过算法处理(上采样或者插值计算等)增加的像素越多,则清晰度损失越大,终端获取的与变焦倍率对应的目标图像越模糊。
下文中,为了便于描述,可以将该方案中涉及的基于变焦倍率N在待处理图像上的裁剪称为合并型裁剪。此时,待处理图像是通过将原图像进行像素合并之后获取的。
应该理解的是,当变焦倍率为N倍变焦倍率时,终端进行数字变焦的过程,可以称为N倍变焦。
本申请实施例提供了一种拍摄方法,在变焦倍率大于或者等于预设变焦倍率的情况下,可以使得终端在数字变焦得到与变焦倍率对应的目标图像时,减少目标图像的清晰度损失,提升目标图像质感。
其中预设变焦倍率为C倍变焦倍率。C即为前述涉及的传感器原图像中同一行或者同一列中颜色信息相同且相邻的像素个数,通常可以为2或者3,也可以为其他值不应该构成对本申请实施例限定,关于C值的描述可以参考前述对图1中的(b)的描述,此处不再赘述。
在该方法中,终端确定变焦倍率N大于或者等于预设变焦倍率C的情况下,可以基于预设变焦倍率C对原图像进行一次裁剪,得到裁剪后的原图像,其中包括G×H个像素,该裁剪后的原图像中的内容与预设变焦倍率对应的取景范围相同。终端可以将裁剪后的原图像进行重新马赛克(remoasic)处理得到待处理图像,此时,该待处理图像为拜尔图像,该待处理图像中的内容与预设变焦倍率对应的取景范围相同,该待处理图像中包括G×H个像素。
进一步的,在变焦倍率N大于预设变焦倍率C的情况下,终端可以基于变焦倍率N以及预设变焦倍率C对待处理图像再次进行裁剪,得到再次裁剪后的图像。该再次裁剪后的图像中包括的像素少于G×H个像素,终端可以基于该再次裁剪后的图像进行上采样或者插值计算处理等增加像素的方式,得到对应变焦倍率的像素量标准图像。然后对该对应变焦倍率的像素量标准图像进行处理,得到目标图像。
在变焦倍率N等于预设变焦倍率C的情况下,由于待处理图像中的内容与预设变焦倍率对应的取景范围相同,则该待处理图像中的内容与变焦倍率N对应的取景范围也相同。则终端可以不再对该待处理图像进行裁剪,直接基于该待处理图像进行处理即可得到目标图像。
应该理解的是,在该方案中,终端基于数字变焦得到与变焦倍率对应的目标图像的过程不涉及像素合并。
为了便于叙述,下文中,可以将前述涉及的基于预设变焦倍率对原图像进行裁剪,得到裁剪后的原图像中涉及的裁剪称为非合并型裁剪。可以将基于变焦倍率N以及预设变焦倍率C对待处理图像再次进行裁剪,得到再次裁剪后的图像中涉及的裁剪称为二次裁剪。
图6A-图6C示出了变焦倍率N大于预设变焦倍率C的情况下,通过数字变焦得到目标图像的示意图。
为了便于理解,这里以N等于2.8,C等于2,G等于16,H等于12进行描述。这里应该理解的是,N等于2.8表示变焦倍率为2.8倍变焦倍率、C等于2表示预设变焦倍率为2倍变焦倍率。
如图6A所示,图像传感器获取的原图像中包括32×24个像素,即C2倍的G×H个像素。终端基于预设变焦倍率C对该原图像进行非合并型裁剪,得到裁剪后的原图像。该裁剪后的原图像中包括16×12个像素,即G×H个像素。该裁剪后的原图像中像素的排布规律与前述涉及的传感器原图像相同,即C×C个相邻的像素颜色相同。
如图6B所示,为进行重新马赛克处理的一个示意图,重新马赛克即是将原图像(传感器原图像)中的像素进行重排列,得到拜尔图像。例如,终端可以基于该裁剪后的图像(传感器原图像)进行重新马赛克处理,得到待处理图像,此时,该待处理图像为拜耳图像,其中包括16×12个像素,即G×H个像素。
然后,如图6C所示,终端可以基于预设变焦倍率以及变焦倍率对待处理图像进行二次裁剪,得到再次裁剪后的图像。该再次裁剪后的图像中包括的像素少于G×H个像素,具体可以包括12×8个像素,终端可以基于该再次裁剪后的图像进行上采样或者插值计算处理等增加像素的方式,得到对应变焦倍率的像素量标准图像。然后对该对应变焦倍率的像素量标准图像进行处理,得到目标图像。
基于前述图6A-图6C可知,在变焦倍率为N,N大于等于预设变焦倍率C时,终端进行数字变焦得到变焦倍率对应的目标图像时,会进行两次裁剪,包括非合并型裁剪以及二次裁剪。其中非合并型裁剪相当于作了C倍变焦,二次裁剪相当于作了倍变焦。具体的,基于前述图6A-图6B以及相关描述可知,终端基于原图像进行C倍变焦得到裁剪后的原图像中仍然包括G×H个像素,因此在基于该裁剪后的原图像得到待处理图像的过程不涉及通过上采样或者插值计算等增加像素的过程,则得到待处理图像没有分辨率的损失。基于前述图6C以及相关描述可知,在基于待处理图像进行/>倍变焦得到再次裁剪后的图像中可以包括 个像素,因此需要作经过算法处理(上采样或者插值计算等)增加像素得到像素标准图像。该过程由于存在基于上采样或者插值计算等处理等增加像素的处理,则会导致清晰度损失。但是相比于前述方案中涉及的基于合并型裁剪然后增加像素得到像素标准图像的方式,该方案中清晰度损失较小。其原因在于:该方案中在二次裁剪得到再次裁剪后的图像与像素量标准图像之间相差的像素量少于前述方案中合并型裁剪得到裁剪后的图像与像素量标准图像之间相差的像素量。因此该方案中得到像素标准图像时需要增加的像素少于前述方案,因此清晰度损失较小。
在一些可能的情况下,终端基于原图像进行非合并型裁剪以及二次裁剪得到目标图像的方式适用于拍摄场景为高亮度场景的情况下。然而,对于拍摄场景为低亮度场景或者变焦倍率N小于预设变焦倍率C的情况下,终端可以基于原图像进行合并型裁剪得到目标图像。
其中,终端基于原图像进行合并型裁剪以及二次裁剪得到目标图像的方式适用于拍摄场景为高亮度场景的原因在于:对比前述图4中的(b)以及图6B可知,在进行合并型裁剪时,终端是基于像素合并的方式得到待处理图像的。此时,终端可以将C×C个具有相同颜色信息的像素进行合并,得到一个像素,这个像素中包括的光照强度可以反映原图像中C×C个像素中包括的光照强度总和。在进行非合并型裁剪以及重新马赛克得到待处理图像,待处理图像中的一个像素包括的光照强度只可以反映原图像中一个像素中包括的光照强度。因此,非合并型裁剪得到的待处理图像A相比于合并型裁剪得到的待处理图像B发生了光照强度的损失,则基于待处理图像A得到的目标图像相比于基于待处理图像B得到的目标图像较暗。因此非合并型裁剪得到目标图像的方式可以在高亮度场景下使用。这样,拍摄场景的光照强度较强,可以有更多的光照通过光学镜片传递到图像传感器,使得图像传感器获取的原图像较明亮,防止目标图像过暗成像效果。
则终端对于拍摄场景为低亮度场景可以基于原图像进行合并型裁剪得到目标图像的原因可以参考前述描述,此处不再赘述。
在一些可能的情况下,在确定拍摄场景的动态范围为高动态范围的情况下,终端可以使用图像传感器获取长曝光原图像以及短曝光原图像。然后基于该长曝光原图像以及短曝光原图像进行数字变焦得到目标图像。在确定拍摄场景的动态范围为低动态范围的情况下,终端可以使用图像传感器获取正曝光原图像,基于该正曝光原图像做数字变焦得到目标图像,该过程的详细描述可以参见前述内容,此处不再赘述。
下面详细描述基于长曝光原图像以及短曝光原图像进行数字变焦得到目标图像的过程。
在变焦倍率N小于预设变焦倍率C的情况下,终端可以基于该长曝光原图像以及短曝光原图像分别采取像素合并的方式得到长曝光拜耳图像以及短曝光拜耳图像,然后基于该长曝光拜耳图像以及短曝光拜耳图像进行融合得到待处理图像。在基于该待处理图像做合并型裁剪以及上采样等操作得到目标图像。
在变焦倍率N大于或者等于预设变焦倍率C的情况下,终端可以基于该长曝光原图像以及短曝光原图像分别做非合并型裁剪得到裁剪后的长曝光原图像以及裁剪后的短曝光原图像,再分别基于该裁剪后的长曝光原图像以及裁剪后的短曝光原图像做重新马赛克处理得到长曝光拜耳图像以及短曝光拜耳图像,然后基于该长曝光拜耳图像以及短曝光拜耳图像进行融合得到待处理图像。再基于该待处理图像得到目标图像,例如,在变焦倍率N大于预设变焦倍率C的情况下,终端可以基于该待处理图像做二次裁剪以及上采样等处理得到目标图像。
综上所述,参考图7所示,在确定拍摄场景的动态范围为高动态范围的情况下,终端可以获取长曝光原图像以及短曝光原图像。然后分别基于长曝光原图像以及短曝光原图像得到长曝光拜耳图像以及短曝光拜耳图像,在基于进行融合得到待处理图像,最后再基于该待处理图像得到目标图像。应该理解的是,图7中示出的各个图像都是局部图像。
下文中,前述涉及的终端基于长曝光原图像以及短曝光原图像确定目标图像的方式可以被称为高动态范围(highdynamic range,HDR)处理。
应该理解的是,拍摄场景的动态范围为高动态范围可以表示为图像传感器的全部感光单元获取的光照强度分布范围较大。例如,光照强度最强的M个感光单元获取的光照强度均值以及光照强度最弱M个感光单元获取的光照强度均值之间大于或者等于第一范围阈值。其中,M为大于或者等于1的正整数。低动态范围是指图像传感器的全部感光单元获取的光照强度分布范围较小。例如,光照强度最强的M个感光单元获取的光照强度均值以及光照强度最弱M个感光单元获取的光照强度均值之间小于或者等于第一范围阈值。
长曝光原图像是指快门开启时间大于或者等于第一预设时间时图像传感器获取的原图像。短曝光原图像是指快门开启时间小于或者等于第二预设时间时图像传感器获取的原图像。其中,第一预设时间可以为9ms-12ms,例如,10ms,第二预设时间可以为2ms-5ms,例如3ms,实际情况中可以根据需要进行调整不应该构成对本申请实施例的限定。
其中,快门是控制光线进入摄像头时间长短,以决定图片曝光时间的装置。快门保持在开启状态的时间越长,进入摄像头的光线越多,图片的曝光时间越长。快门保持在开启状态的时间越短,进入摄像头的光线越少,图片的曝光时间越短。
应该理解的是,长曝光原图像可以获取更多亮光下的图像细节,短曝光原图像可以获取更多暗光下的图像细节,基于长曝光原图像以及短曝光原图像进行融合获取的目标图像中,既可以包括暗光下的图像细节,又可以包括亮光下的图像细节,则该目标图像的明暗对比度强,从而让目标图像呈现出高动态范围图像效果。
下文中,终端通过长曝光原图像以及短曝光原图像进行融合等处理获取的目标图像的过程可以被称为高动态范围处理。
综上所述,拍摄场景的动态范围为高动态范围的情况下,人眼观察到的拍摄场景明暗对比度强烈,但是终端很难通过一帧原图像就捕获到这种强烈的明暗对比度。因此可以通过前述涉及的高动态范围处理得到明暗对比度强烈的目标图像,提升图像质量。
综上所述,终端在不同的光照强度以及动态范围下,基于变焦倍率以及预设变焦倍率得到目标图像的方式不同。下述表1中示出了终端在不同的拍摄场景以及不同的变焦倍率下生成目标图像时涉及的处理方式。
表1
如表1所示,终端在不同的拍摄场景以及不同的变焦倍率下生成目标图像时涉及的处理方式,例如,在确定变焦倍率大于或者等于预设变焦倍率的情况下,终端可以基于非合并型裁剪确定目标图像。
下面以变焦倍率作为参考,对不同拍摄场景下终端基于变焦倍率以及预设变焦倍率得到目标图像的过程进行详细描述。
图8示出了终端在变焦倍率大于或者等于预设变焦倍率下进行数字变焦的示意性流程图。
S101.终端确定变焦倍率N,其中,变焦倍率与预设变焦倍率相同,即N等于C。
终端确定变焦倍率N的方式包括但不限于下述方式:
(1)确定变焦倍率控件对应的变焦倍率N,在检测到针对变焦倍率控件上选择变焦倍率的操作,终端可以重新确定变焦倍率N。
(2)按照一定周期频率获取变焦倍率控件对应的变焦倍率值N。例如,该周期频率可以为10ms-20ms。
在终端确定变焦倍率N大于或者等于预设变焦倍率的情况下,终端可以基于下述涉及的步骤S102-步骤S121进行数字变焦。
S102.终端确定拍摄场景的光照强度,基于该光照强度确定拍摄场景,该拍摄场景包括高亮度场景或者低亮度场景中的一个。
在终端确定拍摄场景的光照强度大于第一光照阈值的情况下,终端可以确定拍摄场景为高亮度场景。
在终端确定拍摄场景的光照强度小于第一光照阈值的情况下,终端可以确定拍摄场景为低亮度场景。
在终端确定拍摄场景的光照强度等于第一光照阈值的情况下,终端可以确定拍摄场景为高亮度场景也可以确定拍摄场景为低亮度场景。
其中,在一些可能的情况下,该第一光照阈值可以为20lux-25lux,例如20lux。
终端确定光照强度的方式包括但不限于以下方式:
(1)终端可以通过环境光传感器检测拍摄环境的光照强度。
(2)终端可以获取一帧原图像,统计该帧原图像中全部像素点的光照强度均值,将该光照强度均值作为拍摄场景的光照强度。
在终端确定拍摄场景的光照强度为高亮度场景的情况下,终端可以执行下述步骤S103-步骤S112以及步骤S121得到目标图像。
在终端确定拍摄场景的光照强度为低亮度场景的情况下,终端可以执行下述步骤S113-步骤S121得到目标图像。
S103.在确定拍摄场景为高亮度场景的情况下,终端获取拍摄场景的动态范围,该动态范围为低动态范围或者高动态范围中的一个。
动态范围是指拍摄环境中不同颜色光照强度的分布范围。其中,不同颜色光照强度的分布范围较大时拍摄场景的动态范围为高动态场景。不同颜色光照强度的分布范围较小时拍摄场景的动态范围为低动态场景。由于图像传感器可以获取不同颜色光照强度,则拍摄场景的动态范围为高动态范围可以表示为图像传感器的全部感光单元获取的光照强度分布范围。其中,图像传感器的全部感光单元获取的光照强度分布范围较大时拍摄场景的动态范围为高动态场景。图像传感器的全部感光单元获取的光照强度分布范围较小时拍摄场景的动态范围为低动态场景。
在一些可能的情况下,感光单元获取的光照强度可以表示为像素对应的像素值,则终端确定拍摄场景的动态范围的方式可以为:终端在拍摄环境下可以获取一帧原图像,统计该帧原图像中全部像素点的光照强度分布情况,一个像素点对应的像素值可以表示该像素点的光照强度,不同像素点对应的像素值的取值范围可以为0-255。在终端确定像素值最大的M个像素对应的像素值均值与像素值最小的M个像素对应的像素值均值之间大于或者等于第一范围阈值时,终端可以确定拍摄场景的动态范围为高动态范围。在终端确定像素值最大的M个像素对应的像素值均值与像素值最小的M个像素对应的像素值均值之间小于或者等于第一范围阈值时,终端可以确定拍摄场景的动态范围为低动态范围。其中,M为大于或者等于1的正整数。第一范围阈值的取值可以为155-255,例如200。这里以M为2,第一阈值范围为200为例对高动态范围以及低动态范围进行示例性说明:终端在拍摄环境下获取一帧原图像,确定该帧原图像中像素值最大的2个像素对应的像素值均值,例如均值为240。并且,确定该帧原图像中像素值最小的2个像素对应的像素值均值,例如均值为40。此时,终端确定240与40之间大于或者等于200,则终端确定拍摄环境为高亮度范围。
在终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为高动态范围的情况下,终端可以执行下述步骤S104。
在终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为低动态范围的情况下,终端可以执行下述步骤S107。
S104.在终端确定拍摄场景的动态范围为高动态范围的情况下,终端采用长曝光方式以及短曝光方式分别获取长曝光原图像以及短曝光原图像。
长曝光原图像是指快门开启时间大于或者等于第一预设时间时图像传感器获取的原图像。短曝光原图像是指快门开启时间小于或者等于第二预设时间时图像传感器获取的原图像。第一预设时间可以为9ms-12ms,例如,10ms,第二预设时间可以为2ms-5ms,例如3ms,实际情况中可以根据需要进行调整不应该构成对本申请实施例的限定。其中,长曝光原图像可以获取更多亮光下的图像细节,图像整体明亮。而短曝光原图像可以获取更多暗光下的图像细节,图像整体偏暗。
S105.基于长曝光原图像采取非合并型裁剪的方式获取裁剪后的长曝光原图像,以及,基于短曝光原图像采取非合并型裁剪的方式获取裁剪后的短曝光原图像,该非合并型裁剪是基于预设倍率对图像进行的裁剪。
基于前述内容可知,该长曝光原图像以及短曝光原图像中可以包括C2倍的G×H个像素,其中,原图像中一列包括C×G个像素,图像中的一行包括C×H个像素。
终端基于预设变焦倍率C对长曝光原图像进行非合并型裁剪,得到裁剪后的长曝光原图像。
在一种可能的情况下,终端可以基于预设变焦倍率C,以长曝光原图像的中心作为裁剪中心对该长曝光原图像进行裁剪,得到一帧列包括个像素,行包括/>个像素的裁剪后的长曝光原图像。即该裁剪后的长曝光原图像中包括G×H个像素(C行H列像素)。
终端对长曝光原图像进行非合并型裁剪的过程可以参考前述图6A及其相关内容的描述。将其中的原图像替换成长曝光原图像将裁剪后的原图像替换成裁剪后的长曝光原图像即可,此处不再赘述。
终端基于预设变焦倍率C对短曝光原图像进行非合并型裁剪,得到裁剪后的短曝光原图像。
在一种可能的情况下,终端可以基于预设变焦倍率C,以短曝光原图像的中心作为裁剪中心对该短曝光原图像进行裁剪,得到一帧列包括个像素,行包括/>个像素的裁剪后的短曝光原图像。即该裁剪后的短曝光原图像中包括G×H个像素(C行H列像素)。
终端对短曝光原图像进行非合并型裁剪的过程可以参考前述图6A及其相关内容的描述。将其中的原图像替换成短曝光原图像将裁剪后的原图像替换成裁剪后的短曝光原图像即可,此处不再赘述。
应该理解的是,该裁剪后的长曝光原图像以及该裁剪后的短曝光原图像中像素的排布规律与前述涉及的传感器原图像相同,即C×C个相邻的像素颜色相同。
S106.终端基于裁剪后的长曝光原图像以及裁剪后的短曝光原图像进行重新马赛克以及融合处理得到待处理图像。
首先,终端基于裁剪后的长曝光原图像进行重新马赛克得到长曝光拜耳图像,以及基于裁剪后的短曝光原图像进行重新马赛克得到短曝光拜耳图像。其中,该长曝光拜耳图像以及短曝光拜耳图像中包括G×H个像素。该长曝光拜耳图像以及短曝光拜耳图像中像素的排布规律与前述涉及的拜尔图像相同。
终端进行重新马赛克的过程可以参加前述图6B及其相关内容的描述,此处不再赘述。
然后,终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合得到待处理图像。该待处理图像中包括G×H个像素。
终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合得到待处理图像的过程可以参考前述对图7及其相关内容的描述,此处不再赘述。
应该理解的是,此时该长曝光拜尔图像以及短曝光拜尔图像中的内容与预设变焦倍率C对应的取景范围相同。长曝光拜尔图像是基于长曝光原图像生成,由于该长曝光原图像中包括更多亮光下的图像细节,则该长曝光拜尔图像中也可以保留更多亮光下的图像细节,短曝光拜尔图像是基于短曝光原图像生成,由于该短曝光原图像中包括更多暗光下的图像细节,则该短曝光拜尔图像中也可以保留更多暗光下的图像细节。则待处理图像中既包括暗光下的图像细节,也包括亮光下的图像细节,可以使得该目标图像的明暗对比度强。
S107.在终端确定拍摄场景的动态范围为低动态范围的情况下,终端获取正常曝光原图像。
正常曝光原图像是指快门开启时间小于前述涉及的第一预设时间但是大于前述涉及的第二预设时间时图像传感器获取的原图像。在一些可能的情况下,终端在获取正常曝光原图像的过程中可以采用默认曝光时间。
S108.终端基于正常曝光原图像采取非合并型裁剪的方式获取裁剪后的正常曝光原图像,非合并型裁剪是基于预设倍率对图像进行的裁剪。
基于前述内容可知,该正常曝光原图像中可以包括C2倍的G×H个像素。其中,正常曝光原图像中一列包括C×G个像素,正常曝光原图像中的一行包括C×H个像素。
终端基于预设变焦倍率C对正常曝光原图像进行非合并型裁剪,得到裁剪后的正常曝光原图像。
在一种可能的情况下,终端可以基于预设变焦倍率C,以正常曝光原图像的中心作为裁剪中心对该正常曝光原图像进行裁剪,得到一帧列包括个像素,行包括/>个像素的裁剪后的正常曝光原图像。即该裁剪后的正常曝光原图像中包括G×H个像素(C行H列像素)。
终端对正常曝光原图像进行非合并型裁剪的过程可以参考前述图6A及其相关内容的描述。将其中的原图像替换成正常曝光原图像将裁剪后的原图像替换成裁剪后的正常曝光原图像即可,此处不再赘述。
S109.终端基于裁剪后的正常曝光原图像进行重新马赛克处理得到待处理图像。
终端基于裁剪后的正常曝光原图像进行重新马赛克处理得到正常曝光拜耳图像,此时,该正常曝光拜尔图像中的内容与预设变焦倍率对应的取景范围相同。该正常曝光拜耳图像中像素的排布规律与前述涉及的拜尔图像相同。然后终端将该正常曝光拜耳图像作为待处理图像。
终端进行重新马赛克的过程可以参加前述图6B及其相关内容的描述,此处不再赘述。
S110.终端确定变焦倍率N是否等于预设变焦倍率C。
在终端确定变焦倍率N等于预设变焦倍率C的情况下,终端可以执行下述步骤S111以及步骤S121。
在终端确定变焦倍率N不等于预设变焦倍率C的情况下,即确定变焦倍率N大于预设变焦倍率C的情况下,终端可以执行下述步骤S112以及步骤S121。
S111.将该待处理图像作为对应变焦倍率的像素量标准图像。
对应变焦倍率的像素量标准图像是指包括的内容与变焦倍率N对应的取景范围相同的图像,其中包括G×H个像素。
在一些可能的情况下,该像素量标准图像中像素的排布规律与前述涉及的拜尔图像相同。
此时,待处理图像中的内容与预设变焦倍率C对应的取景范围相同,由于预设变焦倍率C等于变焦倍率N,则终端可以不再对其进行裁剪,将该待处理图像作为对应变焦倍率N的像素量标准图像。
S112.终端基于待处理图像进行二次裁剪以及上采样获取对应变焦倍率的像素量标准图像,该二次裁剪是基于变焦倍率以及预设倍率对图像进行的裁剪。
首先,终端可以基于变焦倍率N以及预设变焦倍率C对待处理图像进行二次裁剪,得到再次裁剪后的图像。具体的,终端以待处理图像的中心作为裁剪中心对该待处理图像进行裁剪,实现倍变焦得到再次裁剪后的图像,该再次裁剪后的图像中可以包括个像素。应该理解的是,这里除了向下取整以外,还可以采取向上取整,或者向上取整与向下取整的方式,例如行向上取整,列向下取整,不应该构成对本申请实施例的限定。
该再次裁剪后的图像中的内容与变焦倍率N对应的取景范围相同,但是,该再次裁剪后的图像中包括的像素可以为个像素(少于G×H个像素),终端可以基于该再次裁剪后的图像进行上采样处理增加像素,得到对应变焦倍率的像素量标准图像,其中包括G×H个像素。
应该理解的是,这里除了基于上采样的方式增加像素得到像素量标准图像以外,终端还可以基于其他的方式增加像素,例如像素插值等方式。
步骤S112中涉及的过程可以参考前述对图6C及其相关内容的描述,此处不再赘述。
在基于步骤S11或者步骤S121确定像素标准图像之后,终端可以基于该像素标准图像进行处理得到对应变焦倍率的目标图像,具体过程可以参考下述对步骤S121,此处暂不赘述。
S113.在确定拍摄场景为低亮度场景的情况下,终端获取拍摄场景的动态范围,该动态范围为低动态范围或者高动态范围中的一个。
关于动态范围的相关描述可以参加前述步骤S102中的相关内容,此处不再赘述。
在终端确定拍摄场景为低亮度场景且拍摄场景的动态范围为高动态范围的情况下,终端可以执行下述步骤S114。
在终端确定拍摄场景为低亮度场景且拍摄场景的动态范围为低动态范围的情况下,终端可以执行下述步骤S117。
S114.在终端确定拍摄场景的动态范围为高动态范围的情况下,终端采用长曝光方式以及短曝光方式分别获取长曝光原图像以及短曝光原图像。
步骤S114中涉及的内容与前述步骤S104中涉及的内容相同,可以参加前述步骤S104中的相关描述,此处不再赘述。
S115.终端基于长曝光原图像采取像素合并的方式获取长曝光拜尔图像,以及,基于短曝光原图像采取像素合并的方式获取短曝光拜尔图像。
像素合并是指将原图像中全部C×C个连续且具有相同颜色信息的像素进行合并得到拜尔图像中的一个像素。
这里终端可以将长曝光原图像中的全部C×C个连续且具有相同颜色信息的像素进行合并得到长曝光拜尔图像。以及,可以将短曝光原图像中的全部C×C个连续且具有相同颜色信息的像素进行合并得到短曝光拜尔图像。
其中,该长曝光拜耳图像以及短曝光拜耳图像中包括G×H个像素。该长曝光拜耳图像以及短曝光拜耳图像中像素的排布规律与前述涉及的拜尔图像相同。
该步骤S115中涉及的内容还可以参考前述对图4及其相关内容的描述,此处不再赘述。
S116.终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合处理得到待处理图像。
然后,终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合得到待处理图像。该待处理图像中包括G×H个像素。
终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合得到待处理图像的过程可以参考前述对图7及其相关内容的描述,此处不再赘述。
该步骤S116中涉及的内容还可以参考前述对图7及其相关内容的描述,此处不再赘述。
长曝光拜尔图像是基于长曝光原图像生成,由于该长曝光原图像中包括更多亮光下的图像细节,则该长曝光拜尔图像中也可以保留更多亮光下的图像细节,短曝光拜尔图像是基于短曝光原图像生成,由于该短曝光原图像中包括更多暗光下的图像细节,则该短曝光拜尔图像中也可以保留更多暗光下的图像细节。则待处理图像中既包括暗光下的图像细节,也包括亮光下的图像细节,可以使得该目标图像的明暗对比度强。
与前述步骤S106中涉及的长曝光拜尔图像以及短曝光拜尔图像不同,该步骤S116中涉及的长曝光拜尔图像以及短曝光拜尔图像没有被裁剪,则此时长曝光拜尔图像以及短曝光拜尔图像中的内容与1倍变焦倍率对应的取景范围相同。
S117.在终端确定拍摄场景的动态范围为低动态范围的情况下,终端获取正常曝光原图像。
该步骤S117中涉及的内容与步骤S107中涉及的内容相同,可以参考前述步骤S107中相关内容的描述,此处不再赘述。
S118.终端基于正常曝光原图像采取像素合并的方式获取正常曝光拜尔图像。
基于前述内容可知,该正常曝光原图像中可以包括C2倍的G×H个像素。其中,正常曝光原图像中一列包括C×G个像素,正常曝光原图像中的一行包括C×H个像素。
这里终端可以将正常曝光原图像中的全部C×C个连续且具有相同颜色信息的像素进行合并得到正常曝光拜尔图像。
其中,该正常曝光拜耳图像中包括G×H个像素。该正常曝光拜耳图像中像素的排布规律与前述涉及的拜尔图像相同。
该步骤S115中涉及的内容还可以参考前述对图4及其相关内容的描述,此处不再赘述。
S119.终端将该正常曝光拜尔图像作为待处理图像。
步骤S119中得到的待处理图像中的内容与1倍变焦倍率对应的取景范围相同。其中包括G×H个像素。
S120.终端基于待处理图像进行合并型裁剪以及上采样处理得到对应变焦倍率的像素量标准图像,该合并型裁剪是基于变焦倍率对图像进行的裁剪。
首先,终端可以基于变焦倍率N对该待处理图像进行合并型裁剪得到裁剪后的图像。具体的,终端以待处理图像的中心作为裁剪中心对该待处理图像进行裁剪,实现N倍变焦得到该裁剪后的图像,该裁剪后的图像中可以包括个像素。应该理解的是,这里除了向下取整以外,还可以采取向上取整,或者向上取整与向下取整的方式,例如行向上取整,列向下取整,不应该构成对本申请实施例的限定。
该裁剪后的图像中的内容与变焦倍率N对应的取景范围相同,但是,该裁剪后的图像中包括的像素可以为个像素(少于G×H个像素),终端可以基于该裁剪后的图像进行上采样处理增加像素,得到对应变焦倍率的像素量标准图像,其中包括G×H个像素。
应该理解的是,这里除了基于上采样的方式增加像素得到像素量标准图像以外,终端还可以基于其他的方式增加像素,例如像素插值等方式。
该步骤S120中涉及的内容可以参考前述对图5及其相关内容的描述,此处不再赘述。
S121.终端基于像素量标准图像进行处理得到目标图像。
该目标图像可以为前述涉及的预览图像、拍摄图像以及缩略图像。
该像素量标准图像中包括的内容与变焦倍率N对应的取景范围相同,其中包括G×H个像素。
在一些可能的情况下,该像素量标准图像中像素的排布规律与前述涉及的拜尔图像相同。即该像素量标准图像是拜尔图像。
终端可以基于该像素量标准图像进行去马赛克处理得到RGB图像。
在一些可能的情况下,终端可以基于该RGB图像转化为YUV图像,作为目标图像。
在一些可能的情况下,当目标图像为拍摄图像时,终端还可基于该RGB图像进行多帧降噪、白平衡等处理优化图像质量,再转化为YUV图像,作为目标图像。
应该理解的是,前述步骤S103与步骤S113之间的执行顺序没有先后之分。
图9示出了终端在变焦倍率大于或者等于1倍变焦倍率且小于预设变焦倍率下进行数字变焦的示意性流程图。
S201.终端确定变焦倍率N,变焦倍率N大于或者等于1且小于预设变焦倍率C。
对步骤S201的描述可以参考前述步骤S101中相关内容的描述,此处不再赘述。
S202.终端获取拍摄场景的动态范围,该动态范围为低动态范围或者高动态范围中的一个。
在拍摄场景的动态范围为高动态范围的情况下,终端可以执行下述步骤S203-步骤S205以及步骤S209-步骤S212。
在拍摄场景的动态范围为低动态范围的情况下,终端可以执行下述步骤S206-步骤S212。
这里应该理解的是,在变焦倍率大于或者等于1倍变焦倍率且小于预设变焦倍率C的情况下,终端在得到目标图像的过程中始终不会进行非合并型裁剪,则此处可以不考虑拍摄场景的光照强度为高亮度场景还是低亮度场景。只需要根据取拍摄场景的动态范围来确定进行数字变焦的方式。
S203.在确定拍摄场景的动态范围为高动态范围的情况下,终端采用长曝光方式以及短曝光方式分别获取长曝光原图像以及短曝光原图像。
步骤S203中涉及的内容与前述步骤S114中的内容相同,可以参考前述对步骤S114的描述,此处不再赘述。
S204.终端基于长曝光原图像采取像素合并的方式获取长曝光拜尔图像,以及,基于短曝光原图像采取像素合并的方式获取短曝光拜尔图像。
步骤S204中涉及的内容与前述步骤S115中的内容相同,可以参考前述对步骤S115的描述,此处不再赘述。
S205.终端基于长曝光拜尔图像以及短曝光拜尔图像进行融合处理得到待处理图像。
步骤S205中涉及的内容与前述步骤S116中的内容相同,可以参考前述对步骤S116的描述,此处不再赘述。
S206.在确定拍摄场景的动态范围为低动态范围的情况下,终端获取正常曝光原图像。
步骤S206中涉及的内容与前述步骤S117中的内容相同,可以参考前述对步骤S117的描述,此处不再赘述。
S207.终端基于正常曝光原图像采取像素合并的方式获取正常曝光拜尔图像。
步骤S207中涉及的内容与前述步骤S118中的内容相同,可以参考前述对步骤S118的描述,此处不再赘述。
S208.终端将该正常曝光拜尔图像作为待处理图像。
步骤S208中涉及的内容与前述步骤S119中的内容相同,可以参考前述对步骤S119的描述,此处不再赘述。
S209.终端确定变焦倍率N是否等于1倍变焦倍率。
在终端确定变焦倍率N等于1倍变焦倍率的情况下,终端可以执行下述步骤S210以及步骤S212。
在终端确定变焦倍率N不等于1倍变焦倍率的情况下,即确定变焦倍率N大于1倍变焦倍率且小于预设变焦倍率C的情况下,终端可以执行下述步骤S211以及步骤S212。
S210.终端将待处理图像作为与变焦倍率对应的像素量标准图像。
对应变焦倍率的像素量标准图像是指包括的内容与变焦倍率N对应的取景范围相同的图像,其中包括G×H个像素,此时像素量标准图像中的内容与1倍变焦倍率对应的取景范围相同。
在一些可能的情况下,该像素量标准图像中像素的排布规律与前述涉及的拜尔图像相同。
S211.终端基于待处理图像进行合并型裁剪以及上采样获取对应变焦倍率的像素量标准图像,合并型裁剪是基于变焦倍率对图像进行的裁剪。
步骤S211中涉及的内容与前述步骤S120中的内容相同,可以参考前述对步骤S120的描述,此处不再赘述。
S212.终端基于像素量标准图像进行处理得到目标图像。
步骤S212中涉及的内容与前述步骤S121中的内容相同,可以参考前述对步骤S121的描述,此处不再赘述。
应该理解的是,前述步骤S203与步骤S206之间的执行顺序没有先后之分。
图10A-图10D示出了终端进行数字变焦的一组示例性用户界面。
如图10A所示,终端可以显示用户界面10,该用户界面10为终端的一个桌面。该用户界面10中显示有相机应用图标101。终端可以检测到用户作用于相机应用图标101上的操作(例如单击操作),响应于该操作,终端启动相机且可以显示如图10B所示的用户界面11。
如图10B所示,用户界面11为终端进行拍摄时的一个示意性用户界面,该用户界面11中包括变焦倍率控件111、变焦倍率增加控件112以及变焦倍率减小控件113。其中,该变焦倍率控件111可以接收改变变焦倍率的指令以及提示用户终端当前的变焦倍率是多少。变焦倍率增加控件112用于接收增加变焦倍率的指令。变焦倍率减小控件113用于接收减小变焦倍率的指令。此时,终端采取的变焦倍率为1倍变焦倍率,用户界面11中显示的预览图像为图像110。
响应于用户在变焦倍率控件111上的向上滑动操作,终端可以增大变焦倍率,例如此处,终端将变焦倍率从1倍变焦倍率增加到2倍变焦倍率。此时,终端可以显示如下述图10C中示出的用户界面12。
如图10C所示,该用户界面12中包括拍摄控件121,该拍摄控件121可以用于接收获取拍摄图像的指令,此时,终端拍摄图像时采用的变焦倍率为2倍变焦倍率,用户界面12中显示的预览图像为图像120。该图像120中包括的内容相比于图像110变得更大且内容更少,这是因为终端对图像进行了数字变焦实现的。
响应于针对拍摄控件121的操作,终端可以获取拍摄图像。同时得到拍摄图像的缩略图。显示下述图10D中示出的用户界面13。
如图10C所示,用户界面13中可以包括缩略图显示框131,其中包括缩略图。应该理解的是,拍摄图像可以在相册中进行查看。
图11A-图11F示出了变焦倍率N大于或者等于预设变焦倍率C时,拍照系统在进行数字变焦时的示意性模块交互图。
图11A示出了在变焦倍率N等于预设变焦倍率C的情况下,终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为高动态范围时,终端采取非合并型裁剪结合高动态范围处理的方式得到目标图像的过程。在该类型的过程中,相机可以持续获取长曝光原图像以及短曝光原图像以使得终端可以基于该长曝光原图像以及短曝光原图像进行处理(包括非合并型裁剪)得到目标图像。相机采集长曝光原图像以及短曝光原图像并进行合并型裁剪的操作是在高动态范围(HDR)模式(第一模式)下执行的。即在终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为高动态范围时,相机即可在HDR模式下采集长曝光原图像以及短曝光原图像并进行非合并型裁剪之后输出图像。
在一些可能的情况下,相机执行的操作是图像传感器在执行,对相机的描述作为对图像传感器的描述,将相机更改为图像传感器即可。
在一些可能的情况下,也可以将相机采集长曝光原图像以及短曝光原图像的模式称为高动态范围(HDR)模式(第一模式)。
参考图11A,其中,预览图像处理模块可以为前述涉及的ISP第一模块、拍摄图像处理模块可以为前述涉及的ISP第二模块、缩略图像处理模块可以为前述涉及的ISP第三模块。各模块的相关介绍可以参考前述图3中对各模块的介绍,此处不再赘述。
在终端进入相机应用之后,决策模块确定获取目标图像时涉及的决策因子,基于该决策因子向相机、ISP、后处理算法下发按照决策因子获取目标图像的指令。其中,该决策因子中可以包括此时变焦倍率N等于预设变焦倍率C,且拍摄场景为高亮度场景且拍摄场景的动态范围为高动态范围。
相机可以持续获取长曝光原图像以及短曝光原图像,基于该长曝光原图像以及短曝光原图像分别作非合并型裁剪得到裁剪后的长曝光原图像以及裁剪后的短曝光原图像。
相机可以将裁剪后的长曝光原图像以及裁剪后的短曝光原图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
应该理解的是,此时,相机输出的裁剪后的长曝光原图像以及裁剪后的短曝光原图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该长曝光拜尔图像以及短曝光拜尔图像中的内容与预设倍变焦倍率C对应的取景范围相同。
预览图处理模块A可以基于裁剪后的长曝光原图像进行重新马赛克得到长曝光拜尔图像,以及基于裁剪后的短曝光原图像(G×H个像素)进行重新马赛克得到短曝光拜耳图像(G×H个像素)。然后将该长曝光拜耳图像以及短曝光拜尔图像输出到预览图处理模块B。预览图处理模块B可以基于该长曝光拜耳图像以及短曝光拜尔图像进行融合处理得到待处理图像。
在一些可能的情况下,该预览图处理模块B可以将该待处理图像输出到预览图处理模块C中。该预览图处理模块C可以基于该待处理图像进行处理得到预览图像。
缓存模块中可以存储V帧裁剪后的长曝光原图像以及V帧裁剪后的短曝光原图像。其中,V为大于或者等于1的正整数,通常V的取值可以为6-8,例如6。
应该理解的是,相机获取的第i帧长曝光原图像与获取的第i帧短曝光原图像对应,基于第i帧长曝光原图像确定的裁剪后的长曝光原图像可以被称为第i帧裁剪后的长曝光原图像。以及基于第i帧短曝光原图像所确定的裁剪后的短曝光原图像可以被称为第i帧裁剪后的短曝光原图像。第i帧裁剪后的长曝光原图像与第i帧裁剪后的短曝光原图像相对应,可以称为一对图像。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的X帧裁剪后的长曝光原图像以及X帧裁剪后的长曝光原图像分别进行重新马赛克,得到X帧长曝光拜耳图像以及X帧短曝光拜耳图像。将该X帧长曝光拜耳图像以及X帧短曝光拜耳图像传输到拍摄图处理模块B,其中,第i帧长曝光拜耳图像与第i帧短曝光拜尔图像对应。X的取值范围为大于或者等于1小于或者等于V的整数。其中,第i帧长曝光拜耳图像是基于第第i帧裁剪后的长曝光原图像生成的,第i帧短曝光拜耳图像是基于第第i帧裁剪后的短曝光原图像生成的。
拍摄图处理模块B可以将对应的长曝光拜尔图像以及短曝光拜尔图像进行融合,得到X帧待处理图像。将该X帧待处理图像传输至拍摄图处理模块C或者后处理算法模块中。
后续该拍摄图处理模块C或者后处理算法模块可以基于该X帧待处理图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧裁剪后的长曝光原图像以及Y帧裁剪后的长曝光原图像分别进行重新马赛克,得到Y帧长曝光拜耳图像以及Y帧短曝光拜耳图像。将该Y帧长曝光拜耳图像以及Y帧短曝光拜耳图像传输到拍摄图处理模块B,其中,第i帧长曝光拜耳图像与第i帧短曝光拜尔图像对应。Y的取值范围为大于或者等于1小于或者等于V的整数。
缩略图处理模块B可以将对应的长曝光拜尔图像以及短曝光拜尔图像进行融合,得到Y帧待处理图像。将该Y帧待处理图像传输至缩略图处理模块C。
后续该缩略图处理模块C可以基于该Y帧待处理图像进行处理得到缩略图像。
图11B示出了在变焦倍率N等于预设变焦倍率C的情况下,在终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为低动态范围时,终端采取非合并型裁剪的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11A及其相关内容的描述,此处不再赘述。
在终端进入相机应用之后,决策模块确定获取目标图像时涉及的决策因子,基于该决策因子向相机、ISP、后处理算法下发按照决策因子获取目标图像的指令。其中,该决策因子中可以包括此时变焦倍率N等于预设变焦倍率C,且拍摄场景为高亮度场景且拍摄场景的动态范围为低动态范围。在该类型的过程中,相机可以持续获取正常曝光原图像以使得终端可以执行后续基于该长曝光原图像以及短曝光原图像处理得到目标图像。相机采集正常曝光原图像的操作是在普通(normal)模式(第二模式)下执行的。即在终端确定拍摄场景的动态范围为低动态范围时,相机即可在普通模式下采集正常曝光原图像并进行合并型裁剪后输出图像,也即是说相机在采集正常曝光原图像的模式成为普通模式(第一模式)。
相机可以持续获取正常曝光原图像,基于该正常曝光原图像作非合并型裁剪得到裁剪后的正常曝光原图像。相机输出的裁剪后的正常曝光原图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该正常曝光拜尔图像中的内容与预设变焦倍率C对应的取景范围相同。
相机可以将裁剪后的正常曝光原图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
预览图处理模块A可以基于裁剪后的正常曝光原图像进行重新马赛克得到正常曝光拜尔图像(G×H个像素)。然后将该正常曝光拜耳图像输出到预览图处理模块B或者预览图处理模块C。该预览图处理模块B或者预览图处理模块C可以基于该待处理图像进行处理得到预览图像。
缓存模块中可以存储V帧裁剪后的正常曝光原图像。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的Z帧裁剪后的正常曝光原图像分别进行重新马赛克,得到Z帧正常曝光拜耳图像。将该Z帧正常曝光拜耳图像传输到拍摄图处理模块B。Z的取值范围为大于或者等于1小于或者等于V的整数。
拍摄图处理模块B可以将Z帧正常曝光拜尔图像作为Z帧待处理图像。将该Z帧待处理图像传输至预览图处理模块C或者后处理算法模块中。
后续该预览图处理模块C或者后处理算法模块可以基于该Z帧待处理图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧裁剪后的正常曝光原图像分别进行重新马赛克,得到Y帧正常曝光拜耳图像。将该Y帧正常曝光拜耳图像传输到拍摄图处理模块B。
缩略图处理模块B可以将Y帧正常曝光拜尔图像作为Y帧待处理图像。将该Y帧待处理图像传输至预览图处理模块C。
后续该预览图处理模块C可以基于该Y帧待处理图像进行处理得到缩略图像。
图11C示出了在变焦倍率N大于预设变焦倍率C的情况下,终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为高动态范围时,终端采取非合并型裁剪结合高动态范围处理的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11A及其相关内容的描述,此处不再赘述。
图11C中,相机基于长曝光原图像以及短曝光原图像进行非合并型裁剪输出裁剪后的长曝光原图像以及裁剪后的短曝光原图像到预览图像处理模块以及缓存模块的过程。以及预览图像处理模块、拍摄图像处理模块以及缩略图像处理模块确定基于裁剪后的长曝光原图像以及裁剪后的短曝光原图像生成待处理图像的过程可以参考前述对图11A的描述,此处不再赘述。
预览图处理模块B可以将待处理图像输出到预览图处理模块C中,预览图处理模块C可以基于该待处理图像进行二次裁剪以及上采样生成对应变焦倍率N的像素量标准图像。再基于该像素量标准图像进行处理得到预览图像。
拍摄图处理模块B可以将X帧待处理图像传输至后处理算法模块中。后处理算法模块可以分别基于该X帧待处理图像进行二次裁剪以及上采样获取X帧像素量标准图像。再结合后处理算法对该X帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图处理模块B可以将Y帧待处理图像传输至缩略图处理模块C。缩略图处理模块C可以基于该Y帧待处理图像对进行二次裁剪以及上采样生成应变焦倍率N的像素量标准图像。再基于该像素量标准图像进行处理得到预览图像。
图11D示出了在变焦倍率N大于预设变焦倍率C的情况下,在终端确定拍摄场景为高亮度场景且拍摄场景的动态范围为低动态范围时,终端采取非合并型裁剪的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11B及其相关内容的描述,此处不再赘述。
图11D中,相机基于长曝光原图像以及短曝光原图像进行非合并型裁剪输出裁剪后的长曝光原图像以及裁剪后的短曝光原图像到预览图像处理模块以及缓存模块的过程。以及预览图像处理模块、拍摄图像处理模块以及缩略图像处理模块确定基于裁剪后的长曝光原图像以及裁剪后的短曝光原图像生成待处理图像的过程可以参考前述对图11B的描述,此处不再赘述。
预览图处理模块C可以基于该待处理图像进行二次裁剪以及上采样生成对应变焦倍率N的像素量标准图像。再基于该像素量标准图像进行处理得到预览图像。
拍摄图处理模块B可以将Z帧待处理图像传输至后处理算法模块中。后处理算法模块可以分别基于该Z帧待处理图像进行二次裁剪以及上采样获取Z帧像素量标准图像。再结合后处理算法对该Z帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图处理模块B可以将Y帧待处理图像传输至缩略图处理模块C。缩略图处理模块C可以基于该Y帧待处理图像对进行二次裁剪以及上采样生成应变焦倍率N的像素量标准图像。再基于该像素量标准图像进行处理得到预览图像。
图11E示出了在变焦倍率N大于或者等于预设变焦倍率C的情况下,终端确定拍摄场景的动态范围为高动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),终端采取非合并型裁剪结合高动态范围处理的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11A及其相关内容的描述,此处不再赘述。
图11E中,相机可以持续获取长曝光原图像以及短曝光原图像,基于该长曝光原图像以及短曝光原图像分别作像素合并得到长曝光拜尔图像以及短曝光拜尔图像。
相机可以将长曝光拜尔图像以及短曝光拜尔图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
应该理解的是,此时,相机输出的长曝光拜尔图像以及短曝光拜尔图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该长曝光拜尔图像以及短曝光拜尔图像中的内容与1倍变焦倍率对应的取景范围相同。
预览图处理模块A可以基于该长曝光拜尔图像以及短曝光拜尔图像进行融合处理得到待处理图像。
在一些可能的情况下,该预览图处理模块A可以将该待处理图像输出到预览图处理模块B或者预览图处理模块C中。该预览图处理模块B或者预览图处理模块C可以基于该待处理图像进行合并型裁剪以及上采样处理得到与变焦倍率的像素量标准图像,在基于该像素量标准图像进行其他处理得到预览图像。
缓存模块中可以存储V帧长曝光拜尔图像以及V帧短曝光拜尔图像。其中,V为大于或者等于1的正整数,通常V的取值可以为6-8,例如6。
应该理解的是,相机获取的第i帧长曝光原图像与获取的第i帧短曝光原图像对应,基于第i帧长曝光原图像确定的长曝光拜尔图像可以被称为第i帧长曝光拜尔图像。以及基于第i帧短曝光原图像所确定的短曝光拜尔图像可以被称为第i帧短曝光拜尔图像。第i帧长曝光拜尔图像与第i帧短曝光拜尔图像相对应,可以称为一对图像。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的X帧长曝光拜尔图像以及X帧短曝光拜尔图像中对应长曝光拜尔图像以及短曝光拜尔图像进行融合,得到X帧待处理图像。
该拍摄图处理模块A可以将该X帧待处理图像传输至后处理算法模块,该后处理算法模块可以基于该X帧待处理图像进行合并型裁剪以及上采样得到X帧对应变焦倍率的像素量标准图像。再基于该X帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧长曝光拜尔图像以及Y帧短曝光拜尔图像中对应长曝光拜尔图像以及短曝光拜尔图像进行融合,得到Y帧待处理图像。
该缩略图处理模块A可以将该Y帧待处理图像传输至缩略图处理模块B或者缩略图处理模块C,该缩略图处理模块B或者缩略图处理模块C可以基于该Y帧待处理图像进行合并型裁剪以及上采样得到Y帧对应变焦倍率的像素量标准图像。再基于该Y帧像素量标准图像进行处理得到缩略图像。
图11F示出了在变焦倍率N大于或者等于预设变焦倍率C的情况下,且终端确定拍摄场景的动态范围为低动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),终端采取非合并型裁剪结合高动态范围处理的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11B及其相关内容的描述,此处不再赘述。
如图11F中,相机可以持续获取正常曝光原图像,基于该正常曝光原图像作像素合并得到正常曝光拜尔图像。
相机可以将正常曝光拜尔图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
应该理解的是,此时,相机输出的正常曝光拜尔图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该正常曝光拜尔图像中的内容与1倍变焦倍率对应的取景范围相同。
预览图处理模块A可以将该正常曝光拜尔图像作为待处理图像。
在一些可能的情况下,该预览图处理模块A可以将该待处理图像输出到预览图处理模块B或者预览图处理模块C中。该预览图处理模块B或者预览图处理模块C可以基于该待处理图像进行合并型裁剪以及上采样处理得到与变焦倍率的像素量标准图像,在基于该像素量标准图像进行其他处理得到预览图像。
缓存模块中可以存储V帧正常曝光拜尔图像。其中,V为大于或者等于1的正整数,通常V的取值可以为6-8,例如6。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的X帧正常曝光拜尔图像,将其作为X帧待处理图像。
该拍摄图处理模块A可以将该X帧待处理图像传输至后处理算法模块,该后处理算法模块可以基于该X帧待处理图像进行合并型裁剪以及上采样得到X帧对应变焦倍率的像素量标准图像。再基于该X帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧正常曝光拜尔图像,将其作为Y帧待处理图像。
该缩略图处理模块A可以将该Y帧待处理图像传输至缩略图处理模块B或者缩略图处理模块C,该缩略图处理模块B或者缩略图处理模块C可以基于该Y帧待处理图像进行合并型裁剪以及上采样得到Y帧对应变焦倍率的像素量标准图像。再基于该Y帧像素量标准图像进行处理得到缩略图像。
图12A以及图12B示出了变焦倍率等于1倍变焦倍率时,拍照系统在进行数字变焦时的示意性模块交互图。
图12A示出了在变焦倍率N等于1倍变焦倍率的情况下,终端确定拍摄场景的动态范围为高动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),终端采取高动态范围处理的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11A及其相关内容的描述,此处不再赘述。
图12A中,相机可以持续获取长曝光原图像以及短曝光原图像,基于该长曝光原图像以及短曝光原图像分别作像素合并得到长曝光拜尔图像以及短曝光拜尔图像。
相机可以将长曝光拜尔图像以及短曝光拜尔图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
应该理解的是,此时,相机输出的长曝光拜尔图像以及短曝光拜尔图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该长曝光拜尔图像以及短曝光拜尔图像中的内容与1倍变焦倍率对应的取景范围相同。
预览图处理模块A可以基于该长曝光拜尔图像以及短曝光拜尔图像进行融合处理得到待处理图像。
在一些可能的情况下,该预览图处理模块A可以将该待处理图像输出到预览图处理模块B或者预览图处理模块C中。该预览图处理模块B或者预览图处理模块C可以基于该待处理图像进行处理得到预览图像,其中,该处理过程可以不涉及裁剪。
缓存模块中可以存储V帧长曝光拜尔图像以及V帧短曝光拜尔图像。其中,V为大于或者等于1的正整数,通常V的取值可以为6-8,例如6。
应该理解的是,相机获取的第i帧长曝光原图像与获取的第i帧短曝光原图像对应,基于第i帧长曝光原图像确定的长曝光拜尔图像可以被称为第i帧长曝光拜尔图像。以及基于第i帧短曝光原图像所确定的短曝光拜尔图像可以被称为第i帧短曝光拜尔图像。第i帧长曝光拜尔图像与第i帧短曝光拜尔图像相对应,可以称为一对图像。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的X帧长曝光拜尔图像以及X帧短曝光拜尔图像中对应长曝光拜尔图像以及短曝光拜尔图像进行融合,得到X帧待处理图像。
该拍摄图处理模块A可以将该X帧待处理图像传输至后处理算法模块,该后处理算法模块可以基于该X帧待处理图像作为X帧像素量标准图像。再基于该X帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像,其中,该处理过程可以不涉及裁剪。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧长曝光拜尔图像以及Y帧短曝光拜尔图像中对应长曝光拜尔图像以及短曝光拜尔图像进行融合,得到Y帧待处理图像。
该缩略图处理模块A可以将该Y帧待处理图像传输至缩略图处理模块B或者缩略图处理模块C,该缩略图处理模块B或者缩略图处理模块C可以基于该Y帧待处理图像作为Y帧对应变焦倍率的像素量标准图像,再基于该Y帧像素量标准图像进行处理得到缩略图像,其中,该处理过程可以不涉及裁剪。
图12B示出了在变焦倍率N大于或者等于预设变焦倍率C的情况下,且终端确定拍摄场景的动态范围为低动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),终端采取非合并型裁剪结合高动态范围处理的方式得到目标图像的过程。对其中各个模块的描述可以参考前述对图11B及其相关内容的描述,此处不再赘述。
如图12B中,相机可以持续获取正常曝光原图像,基于该正常曝光原图像作像素合并得到正常曝光拜尔图像。
相机可以将正常曝光拜尔图像输出到预览图像处理模块中的预览图处理模块A以及输出到缓存模块。
应该理解的是,此时,相机输出的正常曝光拜尔图像中包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。此时,该正常曝光拜尔图像中的内容与1倍变焦倍率对应的取景范围相同。
预览图处理模块A可以将该正常曝光拜尔图像作为待处理图像。
在一些可能的情况下,该预览图处理模块A可以将该待处理图像输出到预览图处理模块B或者预览图处理模块C中。该预览图处理模块B或者预览图处理模块C可以基于该待处理图像进行处理得到预览图像,其中,该处理过程可以不涉及裁剪。
缓存模块中可以存储V帧正常曝光拜尔图像。其中,V为大于或者等于1的正整数,通常V的取值可以为6-8,例如6。
拍摄图像处理模块中的拍摄图处理模块A可以获取缓存模块中的X帧正常曝光拜尔图像,将其作为X帧待处理图像。
该拍摄图处理模块A可以将该X帧待处理图像传输至后处理算法模块,该后处理算法模块可以基于该X帧待处理图像作为X帧对应变焦倍率的像素量标准图像。再基于该X帧像素量标准图像进行处理,例如进行多帧降噪、白平衡等处理得到拍摄图像,其中,该处理过程可以不涉及裁剪。
缩略图像处理模块中的缩略图处理模块A可以获取缓存模块中的Y帧正常曝光拜尔图像,将其作为Y帧待处理图像。
该缩略图处理模块A可以将该Y帧待处理图像传输至缩略图处理模块B或者缩略图处理模块C,该缩略图处理模块B或者缩略图处理模块C可以基于该Y帧待处理图像作为Y帧对应变焦倍率的像素量标准图像。再基于该Y帧像素量标准图像进行处理得到缩略图像其中,该处理过程可以不涉及裁剪。
应该理解是,在变焦倍率大于1倍变焦倍率小于预设变焦倍率的情况下,且终端确定拍摄场景的动态范围为低动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),拍照系统在进行数字变焦时的示意性模块交互图与前述涉及的图11F相同,可以参考前述对图11F的描述,此处不再赘述。
还应该理解的是,在变焦倍率大于1倍变焦倍率小于预设变焦倍率的情况下,且终端确定拍摄场景的动态范围为高动态范围时(无论拍摄场景为高亮度场景还是低亮度场景),拍照系统在进行数字变焦时的示意性模块交互图与前述涉及的图11E相同,可以参考前述对图11E的描述,此处不再赘述。
在一些可能的情况下,图3、图11A-图11F、图12A以及图12B中的相机可以被称为摄像头。
这里应该理解的是,相机输出的图像尺寸(像素的数量可以表征图像尺寸)在发生变化的情况下,需要暂停相机的图像输出,再重新配置输出图像的尺寸大小,将其配置为新的图像尺寸之后,才可以重新启动相机输出图像。该过程会使得相机暂停输出,影响用户体验感。但是在本申请实施例中,参考图11A-图11F、图12A以及图12B及其相关描述可知,终端的相机输出的原始图像中始终包括G×H个像素,与终端显示的图像中默认包括的像素总量相同。则相机输出的图像尺寸始终没有发生变化。这样的好处在于,保持相机输出的原始图像的尺寸不变,无需暂停相机的图像输出再重新配置相机输出的图像尺寸。使得相机在不同的输出模式下可以不受影响。其中,输出模式可以包括前述涉及的像素合并时输出的拜尔图像、非合并型裁剪时输出的原图像等。这里设置C为预设变焦倍率的作用在于就是为了保证相机在做非合并型裁剪时输出的图像尺寸不发生改变。其中,在一些可能的情况下,相机输出的图像也可以理解为传感器输出的图像。
应该理解的是,图11A-图11F、图12A以及图12B中示出的只是各个模块间进行交互的一个示意性图。实际上各个模块的功能可以相互组合,同一个模块的功能也可以才分到不同的模块中,不应该构成对本申请实施例的限定。例如,在保证相机输出的图像尺寸不发生变化的情况下,即相机输出的图像中始终包括G×H个像素,与终端显示的图像中默认包括的像素总量相同的情况下。对图像进行重新马赛克处理的操作可以在相机中完成。
前述步骤S101-步骤S121中进行的重新马赛克操作,可以在二次裁剪之前执行,也可以在二次裁剪之后执行,例如,在二次裁剪之后执行,则此时得到的再次裁剪后的图像不是拜尔图像,可以基于该再次裁剪后的图像进行重新马赛克之后再进行增加像素的处理以得到像素量标准图像。
应该理解的是,在一些可能的情况下,终端进行数字变焦得到目标图像的过程中,可以进行高动态范围处理,也可以不进行高动态范围处理。
在进行高动态范围处理的情况下,终端可以确定拍摄场景的动态范围为高动态范围时才可以进行高动态范围处理,此处,终端获取的传感器原图像中可以包括长曝光原图像以及短曝光原图像。在确定拍摄场景的动态范围为低动态范围的情况下,终端获取的传感器原图像中包括正常曝光原图像,不包括长曝光原图像以及短曝光原图像。始终基于正常曝光原图像进行数字变焦得到目标图像。
在不进行高动态范围处理的情况下,此时终端可以不分析拍摄场景的动态范围,终端获取的传感器原图像中包括正常曝光原图像,不包括长曝光原图像以及短曝光原图像。始终基于正常曝光原图像进行数字变焦得到目标图像。
本申请实施例中,终端获取的传感器原图像可以被称为第一原图像;在一些可能的情况下,终端可以基于拍摄场景的动态范围确定第一原图像的内容,例如,在拍摄场景的动态范围为高动态范围的情况下,该终端的摄像头采集的第一原图像(此时该第一原图像中的内容与1倍变焦倍率对应的取景范围相同,也可以说摄像头是基于一倍变焦倍率采集的第一原图像)可以包括长曝光原图像以及短曝光原图像。在拍摄场景的动态范围为低动态范围的情况下,该第一原图像可以包括正常曝光原图像。在另一些可能的情况下,终端在获取目标图像的过程中可以不进行高动态范围处理,则终端获取的第一原图像中包括正常曝光原图像,不包括长曝光原图像以及短曝光原图像。此时终端可以不分析拍摄场景的动态范围,始终基于正常曝光原图像进行数字变焦得到目标图像。
本申请实施例中涉及的非合并型裁剪可以被称为第一裁剪、二次裁剪可以被称为第二裁剪、合并型裁剪可以被称为第三裁剪。终端基于第一原图像进行第一裁剪之后获取的图像可以被称为第一裁剪图像。例如,在第一原图像中包括长曝光原图像以及短曝光原图像的情况下,终端可以将裁剪后的长曝光原图像以及裁剪后的短曝光原图像作为第一裁剪图像。在第一原图像中包括正常曝光原图像的情况下,终端可以将裁剪后的正常曝光原图像作为第一裁剪图像。终端进行第二裁剪得到的图像可以被称为第二裁剪图像。例如,前述涉及的再次此裁剪后的图像可以被称为第二裁剪图像。终端进行第三裁剪得到的图像可以被称为第三裁剪图像。例如,前述涉及的裁剪后的图像可以被称为第三裁剪图像。
本申请实施例中,包括的内容与预设变焦倍率对应的取景范围相同的待处理图像可以被称为第一待处理图像。包括的内容与1倍变焦倍率对应的取景范围相同的待处理图像可以被称为第二待处理图像。包括的内容与预设变焦倍率对应的取景范围相同的长曝光拜尔图像可以被称为第一长曝光拜尔图像。包括的内容与预设变焦倍率对应的取景范围相同的短曝光拜尔图像可以被称为第一短曝光拜尔图像。包括的内容与预设变焦倍率对应的取景范围相同的正常曝光拜尔图像可以被称为第一正常曝光拜尔图像。包括的内容与1倍变焦倍率对应的取景范围相同的长曝光拜尔图像可以被称为第二长曝光拜尔图像。包括的内容与1倍变焦倍率对应的取景范围相同的短曝光拜尔图像可以被称为第二短曝光拜尔图像。包括的内容与1倍变焦倍率对应的取景范围相同的正常曝光拜尔图像可以被称为第二正常曝光拜尔图像。
应该理解的是,裁剪后的长曝光原图像以及该裁剪后的短曝光原图像中像素的排布规律与前述涉及的传感器原图像相同,即C×C个相邻的像素颜色相同。也可以称为第一原图像与所述第一裁剪图像中的像素排布规律相同。基于前述内容可以确定的是:所述第三裁剪图像中包括的像素量小于所述第二裁剪图像中包括的像素量。
下面介绍本申请实施例提供的示例性终端。
图13是本申请实施例提供的终端的结构示意图。
下面以终端为例对实施例进行具体说明。应该理解的是,终端可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
终端可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端的具体限定。在本申请另一些实施例中,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是终端的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端的结构限定。在本申请另一些实施例中,终端也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。
终端的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在终端上的包括2G/3G/4G/5G等无线通信的解决方案。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。
无线通信模块160可以提供应用在终端上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT)等无线通信的解决方案。
在一些实施例中,终端的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS)等。
终端通过GPU,显示屏194,以及应用处理器等实现显示功能。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。
终端可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,颜色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。
内部存储器121可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non-volatile memory,NVM)。
终端可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端通过发光二极管向外发射红外光。终端使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端附近有物体。当检测到不充分的反射光时,终端可以确定终端附近没有物体。终端可以利用接近光传感器180G检测用户手持终端贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度(拍摄环境的光照强度)。终端可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端是否在口袋里,以防误触。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端可以接收按键输入,产生与终端的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
本申请实施例中,该处理器110可以调用内部存储器121中存储的计算机指令,以使得终端执行本申请实施例中的拍照方法。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种拍照方法,其特征在于,应用于包括摄像头的终端,所述终端显示的图像中包括G×H个像素,所述方法包括:
在确定拍摄场景的动态范围为高动态范围的情况下,所述摄像头切换至第一模式,基于一倍变焦倍率采集第一原图像,所述第一原图像中包括长曝光原图像以及短曝光原图像;所述第一原图像所包括图像中一列包括C×G个像素,一行包括C×H个像素;
在确定拍摄场景的光照强度为高亮度场景、动态范围为高动态范围,且变焦倍率大于或者等于预设变焦倍率C的情况下,所述终端基于所述预设变焦倍率对所述长曝光原图像进行第一裁剪得到裁剪后的长曝光原图像,以及,基于所述预设变焦倍率对所述短曝光原图像进行第一裁剪得到剪后的短曝光原图像;将所述裁剪后的长曝光原图像以及裁剪后的短曝光原图像作为第一裁剪图像;所述第一裁剪图像所包括图像与所述第一原图像所包括图像中的像素排布规律相同;所述第一裁剪图像中包括G×H个像素;
所述终端将所述剪后的长曝光原图像进行重新马赛克得到第一长曝光拜尔图像,以及,将所述剪后的短曝光原图像进行重新马赛克得到第一短曝光拜尔图像;其中,所述第一长曝光拜尔图像以及所述第一短曝光拜尔图像中的内容与所述预设变焦倍率对应的取景范围相同;
所述终端将所述第一长曝光拜尔图像以及所述第一短曝光拜尔图像进行融合得到第一待处理图像;所述第一待处理图像中的内容与所述预设变焦倍率对应的取景范围相同;
在所述变焦倍率大于所述预设变焦倍率的情况下,所述终端基于所述变焦倍率以及所述预设变焦倍率,对所述第一待处理图像进行第二裁剪得到第二裁剪图像,所述第二裁剪图像中包括的像素小于G×H个像素;
所述终端基于所述第二裁剪图像进行增加像素的处理得到像素量标准图像,所述像素量标准图像中包括G×H个像素;
在确定所述变焦倍率等于所述预设变焦倍率的情况下,所述终端将所述第一待处理图像作为所述像素量标准图像;
在确定拍摄场景的光照强度为低亮度场景,或者所述变焦倍率大于等于所述一倍变焦倍率但是小于所述预设变焦倍率的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像;所述第二待处理图像包括G×H个像素;所述第二待处理图像中像素的排布规律与所述第一原图像不同;
在所述变焦倍率大于所述一倍变焦倍率的情况下,所述终端基于所述变焦倍率对所述第二待处理图像进行裁剪得到第三裁剪图像,所述第三裁剪图像中包括的像素量小于所述第二裁剪图像中包括的像素量;
所述终端基于所述第三裁剪图像进行增加像素的处理得到所述像素量标准图像;
所述终端基于所述像素量标准图像进行处理得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定拍摄场景的动态范围为低动态范围的情况下,所述摄像头切换至第二模式,基于一倍变焦倍率采集第一原图像,所述第一原图像中包括正常曝光原图像;
在确定拍摄场景的光照强度为高亮度场景、动态范围为低动态范围,且变焦倍率大于或者等于预设变焦倍率C的情况下,所述终端基于所述预设变焦倍率对所述正常曝光原图像进行第一裁剪,得到裁剪后的正常曝光原图像;将所述剪后的正常曝光原图像进行重新马赛克得到第一待处理图像。
3.根据权利要求2所述的方法,其特征在于,在确定所述第一原图像中包括长曝光原图像以及短曝光原图像的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像,具体包括:
所述终端基于所述长曝光原图像进行像素合并得到第二长曝光拜尔图像,以及,基于所述短曝光原图像进行像素合并得到第二短曝光拜尔图像;其中,所述第二长曝光拜尔图像以及所述第二短曝光拜尔图像中的内容与所述一倍变焦倍率对应的取景范围相同;
所述终端基于所述第二长曝光拜尔图像以及所述第二短曝光拜尔图像进行融合,得到所述第二待处理图像。
4.根据权利要求3所述的方法,其特征在于,在确定所述第一原图像中包括正常曝光原图像的情况下,所述终端基于所述第一原图像进行像素合并得到第二待处理图像,具体包括:
所述终端基于所述正常曝光原图像进行像素合并得到第二正常曝光拜尔图像;其中,所述第二正常曝光拜尔图像中的内容与所述一倍变焦倍率对应的取景范围相同;
所述终端将所述第二正常曝光拜尔图像作为所述第二待处理图像。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述C等于2或者3。
6.根据权利要求1-4中任一项所述的方法,其特征在于,所述目标图像包括预览图像、拍摄图像或者缩略图像。
7.根据权利要求4所述的方法,其特征在于,所述裁剪后的长曝光原图像、所述裁剪后的短曝光原图像、所述裁剪后的正常曝光原图像、所述第二长曝光拜尔图像、所述第二短曝光拜尔图像以及所述第二正常曝光拜尔图像为所述摄像头获取的。
8.一种终端,其特征在于,所述终端包括一个或多个处理器和一个或多个存储器;其中,所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述终端执行如权利要求1-7中任一项所述的方法。
9.一种芯片系统,其特征在于,所述芯片系统应用于终端,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述终端执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在终端上运行时,使得所述终端执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912581.0A CN115426449B (zh) | 2022-07-30 | 2022-07-30 | 一种拍照方法和终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210912581.0A CN115426449B (zh) | 2022-07-30 | 2022-07-30 | 一种拍照方法和终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115426449A CN115426449A (zh) | 2022-12-02 |
CN115426449B true CN115426449B (zh) | 2023-07-11 |
Family
ID=84196464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210912581.0A Active CN115426449B (zh) | 2022-07-30 | 2022-07-30 | 一种拍照方法和终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115426449B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109005363A (zh) * | 2018-08-13 | 2018-12-14 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备以及存储介质 |
CN114390213A (zh) * | 2020-10-22 | 2022-04-22 | 华为技术有限公司 | 一种拍摄方法及设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8786625B2 (en) * | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
US10412356B2 (en) * | 2015-03-26 | 2019-09-10 | Sony Corporation | Image processing apparatus and image processing method |
KR102530752B1 (ko) * | 2018-08-29 | 2023-05-10 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법 |
KR102629343B1 (ko) * | 2018-12-21 | 2024-01-26 | 삼성전자주식회사 | 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치 |
CN110475066A (zh) * | 2019-08-20 | 2019-11-19 | Oppo广东移动通信有限公司 | 控制方法、成像装置和电子设备 |
EP3997866A4 (en) * | 2019-08-26 | 2023-03-22 | Samsung Electronics Co., Ltd. | SYSTEM AND METHOD FOR CONTENT ENHANCEMENT USING QUAD COLORED FILTER ARRAY SENSORS |
CN112367459B (zh) * | 2020-10-23 | 2022-05-13 | 深圳市锐尔觅移动通信有限公司 | 图像处理方法、电子装置及非易失性计算机可读存储介质 |
CN113727016A (zh) * | 2021-06-15 | 2021-11-30 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
-
2022
- 2022-07-30 CN CN202210912581.0A patent/CN115426449B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109005363A (zh) * | 2018-08-13 | 2018-12-14 | Oppo广东移动通信有限公司 | 成像控制方法、装置、电子设备以及存储介质 |
CN114390213A (zh) * | 2020-10-22 | 2022-04-22 | 华为技术有限公司 | 一种拍摄方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115426449A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022262260A1 (zh) | 一种拍摄方法及电子设备 | |
JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
JP6803982B2 (ja) | 光学撮像方法および装置 | |
CN112840642B (zh) | 一种图像拍摄方法和终端设备 | |
CN114693580B (zh) | 图像处理方法及其相关设备 | |
CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2023077939A1 (zh) | 摄像头的切换方法、装置、电子设备及存储介质 | |
CN116055897B (zh) | 拍照方法及其相关设备 | |
WO2023124123A1 (zh) | 图像处理方法及其相关设备 | |
EP4156673B1 (en) | Image capture method and related device thereof | |
CN106803920B (zh) | 一种图像处理的方法、装置及智能会议终端 | |
CN115802183A (zh) | 图像处理方法及其相关设备 | |
CN117119291B (zh) | 一种出图模式切换方法和电子设备 | |
CN110266965B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN116668862B (zh) | 图像处理方法与电子设备 | |
CN115426449B (zh) | 一种拍照方法和终端 | |
CN115550575A (zh) | 图像处理方法及其相关设备 | |
WO2023077938A1 (zh) | 生成视频帧的方法、装置、电子设备及存储介质 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 | |
CN116029914B (zh) | 图像处理方法与电子设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
CN116709042B (zh) | 一种图像处理方法和电子设备 | |
CN117119295B (zh) | 相机控制方法和电子设备 | |
WO2023160221A1 (zh) | 一种图像处理方法和电子设备 | |
CN117156284A (zh) | 图像数据处理方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |