CN114390212A - 拍照预览方法、电子设备以及存储介质 - Google Patents

拍照预览方法、电子设备以及存储介质 Download PDF

Info

Publication number
CN114390212A
CN114390212A CN202011141178.XA CN202011141178A CN114390212A CN 114390212 A CN114390212 A CN 114390212A CN 202011141178 A CN202011141178 A CN 202011141178A CN 114390212 A CN114390212 A CN 114390212A
Authority
CN
China
Prior art keywords
image
parameter
difference
parameter value
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011141178.XA
Other languages
English (en)
Other versions
CN114390212B (zh
Inventor
许亦然
张俪耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011141178.XA priority Critical patent/CN114390212B/zh
Priority to PCT/CN2021/116839 priority patent/WO2022083325A1/zh
Publication of CN114390212A publication Critical patent/CN114390212A/zh
Application granted granted Critical
Publication of CN114390212B publication Critical patent/CN114390212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种拍照预览方法、电子设备以及存储介质,根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值;根据当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值,所述第一参数包括亮度参数或者动态范围参数中的至少一种;摄像头根据所述第二曝光参数值采集第一图像;对所述第一图像进行处理,得到第二预览图像。提升了预览图像和实拍图像显示效果一致性,提升了用户使用体验。

Description

拍照预览方法、电子设备以及存储介质
技术领域
本申请涉及终端技术领域,尤其涉及一种拍照预览方法、电子设备以及存储介质。
背景技术
用户在使用终端设备拍照时,触发打开相机后,终端设备会跳转到拍照预览界面,终端设备将摄像头采集的图像实时显示在该拍照预览界面上,以供用户查看。当用户做好拍摄准备后,触发拍照,终端设备进而采用多帧融合技术得到实拍图像。然而,拍照预览界面显示的预览图像采用的是单帧方案,其无法同时兼顾亮区与暗区,致使用户在进行拍照前在终端设备上看到的预览图像和实拍图像显示效果不一致。
为了提升预览图像和实拍图像显示效果的一致性,现有技术中,基于统计信息对摄像头采集的图像做全局调整,得到预览图像。然而,统计信息只是对摄像头采集的图像上各个像素的亮度进行统计得到的,现有技术中这种处理下,预览图像和实拍图像显示效果的一致性仍然不够理想。
发明内容
本申请提供一种拍照预览方法、电子设备以及存储介质,用于提升预览图像和实拍图像显示效果的一致性。
第一方面,本申请提供一种拍照预览方法,包括:根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值,所述曝光参数包括曝光值、曝光时间或者感光度中的至少一种,所述环境参数包括亮度参数或者动态范围参数中的至少一种,所述第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系;根据当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值,所述第一参数包括亮度参数或者动态范围参数中的至少一种;摄像头根据所述第二曝光参数值采集第一图像;对所述第一图像进行处理,得到第二预览图像。
一种可能的实现方式中,所述根据当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,包括:若所述第一差异包括亮区细节较少,则降低所述第一曝光参数值;若所述第一差异包括暗区细节较少,则提高所述第一曝光参数值。
一种可能的实现方式中,所述对所述第一图像进行处理,得到第二预览图像,包括:根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像;根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,所述第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数中的至少一种,得到第二网络模型;利用所述第二网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像,包括:根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,得到第三图像;根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,包括:若对所述第一曝光参数值所做的调整为提高所述第一曝光参数值,则降低所述第一图像对应的亮度参数曲线上亮区的亮度;若对所述第一曝光参数值所做的调整为降低所述第一曝光参数值,则提高所述第一图像对应的亮度参数曲线上暗区的亮度。
一种可能的实现方式中,所述根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像,得到所述第二图像,包括:若所述第二差异为亮度偏高,则降低所述第三图像对应的亮度参数曲线上所有区域的亮度;若所述第二差异为亮度偏低,则提高所述第三图像对应的亮度参数曲线上所有区域的亮度。
一种可能的实现方式中,所述根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,包括:若所述第三差异为对比度参数偏低,则提高所述第一网络模型中对比度参数对应的网络模型的权重。
一种可能的实现方式中,所述根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值之前,所述方法还包括:在第二映射关系中查找所述环境参数值对应的曝光参数值;若在所述第二映射关系中查不到所述环境参数值对应的曝光参数值,则根据所述环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值;若在所述第二映射关系中查到所述环境参数值对应的曝光参数值,则所述摄像头根据查到的曝光参数值采集所述第一图像。
一种可能的实现方式中,所述在第二映射关系中查找所述环境参数值对应的曝光参数值之前,所述方法还包括:在任一拍照场景下,根据所述拍照场景下的环境参数值和所述第一映射关系,确定所述拍照场景对应的第三曝光参数值,所述拍照场景包括默认场景、人像场景、夜景、全景或者高动态场景中的至少一种;根据所述拍照场景下的预览图像和实拍图像在第一参数上的差异,对所述第三曝光参数值进行调整,得到第四曝光参数值;将所述拍照场景下的环境参数值和所述第四曝光参数值的对应关系添加至所述第二映射关系中。
一种可能的实现方式中,所述方法还包括:将当前拍照场景下的环境参数值和所述第二曝光参数值的对应关系添加至所述第二映射关系中。
一种可能的实现方式中,所述根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像之前,所述方法还包括:判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若不同,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整之前,所述方法还包括:根据第一置信度,确定是否生效所述第二差异,所述第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景;若是,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若否,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述根据第一置信度,确定是否生效所述第二差异,包括:若所述第一置信度大于第一预设值,则生效所述第二差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第二差异。
一种可能的实现方式中,所述根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整之前,所述方法还包括:判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第三差异,对第一网络模型进行调整;若不同,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述根据所述第三差异,对第一网络模型进行调整之前,所述方法还包括:根据第一置信度,确定是否生效所述第三差异;若是,则根据所述第三差异,对第一网络模型进行调整;若否,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述根据第一置信度,确定是否生效所述第三差异,包括:若所述第一置信度大于第一预设值,则生效所述第三差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第三差异。
一种可能的实现方式中,所述方法还包括:获取所述第二预览图像对应的第二实拍图像;判断所述第二实拍图像和第一实拍图像间隔的时间是否小于第二预设值;若是,则对比所述第二预览图像和所述第二实拍图像,得到所述第二预览图像和所述第二实拍图像在颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数上至少一种差异。
一种可能的实现方式中,所述方法还包括:根据所述第二实拍图像和第一实拍图像间隔的时间,确定第二置信度,所述第二置信度用于表征当前拍照场景和所述第一实拍图像对应的拍照场景是同一场景的可能性。
第二方面,本申请提供一种电子设备,包括:一致性质量评估模块、智能曝光模块、全局亮度矫正模块、一致性增强模块以及摄像头;所述智能曝光模块用于,根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值,所述曝光参数包括曝光值、曝光时间或者感光度中的至少一种,所述环境参数包括亮度参数或者动态范围参数中的至少一种,所述第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系;根据一致性质量评估模块反馈的当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值,所述第一参数包括亮度参数或者动态范围参数中的至少一种;所述摄像头用于,根据所述第二曝光参数值采集第一图像;所述全局亮度矫正模块和一致性增强模块用于,对所述第一图像进行处理,得到第二预览图像。
一种可能的实现方式中,所述智能曝光模块具体用于:若所述第一差异包括亮区细节较少,则降低所述第一曝光参数值;若所述第一差异包括暗区细节较少,则提高所述第一曝光参数值。
一种可能的实现方式中,所述全局亮度矫正模块具体用于,根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像;所述一致性增强模块具体用于,根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,所述第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数中的至少一种,得到第二网络模型;利用所述第二网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述全局亮度矫正模块具体用于,根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,得到第三图像;根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述全局亮度矫正模块具体用于,若对所述第一曝光参数值所做的调整为提高所述第一曝光参数值,则降低所述第一图像对应的亮度参数曲线上亮区的亮度;若对所述第一曝光参数值所做的调整为降低所述第一曝光参数值,则提高所述第一图像对应的亮度参数曲线上暗区的亮度。
一种可能的实现方式中,所述全局亮度矫正模块具体用于,若所述第二差异为亮度偏高,则降低所述第三图像对应的亮度参数曲线上所有区域的亮度;若所述第二差异为亮度偏低,则提高所述第三图像对应的亮度参数曲线上所有区域的亮度。
一种可能的实现方式中,所述一致性增强模块具体用于,若所述第三差异为对比度参数偏低,则提高所述第一网络模型中对比度参数对应的网络模型的权重。
一种可能的实现方式中,所述智能曝光模块还用于,在第二映射关系中查找所述环境参数值对应的曝光参数值;若在所述第二映射关系中查不到所述环境参数值对应的曝光参数值,则根据所述环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值;若在所述第二映射关系中查到所述环境参数值对应的曝光参数值,则所述摄像头根据查到的曝光参数值采集所述第一图像。
一种可能的实现方式中,所述智能曝光模块还用于,在任一拍照场景下,根据所述拍照场景下的环境参数值和所述第一映射关系,确定所述拍照场景对应的第三曝光参数值,所述拍照场景包括默认场景、人像场景、夜景、全景或者高动态场景中的至少一种;根据所述拍照场景下的预览图像和实拍图像在第一参数上的第四差异,对所述第三曝光参数值进行调整,得到第四曝光参数值;将所述拍照场景下的环境参数值和所述第四曝光参数值的对应关系添加至所述第二映射关系中。
一种可能的实现方式中,所述智能曝光模块还用于,将当前拍照场景下的环境参数值和所述第二曝光参数值的对应关系添加至所述第二映射关系中。
一种可能的实现方式中,所述全局亮度矫正模块还用于,判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若不同,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述全局亮度矫正模块还用于,根据第一置信度,确定是否生效所述第二差异,所述第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景;若是,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若否,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
一种可能的实现方式中,所述全局亮度矫正模块具体用于,若所述第一置信度大于第一预设值,则生效所述第二差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第二差异。
一种可能的实现方式中,所述一致性增强模块还用于,判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第三差异,对第一网络模型进行调整;若不同,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述一致性增强模块还用于,根据第一置信度,确定是否生效所述第三差异;若是,则根据所述第三差异,对第一网络模型进行调整;若否,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
一种可能的实现方式中,所述一致性增强模块具体用于,若所述第一置信度大于第一预设值,则生效所述第三差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第三差异。
一种可能的实现方式中,所述一致性质量评估模块用于,获取所述第二预览图像对应的第二实拍图像;判断所述第二实拍图像和第一实拍图像间隔的时间是否小于第二预设值;若是,则对比所述第二预览图像和所述第二实拍图像,得到所述第二预览图像和所述第二实拍图像在颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数上至少一种差异,并将所述第二预览图像和所述第二实拍图像在第一参数上的差异反馈给所述智能曝光模块,将所述第二预览图像和所述第二实拍图像在亮度参数上的差异反馈给所述全局亮度矫正模块,将所述第二预览图像和所述第二实拍图像在第三参数上的差异反馈给所述一致性增强模块。
一种可能的实现方式中,所述一致性质量评估模块还用于,
根据所述第二实拍图像和第一实拍图像间隔的时间,确定第二置信度,所述第二置信度用于表征当前拍照场景和所述第一实拍图像对应的拍照场景是同一场景的可能性,并将所述第二置信度反馈给所述全局亮度矫正模块和所述一致性增强模块。
第三方面,本申请提供一种电子设备,包括:存储器、处理器和摄像头;所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现第一方面的方法。
第四方面,本申请提供一种可读存储介质,所述可读存储介质上存储有计算机程序;所述计算机程序在被执行时,实现第一方面的方法。
本申请提供的拍照预览方法、电子设备以及存储介质,对终端设备的曝光参数进行调整时依据的曝光参数值是结合预览图像和实拍图像的差异确定的,使得摄像头采集的图像更加逼近实拍图像,提升了预览图像和实拍图像显示效果一致性,提升了用户使用体验。
附图说明
图1为本申请提供的应用场景图一;
图2为本申请提供的应用场景图二;
图3为本申请提供的拍照模块300的框架图;
图4为本申请提供的一实施例的流程示意图;
图5为本申请提供的拍照模块500的框架图;
图6为本申请提供的反馈机制示意图一;
图7为本申请提供的反馈机制示意图二;
图8为本申请提供的拍照预览方法的一实施例的流程示意图;
图9为本申请提供的终端设备开发过程中获取环境参数值和曝光参数值之间的对应关系的流程示意图;
图10为本申请提供的拍照预览方法的另一实施例的流程示意图;
图11为本申请提供的拍照预览方法的另一实施例的流程示意图;
图12为本申请提供的拍照预览方法的另一实施例的流程示意图;
图13为本申请提供的应用场景图三;
图14为本申请提供的电子设备的结构示意图。
具体实施方式
本申请提供的拍照预览方法可应用于任何具有拍照功能的终端设备,该具有拍照功能的终端设备包括但不限于:手机、智慧屏、数码相机、平板电脑或者笔记本电脑。本申请的附图均以手机为例来示意本申请提供的预览实现过程。
图1为本申请提供的应用场景图,参见图1所示,当用户触发打开相机后,终端设备会跳转到拍照预览界面,终端设备将摄像头采集的图像实时显示在该拍照预览界面上,以供用户查看,该拍照预览界面上实时显示的图像可称为预览图像,预览图像可提供被摄场景和被摄物的姿态,使得用户可参考预览图像,调整拍摄角度以及曝光参数。
参见图2所示,当用户做好拍摄准备后,触发拍照,终端设备进而采用多帧融合技术得到实拍图像,多帧融合技术可将长短帧、长中短帧或者多短帧进行融合,其中,长帧为长曝光时间下采集的图像帧,短帧为短曝光时间下采集的图像帧,中帧为中等曝光时间下采集的图像帧,曝光时间越长,感光元件接收到的光线总量越多,越能捕捉暗区的细节。因此,长帧可以保证暗区细节的显示,短帧能够保证亮区细节的显示,将长短帧融合后得到的实拍图像能够将亮区细节和暗区细节均显示出来。然而,拍照预览界面显示的预览图像采用的是单帧方案,其无法同时兼顾亮区与暗区,致使用户在进行拍照前在终端设备上看到的预览图像和实拍图像显示效果不一致,如图2所示,左侧为预览图像,右侧为实拍图像,实拍图像相较于预览图像显示出更多的细节,预览图像和实拍图像显示效果的不一致极大地影响了用户的使用体验。
在一些实施例中,为了提升预览图像和实拍图像显示效果的一致性,参见图3所示,在终端设备的拍照模块300中设置曝光模块301和全局色调映射模块302。参见图4所示,通过如下步骤提升预览图像和实拍图像显示效果的一致性:
S401、用户触发打开相机后,曝光模块301感知当前环境参数值,并根据当前环境参数值对终端设备的曝光参数进行调整。
一种可能的实现方式中,上述环境参数包括亮度参数或者动态范围参数中的至少一种。
一种可能的实现方式中,曝光模块301可通过感光元件感知当前环境参数值。感光元件包括但不限于:电荷耦合元件(Charge-coupled Device,CCD)或者互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)。
一种可能的实现方式中,曝光模块301得到当前环境参数值后,从预设映射关系中查找当前环境参数值对应的曝光参数基础值,依据该曝光参数基础值对终端设备的曝光参数进行调整,摄像头在调整后的曝光参数下采集图像。
S402、全局色调映射模块302基于统计信息对摄像头采集的图像做全局调整,得到预览图像。
一种可能的实现方式中,对摄像头采集的图像上各个像素的亮度参数进行统计,得到落在各个亮度区域的像素的总数,若落在亮区的像素的总数大于预设值,则确定图像整体偏亮,降低各个区域的亮度参数曲线,若落在暗区的像素的总数大于预设值,则确定图像整体偏暗,提高各个区域的亮度参数曲线。
上述实施例中,曝光模块301从预设映射关系中查找到的曝光参数基础值仅是和当前拍照场景大致匹配的值,全局色调映射模块302依据的统计信息也只是对摄像头采集的图像上各个像素的亮度进行统计得到的,经过这些模块处理后,预览图像和实拍图像显示效果的一致性仍然不够理想。
为了进一步提升预览图像和实拍图像显示效果的一致性,本申请提供一种实施例,将预览图像和实拍图像进行对比,得到两者在颜色参数、亮度参数、对比度参数、饱和度参数以及动态范围参数上的差异,将这些差异反馈给相应的图像处理模块,使得图像处理模块在预览过程中能够结合预览图像和实拍图像的差异对图像进行调整。经过该调整后得到的预览图像与实拍图像相似度更高,差异更小,提升了用户的使用体验。
图5为本申请提供的拍照模块500的框架图,该拍照模块500为终端设备中与拍照相关的模块,拍照模块500包括但不限于:一致性质量评估模块501、智能曝光模块502、全局亮度矫正模块503以及一致性增强模块504,下面对各个模块的功能逐一介绍:
其中,一致性质量评估模块501用于对比第一预览图像和第一实拍图像,得到第一预览图像和第一实拍图像在颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数上的差异,并将第一预览图像和第一实拍图像在第一参数上的差异反馈给智能曝光模块502,参见图6所示。还用于在实拍图像满足预设条件时,将第一预览图像和第一实拍图像在亮度参数上的差异反馈给全局亮度矫正模块503,将第一预览图像和第一实拍图像在第三参数上的差异反馈给一致性增强模块504,参见图7所示。
其中,第一参数包括亮度参数或者动态范围参数中至少一种,第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数中至少一种。
需要说明的是:一致性质量评估模块501可仅向全局亮度矫正模块503反馈,也可仅向一致性增强模块504反馈,也可向全局亮度矫正模块503和一致性增强模块504均反馈。
需要说明的是:一致性质量评估模块501向全局亮度矫正模块503和一致性增强模块504均反馈时,一致性质量评估模块501可先向全局亮度矫正模块503反馈,再向一致性增强模块504反馈,也可先向一致性增强模块504反馈,再向全局亮度矫正模块503反馈,也可同时向全局亮度矫正模块503和一致性增强模块504反馈,本申请实施例对反馈的顺序不做限定。
一种可能的实现方式中,一致性质量评估模块501将第一预览图像和第一实拍图像的颜色参数进行对比,以确定第一预览图像和第一实拍图像相比是否存在色温偏冷或者色温偏暖的情况,若存在,则将该色温偏冷或者色温偏暖作为第一预览图像和第一实拍图像在颜色参数上的差异,若不存在,则确定第一预览图像和第一实拍图像在颜色参数上没有差异。
一种可能的实现方式中,一致性质量评估模块501将第一预览图像和第一实拍图像的亮度参数进行对比,以确定第一预览图像和第一实拍图像相比是否存在亮度偏高或者亮度偏低的情况,若存在,则将该亮度偏高或者亮度偏低作为第一预览图像和第一实拍图像在亮度参数上的差异,若不存在,则确定第一预览图像和第一实拍图像在亮度参数上没有差异。
一种可能的实现方式中,一致性质量评估模块501将第一预览图像和第一实拍图像的动态范围参数进行对比,以确定第一预览图像和第一实拍图像相比是否存在亮区细节较少或者暗区细节较少的情况,若存在,则将该亮区细节较少或者暗区细节较少作为第一预览图像和第一实拍图像在动态范围参数上的差异,若不存在,则确定第一预览图像和第一实拍图像在动态范围参数上没有差异。
一种可能的实现方式中,一致性质量评估模块501将第一预览图像和第一实拍图像的对比度参数进行对比,以确定第一预览图像和第一实拍图像相比是否存在对比度参数偏高或者对比度参数偏低的情况,若存在,则将该对比度参数偏高或者对比度参数偏低作为第一预览图像和第一实拍图像在对比度参数上的差异,若不存在,则确定第一预览图像和第一实拍图像在对比度参数上没有差异。
一种可能的实现方式中,一致性质量评估模块501将第一预览图像和第一实拍图像的饱和度参数进行对比,以确定第一预览图像和第一实拍图像相比是否存在饱和度参数偏高或者饱和度参数偏低的情况,若存在,则将该饱和度参数偏高或者饱和度参数偏低作为第一预览图像和第一实拍图像在饱和度参数上的差异,若不存在,则确定第一预览图像和第一实拍图像在饱和度参数上没有差异。
其中,智能曝光模块502用于摄像头被唤醒后感知当前拍照场景下的环境参数值,并根据当前拍照场景下的环境参数值,以及一致性质量评估模块501反馈的第一预览图像和第一实拍图像在第一参数上的第一差异,调整曝光参数值,经过该调整后,摄像头采集的图像更加接近实拍图像。
一种可能的实现方式中,参见上述实施例中S401的描述,智能曝光模块502可先从第一映射关系中查找当前拍照场景对应的第一曝光参数值,然后,根据一致性质量评估模块501反馈的第一预览图像和第一实拍图像在第一参数上的第一差异,对第一曝光参数值进行调整,得到第二曝光参数值。
其中,第一参数包括亮度参数或者动态范围参数中至少一种,第一差异为第一预览图像和第一实拍图像在第一参数上的差异。
其中,第一曝光参数值为当前拍照场景对应的曝光参数基础值,第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系,第一映射关系中的曝光参数值为曝光参数基础值,该曝光参数基础值是和对应拍照场景大致匹配的值。
一种可能的实现方式中,曝光参数包括以下参数中的至少一种:曝光值(ExposureValue,EV)、感光度(photosensibility,ISO)、曝光时间或者增益(Gain)。
一种可能的实现方式中,若第一预览图像和第一实拍图像在动态范围参数上的差异为亮区细节较少,智能曝光模块502对第一曝光参数值可做如下调整:降低第一曝光参数值;若第一预览图像和第一实拍图像在动态范围参数上的差异为暗区细节较少,智能曝光模块502对第一曝光参数值可做如下调整:提高第一曝光参数值。
一种可能的实现方式中,若第一预览图像和第一实拍图像在亮度参数上的差异为亮度偏高,智能曝光模块502对第一曝光参数值可做如下调整:降低第一曝光参数值;若第一预览图像和第一实拍图像在亮度参数上的差异为亮度偏低,智能曝光模块502对第一曝光参数值可做如下调整:提高第一曝光参数值。
一种可能的实现方式中,智能曝光模块502将对第一曝光参数值所做的调整发送给全局亮度矫正模块503。
其中,全局亮度矫正模块503用于根据智能曝光模块502对第一曝光参数值所做的调整,以及一致性质量评估模块501反馈的第一预览图像和第一实拍图像在亮度参数上的第二差异,对摄像头采集的第一图像对应的亮度参数曲线进行调整,得到第二图像,第二图像在全局亮度参数上更加接近实拍图像。
一种可能的实现方式中,全局亮度矫正模块503可先根据智能曝光模块502对第一曝光参数值数所做的调整,对摄像头采集的第一图像对应的亮度参数曲线进行初步调整,得到第三图像,然后根据一致性质量评估模块501反馈的第一预览图像和第一实拍图像在亮度参数上的第二差异,对第三图像对应的亮度参数曲线做进一步调整,得到第二图像。
其中,第三图像为初步矫正后的图像,第二图像为全局矫正后的图像。
其中,第二差异为第一预览图像和第一实拍图像在亮度参数上的差异。
一种可能的实现方式中,可通过如下方式实现上述初步调整,若智能曝光模块502为了显示暗区细节,对第一曝光参数值所做的调整为提高所述第一曝光参数值,全局亮度矫正模块503可降低第一图像对应的亮度参数曲线上亮区的亮度,避免经智能曝光模块502调整后,亮区亮度太高导致亮区细节无法显示;若智能曝光模块502为了显示亮区细节,对第一曝光参数值所做的调整为降低第一曝光参数值,全局亮度矫正模块503可提高第一图像对应的亮度参数曲线上暗区的亮度。避免经智能曝光模块502调整后,暗区亮度参数太低导致暗区细节无法显示。
一种可能的实现方式中,若第二差异为亮度偏低,全局亮度矫正模块503可做如下调整:提高第三图像对应的亮度参数曲线上所有区域的亮度。若第二差异为亮度偏高,全局亮度矫正模块503可做如下调整:降低第三图像对应的亮度参数曲线上所有区域的亮度。
一致性增强模块504用于根据一致性质量评估模块501反馈的第一预览图像和第一实拍图像在第三参数上的差异,对第一网络模型进行调整,得到第二网络模型,利用第二网络模型对第二图像进行处理,得到第二预览图像。
其中,第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数中至少一种。
一种可能的实现方式中,一致性增强模块504包括提前训练的第一网络模型,该第一网络模块包括多个维度的网络模型,该多个维度包括但不限于颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数,网络模型的训练样本为经过全局亮度矫正模块503处理后的图像以及对应的实拍图像。在接收到第一预览图像和第一实拍图像在第三参数上差异后,可根据该差异对相应维度的网络模型的权重进行调整,经过该调整后得到的第二网络模型,利用该第二网络模型对第二图像进行处理后,得到的第二预览图像在对比度参数上更加逼近实拍图像。
下面对各个模块的调整过程举例说明:
参见表1所示,一致性质量评估模块501对比第一预览图像和第一实拍图像后,确定第一预览图像和第一实拍图像在亮度参数上差异为亮度偏低,在对比度参数上差异为对比度参数偏低,在动态范围参数上的差异为暗区内容少。一致性质量评估模块501将亮度参数和动态范围参数上的差异反馈给智能曝光模块502,将亮度参数上的差异反馈给全局亮度矫正模块503,将颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数上的差异反馈给一致性增强模块504,参见表1所示,各个模块可做如下调整,智能曝光模块502提高EV,全局亮度矫正模块503提高第三图像对应的亮度参数曲线上所有区域的亮度,一致性增强模块504提高对比度参数对应的网络模型的权重,经过智能曝光模块502、全局亮度矫正模块503以及一致性增强模块504处理后,第二预览图像在颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数上更加逼近实拍图像,提升了用户使用体验。
表1
Figure BDA0002738317860000091
下面结合图1和图2所示场景详细说明本申请提供的拍照预览方法。图8为本申请提供的拍照预览方法的一实施例的流程示意图,本实施例提供的拍照预览方法应用于图5所示拍照模块500,本实施例提供的拍照预览方法可用于终端设备的处理器接收到第一触控操作后,该第一触控操作为用户触发打开相机的操作,参见图1所示,该第一触控操作可以是用户单机相机图标的操作,也可以是用户双击相机图标的操作,或者其他能够触发打开相机的操作,本申请对此不做限定,终端设备的处理器接收到第一触控操作后,唤醒终端设备上的摄像头,拍照模块500中各个模块执行如下步骤:
S801、智能曝光模块502感知当前拍照场景下的环境参数值。
一种可能的实现方式中,环境参数包括亮度参数或者动态范围参数中的至少一种。
一种可能的实现方式中,智能曝光模块502为摄像头的一个软件模块,摄像头被唤醒后,智能曝光模块502开始感知当前拍照场景下的环境参数值。智能曝光模块502感知环境参数值的过程可参见上述实施例的S401,本申请在此不再赘述。
S802、智能曝光模块502在第二映射关系中查找当前拍照场景下的环境参数值对应的曝光参数值。
其中,第二映射关系为预先存储的环境参数值和曝光参数值之间的对应关系。
上述第二映射关系包括终端设备开发过程中通过实拍测试得到的对应关系,以及终端设备实际使用过程中记录的对应关系。
下面对终端设备开发过程中获取环境参数值和曝光参数值之间的对应关系的实现方式进行说明:
在终端设备开发过程中,会在各种拍照场景下进行实拍测试,以得到不同拍照场景下环境参数值对应的曝光参数值,拍照场景包括但不限于正常拍照场景、人像场景、夜景、全景或者高动态场景,正常拍照场景也可理解为日常拍照场景或者普通拍照场景,正常拍照场景还可理解为打开相机后默认场景,正常拍照场景多用于白天。
参见图9所示,以正常拍照场景为例,对确定曝光参数值的过程进行说明,为方便说明,下文将前一次实拍的预览图像记为P_(i-1),将前一次实拍的实拍图像记为C_(i-1),将摄像头本次采集的图像记为R_i,将本次全局矫正后的图像记为图像Y_i,将本次预览图像记为图像P_i,将本次实拍图像记为图像C_i,将本次预览图像P_i与本次实拍图像C_i在第一参数上差异记为f_i。确定曝光参数值的过程具体包括:
其中,第一参数包括亮度参数或者动态范围参数中的至少一种。
步骤S8021、终端设备的摄像头被唤醒后,智能曝光模块502感知正常拍照场景下的环境参数值。
一种可能的实现方式中,环境参数包括亮度参数或者动态范围参数中的至少一种。
一种可能的实现方式中,智能曝光模块502感知环境参数值的过程可参见上述实施例的S401,本申请在此不再赘述。
步骤S8022、智能曝光模块502根据正常拍照场景下的环境参数值和第一映射关系,确定正常拍照场景对应的第三曝光参数值。
其中,第三曝光参数值为正常拍照场景对应的曝光参数基础值。
其中,第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系,第一映射关系中的曝光参数值为曝光参数基础值,曝光参数基础值是和对应拍照场景大致匹配的值。
步骤S8023、智能曝光模块502根据一致性质量评估模块501反馈的前一次实拍的预览图像P_(i-1)与实拍图像C_(i-1)在第一参数上的差异,对第三曝光参数值进行调整,得到本次调整后的曝光参数值。
一种可能的实现方式中,智能曝光模块502根据一致性质量评估模块501反馈的差异进行调整的方式可参见上文关于智能曝光模块502的介绍,本实施例在此不再赘述。
步骤S8024、摄像头根据本次调整后的曝光参数值采集图像,得到本次采集的图像R_i。
步骤S8025、全局亮度矫正模块503根据智能曝光模块502对第三曝光参数值所做的调整,对图像R_i对应的亮度参数曲线进行调整,得到本次全局矫正后的图像Y_i。
一种可能的实现方式中,全局亮度矫正模块503对图像R_i对应的亮度参数曲线进行调整的方式可参见上文关于全局亮度矫正模块503的介绍,本实施例在此不再赘述。
步骤S8026、利用第一网络模型对本次全局矫正后的图像Y_i进行处理,获得本次预览图像P_i。
一种可能的实现方式中,一致性增强模块504包括第一网络模型,该第一网络模型包括提前训练的多个维度的网络模型,该多个维度包括但不限于颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数,网络模型的训练样本为经过全局亮度矫正模块503处理后的图像以及对应的实拍图像。将本次全局矫正后的图像Y_i输入到第一网络模型后,依次经过多个维度网络模型的处理后,使得输出的预览图像在颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数上更加逼近实拍图像。
步骤S8027、一致性质量评估模块501对比本次预览图像P_i与本次实拍图像C_i,得到本次预览图像P_i与本次实拍图像C_i在第一参数上差异f_i。
一种可能的实现方式中,在S8027得到本次预览图像P_i与本次实拍图像C_i在第一参数上差异f_i后,测试人员可通过该差异f_i判断正常拍照场景下预览图像和实拍图像细节显示的一致程度是否已经达到测试人员预先设置的要求,如果达到预先设置的要求,则不用再向智能曝光模块502反馈该差异f_i,直接将S8023得到的本次调整后的曝光参数值作为正常拍照场景下环境参数值对应的第四曝光参数值;若未达到要求,则继续向智能曝光模块502反馈该差异f_i,直到正常拍照场景下预览图像和实拍图像细节显示的的一致程度达到要求为止。将正常拍照场景下的环境参数值和第四曝光参数值的对应关系添加至第二映射关系中。
另一种可能的实现方式中,在S8027得到本次预览图像P_i与本次实拍图像C_i在第一参数上差异f_i后,可将该差异f_i输入预设的判断算法,利用该判断算法判断正常拍照场景下预览图像和实拍图像细节显示的一致程度是否已经达到要求,如果达到要求,则不用再向智能曝光模块502反馈该差异f_i,直接将S8023中得到的本次调整后的曝光参数值作为正常拍照场景下环境参数值对应的第四曝光参数值;若未达到要求,则继续向智能曝光模块502反馈该差异f_i,直到正常拍照场景下预览图像和实拍图像细节显示的的一致程度达到要求为止。将正常拍照场景下的环境参数值和第四曝光参数值的对应关系添加至第二映射关系中。
针对所有拍照场景,均使用上述方法确定对应的曝光参数值,便可得到多种环境参数值对应的曝光参数值。将环境参数值和曝光参数值之间的对应关系均添加至第二映射关系中,使得用户实际使用终端设备进行拍照时,智能曝光模块502能够从第二映射关系查找当前环境参数对应的曝光参数值。由于上述确定曝光参数值的过程结合了预览图像和实拍图像的差异,使得摄像头根据该曝光参数值采集的图像更加逼近实拍图像。
需要说明的是:在任一拍照场景下,第一次实拍之前一致性质量评估模块501不会反馈预览图与实拍图的差异。智能曝光模块502在第一次实拍之前不进行上述S8023的调整,此时,在S8024中摄像头根据第三曝光参数值采集图像。
以上为终端设备开发过程中获取环境参数值和曝光参数值之间的对应关系的实现方式。
S803、摄像头根据查到的曝光参数值采集第一图像。
其中,曝光参数包括EV、曝光时间或者ISO中的至少一种。
S804、全局亮度矫正模块503根据第一图像,对第一图像对应的亮度参数曲线进行调整,得到第二图像。
其中,第二图像为全局矫正后的图像。
一种可能的实现方式中,全局亮度矫正模块503对第一图像对应的亮度参数曲线进行调整的过程可参见S402,本实施例在此不再赘述。
S805、利用第一网络模型对第二图像进行处理,得到第二预览图像。
一种可能的实现方式中,一致性增强模块504包括第一网络模型,该第一网络模型包括提前训练的多个维度的网络模型,该多个维度包括但不限于颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数,网络模型的训练样本为经过全局亮度矫正模块503处理后的图像以及对应的实拍图像。将第二图像输入到第一网络模型后,依次经过多个维度网络模型的处理后,使得输出的第二预览图像在颜色参数、亮度参数、动态范围参数、对比度参数以及饱和度参数上更加逼近实拍图像。
当终端设备的处理器接收到触发拍照的第二触控操作后,采用多帧融合技术获取实拍图像,参见图2所示,该第二触控操作可以是用户单击拍照按钮的操作,也可以是用户双击相机按钮的操作,或者其他能够触发拍照的操作,本申请对此不做限定。
S806、一致性质量评估模块501对比当前拍照场景下的预览图像和实拍图像,获取预览图像和实拍图像在第一参数上的差异。
一种可能的实现方式中,一致性质量评估模块501获取预览图像和实拍图像在第一参数上的差异的过程可参见上文关于一致性质量评估模块501的介绍,本实施例在此不再赘述。
S807、一致性质量评估模块501将预览图像和实拍图像在第一参数上的差异反馈给智能曝光模块502。
本实施例提供的拍照预览方法,智能曝光模块502对终端设备的曝光参数进行调整时依据的曝光参数值是终端设备开发过程中实拍测试得到的,该实拍测试过程结合了预览图像和实拍图像的差异来确定曝光参数值,使得摄像头在调整后的曝光参数下采集的图像更加逼近实拍图像,提升了预览图像和实拍图像显示效果一致性,提升了用户使用体验。
终端设备开发过程中通过实拍测试可得到多个环境参数值对应的曝光参数值,但是,实拍测试的拍照场景可能无法涵盖实际拍摄时的所有拍照场景。因此,S802中智能曝光模块502在第二映射关系中可能无法查找到当前拍照场景对应的曝光参数值。
图10为本申请提供的拍照预览方法的另一实施例的流程示意图,本实施例提供的拍照预览方法,包括:
S1001、智能曝光模块502感知当前拍照场景下的环境参数值。
S1002、智能曝光模块502在第二映射关系中查找当前拍照场景下的环境参数值对应的曝光参数值。
其中,S1001-S1002的实现过程可参见上述实施例中S801-S802,智能曝光模块502在第二映射关系中无法查找到当前环境参数值对应的曝光参数值情况下,可执行如下步骤。
S1003、智能曝光模块502根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值。
其中,第一曝光参数值为当前拍照场景对应的曝光参数基础值。
其中,第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系,第一映射关系中的曝光参数值为曝光参数基础值,曝光参数基础值是和对应拍照场景大致匹配的值。
S1004、智能曝光模块502根据一致性质量评估模块501反馈的当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值。
其中,第一参数包括亮度参数或者动态范围参数中的至少一种。
其中,第一差异为当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的差异。
一种可能的实现方式中,智能曝光模块502根据一致性质量评估模块501反馈的差异对第一曝光参数值进行调整的方式可参见上文关于智能曝光模块502的介绍,本申请在此不再赘述。
一种可能的实现方式中,在得到第二曝光参数值后,可将当前环境参数值与该第二曝光参数值之间的对应关系添加至第二映射关系中,供终端设备再次进入当前拍照场景时在该第二映射关系中查找曝光参数值。
需要说明的是:S1004涉及的第一预览图像和第一实拍图像在第一参数上的第一差异可以是以往任何时候反馈的,比如,假设当前拍照场景为人像场景,用户过去在人像场景触发过拍照,那么一致性质量评估模块501可将这次拍照的预览图像与实拍图像在第一参数上的差异反馈给智能曝光模块502,当智能曝光模块502下次感知到环境参数值后,判断该环境参数值对应的是人像场景的情况下,可以直接使用一致性质量评估模块501过去反馈的差异,对曝光参数的基础值进行调整。
S1005、摄像头根据第二曝光参数值采集第一图像。
S1006、全局亮度矫正模块503根据第一图像,对第一图像对应的亮度参数曲线进行调整,得到第二图像。
S1007、利用第一网络模型对第二图像进行处理,得到第二预览图像。
S1006-S1007的实现方式可参见上述实施例中S804-S805,本实施例在此不再赘述。
当终端设备的处理器接收到触发拍照的第二触控操作后,采用多帧融合技术获取实拍图像,一致性质量评估模块501执行如下操作:
S1008、一致性质量评估模块501对比当前拍照场景下的预览图像和实拍图像,获取预览图像和实拍图像在第一参数上的差异。
S1009、一致性质量评估模块501将预览图像和实拍图像在第一参数上的差异反馈给智能曝光模块502。
S1008-S1009的实现方式可参见上述实施例中S806-S807,本实施例在此不再赘述。
本实施例提供的拍照预览方法,智能曝光模块502在第二映射关系中无法查找到当前环境参数值对应的曝光参数值时,根据一致性质量评估模块501反馈的当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异来确定对应的曝光参数值,摄像头进而根据该曝光参数值采集第一图像。由于上述曝光参数值是结合当前拍照场景下的第一预览图像和第一实拍图像的差异确定的,可使摄像头采集的图像更加逼近实拍图像,提升了预览图像和实拍图像显示效果一致性,提升了用户使用体验。
当前一次实拍的拍照场景和当前拍照场景相比未变化时,前一次实拍时预览图像和实拍图像在亮度参数上的差异可作为全局亮度矫正模块503调整亮度参数曲线的依据,从而使全局矫正后的图像在全局亮度参数上更加逼近实拍图像,因此,一致性质量评估模块501可将预览图像和实拍图像在亮度参数上的差异反馈给全局亮度矫正模块503。
其中,前一次实拍的预览图像为第一预览图像,前一次实拍的实拍图像为第一实拍图像。
图11为本申请提供的拍照预览方法的另一实施例的流程示意图,本实施例提供的拍照预览方法,包括:
S1101、智能曝光模块502感知当前拍照场景下的环境参数值。
S1102、智能曝光模块502在第二映射关系中查找当前拍照场景下的环境参数值对应的曝光参数值。
S1103、摄像头根据查到的曝光参数值采集第一图像。
S1101-S1103实现过程可参见上述实施例中的S801-S803。
以上为用户触发打开相机后智能曝光模块502执行的步骤。下面介绍全局亮度矫正模块503执行的步骤,全局亮度矫正模块503执行的步骤分为两种情况,若全局亮度矫正模块503接收到了一致性质量评估模块501反馈的第一预览图像与第一实拍图像在亮度参数上的差异,以及该差异的置信度,则执行S1104-S1106,若未接收到,则执行S1107。
S1104、全局亮度矫正模块503判断当前拍照场景和第一实拍图像对应的拍照场景是否相同,若相同,则执行S1105-S1106,则不同,则执行S1107。
一种可能的实现方式中,全局亮度矫正模块503可判断摄像头采集图像时刻与前一次实拍时刻间隔的时间是否超过预设值,若超过预设值,则确定拍照场景有变化,若未超过预设值,则确定拍照场景没有变化。
另一种可能的实现方式中,智能曝光模块502可判断当前环境参数值和前一次实拍时环境参数值之间的差异是否超过预设值,若超过预设值,则向全局亮度矫正模块503发送指令,以告知全局亮度矫正模块503拍照场景有变化,若未超过预设值,则向全局亮度矫正模块503发送指令,以告知全局亮度矫正模块503拍照场景没有变化。
S1105、全局亮度矫正模块503根据第一置信度,确定是否生效第二差异。若是,则执行S1106,若否,则执行S1107。
其中,第二差异为第一预览图像和第一实拍图像在亮度参数上的差异。
其中,第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景。
一种可能的实现方式中,全局亮度矫正模块503可判断第一置信度是否大于第一预设值,若是,则可生效第二差异,若否,则不生效第二差异。
S1106、全局亮度矫正模块503根据第二差异,对第一图像对应的亮度参数曲线进行调整,得到第二图像。
一种可能的实现方式中,全局亮度矫正模块503根据智能曝光模块502对第一图像对应的亮度参数曲线进行调整的方法可参见上文关于全局亮度矫正模块503的介绍,本申请在此不再赘述。
由于全局亮度矫正模块503调整亮度参数曲线的过程参考了第一预览图像与第一实拍图像在亮度参数上的差异,经过该全局亮度矫正模块503调整后的图像在全局亮度参数上更加逼近实拍图像。
S1107、全局亮度矫正模块503根据智能曝光模块502根据对第一曝光参数值所做的调整,对第一图像对应的亮度参数曲线进行调整,得到第二图像。
其中,第二图像为全局矫正后的图像。
一种可能的实现方式中,全局亮度矫正模块503根据智能曝光模块502根据对第一曝光参数值所做的调整,对第一图像对应的亮度参数曲线进行调整的方法可参见上文关于全局亮度矫正模块503的介绍,本申请在此不再赘述。
S1108、利用第一网络模型对第二图像进行处理,得到第二预览图像。
S1108的实现方式可参见上述实施例中S805,本实施例在此不再赘述。
当终端设备的处理器接收到触发拍照的第二触控操作后,采用相应的出帧策略得到实拍图像,参见图2所示,该第二触控操作可以是用户单击拍照按钮的操作,也可以是用户双击相机按钮的操作,或者其他能够触发拍照的操作,本申请对此不做限定。
终端设备的处理器将实拍图像进一步发送给一致性质量评估模块501,在不同的拍照场景下,预览图像和实拍图像的差异不同,比如:在白天场景下,预览图像可能相对于实拍图像亮度偏低,而在晚上场景下,预览图像可能相对于实拍图像亮度是偏高的。当用户拍照场景有变时,比如用户前一次实拍在白天,后一次实拍在晚上,因为前后两次拍张场景的变化,前一次实拍图像和预览图像的差异并不能为后一次预览提供参考,一致性质量评估模块501可执行如下步骤:
一致性质量评估模块501在接收到处理器发送第二实拍图像后,判断第二实拍图像是否满足反馈差异的触发条件,若满足,则向全局亮度矫正模块503反馈第二预览图像和第二实拍图像在亮度参数上的差异;若不满足,则不向全局亮度矫正模块503反馈第二预览图像和第二实拍图像在亮度参数上的差异。
其中,第二实拍图像为第二预览图像对应的实拍图像。
一种可能的实现方式中,上述触发条件可以为第二实拍图像和第一实拍图像间隔的时间小于预设值,比如3s。也就是说,只有在第二实拍图像和第一实拍图像间隔的时间小于预设值的情况下,一致性质量评估模块501才会向全局亮度矫正模块503反馈相应的差异。
一种可能的实现方式中,一致性质量评估模块501还可根据第二实拍图像和第一实拍图像间隔的时间,确定第二置信度。一致性质量评估模块501向全局亮度矫正模块503反馈相应的差异时,还可同时反馈第二置信度,该第二置信度可用于全局亮度矫正模块503根据该第二置信度确定是否生效一致性质量评估模块501反馈的差异。
一种可能的实现方式中,可从第三映射关系中查找第二置信度,第三映射关系用于指示时间和置信度的对应关系。
其中,第二置信度用于表征当前拍照场景和第一实拍图像对应的拍照场景是同一场景的可能性。第二实拍图像和第一实拍图像间隔的时间越短,第二置信度越高,第二实拍图像和第一实拍图像间隔的时间越长,第二置信度越低。
另一种可能的实现方式中,上述触发条件可以为第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值差距小于预设值,也就是说,只有在第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值差距小于预设值的情况下,一致性质量评估模块501才会向全局亮度矫正模块503反馈相应的差异。
一种可能的实现方式中,一致性质量评估模块501还可根据第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距确定第二置信度。一致性质量评估模块501向全局亮度矫正模块503反馈相应的差异时,还可同时反馈第二置信度,该第二置信度可用于全局亮度矫正模块503根据该第二置信度确定是否生效一致性质量评估模块501反馈的差异。
一种可能的实现方式中,可从第四映射关系中查找第二置信度,第四映射关系用于指示环境参数值的差距和置信度的对应关系。
其中,第二置信度用于表征当前拍照场景和第一实拍图像对应的拍照场景是同一场景的可能性。第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距越小,第二置信度越高,第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距越大,第二置信度越低。
可选的,第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距可由智能曝光模块502发送给一致性质量评估模块501。
上述触发条件的设置使得用户在同一拍照场景频繁拍照的情况下,终端设备提供的预览图像越来越逼近实拍图像,提升了用户使用体验。而且上文S1104中全局亮度矫正模块503对拍照场景的判断,使得用户更换拍照场景后,前一次实拍的预览图像与实拍图像之间的差异不会作用到更换拍照场景后的预览图像上,进一步提升了用户使用体验。
本实施例提供的拍照预览方法,当第二实拍图像满足预设条件时,一致性质量评估模块501可将第二预览图像和第二实拍图像在亮度参数上的差异反馈给全局亮度矫正模块503,全局亮度矫正模块503结合该差异对图像的亮度参数曲线进行调整,使全局矫正后的图像在全局亮度参数上更加逼近实拍图像。
当前一次实拍的拍照场景和当前拍照场景相比未变化时,前一次实拍时预览图像和实拍图像在第三参数上的差异可作为一致性增强模块504的调整依据,从而使一致性增强模块504输出的预览图像在颜色参数、亮度参数、对比度参数、饱和度参数以及动态范围参数上更加逼近实拍图像,因此,一致性质量评估模块501可将前一次实拍时预览图像和实拍图像在第三参数上的差异反馈给一致性增强模块504。
其中,第三参数包括颜色参数、亮度参数、对比度参数、饱和度参数或者动态范围参数中至少一种。前一次实拍的预览图像为第一预览图像,前一次实拍的实拍图像为第一实拍图像。
图12为本申请提供的拍照预览方法的另一实施例的流程示意图,本实施例提供的拍照预览方法,包括:
S1201、智能曝光模块502感知当前拍照场景下的环境参数值。
S1202、智能曝光模块502在第二映射关系中查找当前拍照场景下的环境参数值对应的曝光参数值。
S1203、摄像头根据查到的曝光参数值采集第一图像。
S1204、全局亮度矫正模块503根据第一图像,对第一图像对应的亮度参数曲线进行调整,得到第二图像。
S1201-S1204实现过程可参见上述实施例中的S801-S804。
下面介绍一致性增强模块504执行的步骤,一致性增强模块504执行的步骤分为两种情况,若一致性增强模块504接收到了一致性质量评估模块501反馈的第一预览图像与第一实拍图像在第三参数上的差异,以及该差异的置信度,则执行S1205-S1207,若未接收到,则执行S1208。
S1205、一致性增强模块504判断当前拍照场景和第一实拍图像对应的拍照场景是否相同,若相同,则执行S1206-S1207,则不同,则执行S1208。
一种可能的实现方式中,一致性增强模块504可判断摄像头采集图像时刻与前一次实拍时刻间隔的时间是否超过预设值,若超过预设值,则确定拍照场景有变化,若未超过预设值,则确定拍照场景没有变化。
另一种可能的实现方式中,智能曝光模块502可判断当前环境参数值和前一次实拍时环境参数值之间的差异是否超过预设值,若超过预设值,则向一致性增强模块504发送指令,以告知一致性增强模块504拍照场景有变化,若未超过预设值,则向一致性增强模块504发送指令,以告知一致性增强模块504拍照场景没有变化。
S1206、一致性增强模块504根据第一置信度,确定是否生效第三差异。若是,则执行S1207,若否,则执行S1208。
一种可能的实现方式中,一致性增强模块504可判断第一置信度是否大于第一预设值,若是,则可生效第三差异,若否,则不生效第三差异。
其中,第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景。
S1207、一致性增强模块504根据第三差异,对第一网络模型进行调整,得到第二预览图像。
一种可能的实现方式中,一致性增强模块504根据一致性质量评估模块501反馈的差异,对第一网络模型进行调整的方式可参见上文关于一致性增强模块504的介绍,本申请在此不再赘述。
S1208、利用第一网络模型对第二图像进行处理,得到第二预览图像。
S1208实现过程可参见上述实施例中的S805。
当终端设备的处理器接收到触发拍照的第二触控操作后,采用相应的出帧策略得到实拍图像,参见图2所示,该第二触控操作可以是用户单击拍照按钮的操作,也可以是用户双击相机按钮的操作,或者其他能够触发拍照的操作,本申请对此不做限定。
终端设备的处理器将实拍图像进一步发送给一致性质量评估模块501,在不同的拍照场景下,预览图像和实拍图像的差异不同,比如:在白天场景下,预览图像可能相对于实拍图像亮度偏低,而在晚上场景下,预览图像可能相对于实拍图像亮度是偏高的。当用户拍照场景有变时,比如用户前一次实拍在白天,后一次实拍在晚上,因为前后两次拍张场景的变化,前一次实拍图像和预览图像的差异并不能为后一次预览提供参考,一致性质量评估模块501可执行如下步骤:
一致性质量评估模块501在接收到处理器发送第二实拍图像后,判断第二实拍图像是否满足反馈差异的触发条件,若满足,则向一致性增强模块504反馈第二预览图像和第二实拍图像在第三参数上的差异;若不满足,则不向一致性增强模块504反馈第二预览图像和第二实拍图像在第三参数上的差异。
其中,第二实拍图像为第二预览图像对应的实拍图像。
一种可能的实现方式中,上述触发条件可以为第二实拍图像和第一实拍图像间隔的时间小于预设值,比如3s。也就是说,只有在第二实拍图像和第一实拍图像间隔的时间小于预设值的情况下,一致性质量评估模块501才会向一致性增强模块504反馈相应的差异。
一种可能的实现方式中,一致性质量评估模块501还可根据第二实拍图像和第一实拍图像间隔的时间,确定第二置信度。一致性质量评估模块501向一致性增强模块504反馈相应的差异时,还可同时反馈第二置信度,该第二置信度可用于一致性增强模块504根据该第二置信度确定是否生效一致性质量评估模块501反馈的差异。
一种可能的实现方式中,可从第三映射关系中查找第二置信度,第三映射关系用于指示时间和置信度的对应关系。
其中,第二置信度用于表征当前拍照场景和第一实拍图像对应的拍照场景是同一场景的可能性。第二实拍图像和第一实拍图像间隔的时间越短,第二置信度越高,第二实拍图像和第一实拍图像间隔的时间越长,第二置信度越低。
另一种可能的实现方式中,上述触发条件可以为第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值差距小于预设值,也就是说,只有在第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值差距小于预设值的情况下,一致性质量评估模块501才会向一致性增强模块504反馈相应的差异。
一种可能的实现方式中,一致性质量评估模块304还可根据第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距确定第二置信度。一致性质量评估模块501向一致性增强模块504反馈相应的差异时,还可同时反馈第二置信度,该第二置信度可用于一致性增强模块504根据该第二置信度确定是否生效一致性质量评估模块501反馈的差异。
一种可能的实现方式中,可从第四映射关系中查找第二置信度,第四映射关系用于指示环境参数值的差距和置信度的对应关系。
其中,第二置信度用于表征当前拍照场景和第一实拍图像对应的拍照场景是同一场景的可能性。第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距越小,第二置信度越高,第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距越大,第二置信度越低。
可选的,第二实拍图像对应的环境参数值和第一实拍图像对应的环境参数值的差距可由智能曝光模块502发送给一致性质量评估模块501。
上述触发条件的设置使得用户在同一拍照场景频繁拍照的情况下,终端设备提供的预览图像越来越逼近实拍图像,提升了用户使用体验。而且上文S1205中一致性增强模块504对拍照场景的判断,使得用户更换拍照场景后,前一次实拍的预览图像与实拍图像之间的差异不会作用到更换拍照场景后的预览图像上,进一步提升了用户使用体验。
本实施例提供的拍照预览方法,当第二实拍图像满足预设条件时,一致性质量评估模块501可将第二预览图像和第二实拍图像在第三参数上的差异反馈给一致性增强模块504,一致性增强模块504结合该差异调整模型权重,使输出的预览图像在颜色参数、亮度参数、对比度参数、饱和度参数以及动态范围参数上更加逼近实拍图像。
参见图13所示,左侧为通过上述实施例提供的方法得到的第二预览图像,右侧为第二预览图像对应的第二实拍图像。可见,经过上述智能曝光模块301根据一致性质量评估模块304反馈的差异对第一曝光参数值所做的调整,全局亮度矫正模块302根据一致性质量评估模块304反馈的差异对图像的亮度参数曲线参数所做的调整,以及一致性增强模块303根据一致性质量评估模块304反馈的差异对全局矫正后的图像所做的调整,使得拍照模块500输出的预览图像更加逼近实拍图像,从而使用户能够通过预览图像提前获知实际拍摄的效果,极大程度地影响了用户的使用体验感。
图14示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,传感器模块180,按键190,马达191,指示器192,摄像头193以及显示屏194等。其中传感器模块180可以包括接近光传感器180G,触摸传感器180K,环境光传感器180L等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口耦合摄像头193。例如:处理器110可以通过I2C接口耦合摄像头193,使处理器110与摄像头193通过I2C总线接口通信,实现电子设备100的拍照功能。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度参数,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
处理器110接收到第一触控操作后,唤醒摄像头193,摄像头193中的智能曝光模块感知当前环境参数值,在存储的环境参数值和曝光参数值之间的对应关系中查找当前环境参数值对应的曝光参数值,根据查找到的曝光参数值,对终端设备的曝光参数进行调整,由于环境参数值和曝光参数值之间的对应关系是结合预览图像和实拍图像之间的差异得到的,使得摄像头193在调整后的曝光参数下采集的图像更加逼近实拍图像,提升了预览图像和实拍图像显示效果一致性,提升了用户使用体验。
智能曝光模块在存储的环境参数值和曝光参数值之间的对应关系中无法查找到当前环境参数值对应的曝光参数值情况下,根据当前环境参数值,从第一映射关系中查找当前环境参数值对应的曝光参数基础值,根据一致性质量评估模块501反馈的当前环境参数下预览图像和实拍图像在亮度参数和动态范围参数上至少一种差异,对曝光参数基础值进行调整,得到调整后的曝光参数值,将当前环境参数值与该调整后的曝光参数值之间的对应关系记录下来,供电子设备在查找当前环境参数值对应的曝光参数值时使用。
在电子设备开发过程中,可通过图9所示方法配置环境参数值和曝光参数值之间的对应关系。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度参数。电子设备100可以根据感知的环境光亮度参数自适应调节显示屏194亮度参数。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

Claims (38)

1.一种拍照预览方法,其特征在于,包括:
根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值,所述曝光参数包括曝光值、曝光时间或者感光度中的至少一种,所述环境参数包括亮度参数或者动态范围参数中的至少一种,所述第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系;
根据当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值,所述第一参数包括亮度参数或者动态范围参数中的至少一种;
摄像头根据所述第二曝光参数值采集第一图像;
对所述第一图像进行处理,得到第二预览图像。
2.根据权利要求1所述的方法,其特征在于,所述根据当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,包括:
若所述第一差异包括亮区细节较少,则降低所述第一曝光参数值;
若所述第一差异包括暗区细节较少,则提高所述第一曝光参数值。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述第一图像进行处理,得到第二预览图像,包括:
根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像;
根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,所述第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数中的至少一种,得到第二网络模型;
利用所述第二网络模型对所述第二图像进行处理,得到所述第二预览图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像,包括:
根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,得到第三图像;
根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像。
5.根据权利要求4所述的方法,其特征在于,所述根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,包括:
若对所述第一曝光参数值所做的调整为提高所述第一曝光参数值,则降低所述第一图像对应的亮度参数曲线上亮区的亮度;
若对所述第一曝光参数值所做的调整为降低所述第一曝光参数值,则提高所述第一图像对应的亮度参数曲线上暗区的亮度。
6.根据权利要求4或5所述的方法,其特征在于,所述根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像,得到所述第二图像,包括:
若所述第二差异为亮度偏高,则降低所述第三图像对应的亮度参数曲线上所有区域的亮度;
若所述第二差异为亮度偏低,则提高所述第三图像对应的亮度参数曲线上所有区域的亮度。
7.根据权利要求3-6任一项所述的方法,其特征在于,所述根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,包括:
若所述第三差异为对比度参数偏低,则提高所述第一网络模型中对比度参数对应的网络模型的权重。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值之前,所述方法还包括:
在第二映射关系中查找所述环境参数值对应的曝光参数值;
若在所述第二映射关系中查不到所述环境参数值对应的曝光参数值,则根据所述环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值;
若在所述第二映射关系中查到所述环境参数值对应的曝光参数值,则所述摄像头根据查到的曝光参数值采集所述第一图像。
9.根据权利要求8所述的方法,其特征在于,所述在第二映射关系中查找所述环境参数值对应的曝光参数值之前,所述方法还包括:
在任一拍照场景下,根据所述拍照场景下的环境参数值和所述第一映射关系,确定所述拍照场景对应的第三曝光参数值,所述拍照场景包括默认场景、人像场景、夜景、全景或者高动态场景中的至少一种;
根据所述拍照场景下的预览图像和实拍图像在第一参数上的差异,对所述第三曝光参数值进行调整,得到第四曝光参数值;
将所述拍照场景下的环境参数值和所述第四曝光参数值的对应关系添加至所述第二映射关系中。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
将当前拍照场景下的环境参数值和所述第二曝光参数值的对应关系添加至所述第二映射关系中。
11.根据权利要求3-10任一项所述的方法,其特征在于,所述根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像之前,所述方法还包括:
判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;
若相同,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;
若不同,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
12.根据权利要求11所述的方法,其特征在于,所述根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整之前,所述方法还包括:
根据第一置信度,确定是否生效所述第二差异,所述第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景;
若是,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;
若否,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
13.根据权利要求12所述的方法,其特征在于,所述根据第一置信度,确定是否生效所述第二差异,包括:
若所述第一置信度大于第一预设值,则生效所述第二差异;
若所述第一置信度小于或者等于第一预设值,则不生效所述第二差异。
14.根据权利要求3-13任一项所述的方法,其特征在于,所述根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整之前,所述方法还包括:
判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;
若相同,则根据所述第三差异,对第一网络模型进行调整;
若不同,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第三差异,对第一网络模型进行调整之前,所述方法还包括:
根据第一置信度,确定是否生效所述第三差异;
若是,则根据所述第三差异,对第一网络模型进行调整;
若否,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
16.根据权利要求15所述的方法,其特征在于,所述根据第一置信度,确定是否生效所述第三差异,包括:
若所述第一置信度大于第一预设值,则生效所述第三差异;
若所述第一置信度小于或者等于第一预设值,则不生效所述第三差异。
17.根据权利要求1-16任一项所述的方法,其特征在于,所述方法还包括:
获取所述第二预览图像对应的第二实拍图像;
判断所述第二实拍图像和第一实拍图像间隔的时间是否小于第二预设值;
若是,则对比所述第二预览图像和所述第二实拍图像,得到所述第二预览图像和所述第二实拍图像在颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数上至少一种差异。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
根据所述第二实拍图像和第一实拍图像间隔的时间,确定第二置信度,所述第二置信度用于表征当前拍照场景和所述第一实拍图像对应的拍照场景是同一场景的可能性。
19.一种电子设备,包括:一致性质量评估模块、智能曝光模块、全局亮度矫正模块、一致性增强模块以及摄像头,其特征在于,
所述智能曝光模块用于,根据当前拍照场景下的环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值,所述曝光参数包括曝光值、曝光时间或者感光度中的至少一种,所述环境参数包括亮度参数或者动态范围参数中的至少一种,所述第一映射关系用于指示不同环境参数值和不同曝光参数值之间的对应关系;根据一致性质量评估模块反馈的当前拍照场景下的第一预览图像和第一实拍图像在第一参数上的第一差异,对所述第一曝光参数值进行调整,得到第二曝光参数值,所述第一参数包括亮度参数或者动态范围参数中的至少一种;
所述摄像头用于,根据所述第二曝光参数值采集第一图像;
所述全局亮度矫正模块和一致性增强模块用于,对所述第一图像进行处理,得到第二预览图像。
20.根据权利要求19所述的电子设备,其特征在于,所述智能曝光模块具体用于:
若所述第一差异包括亮区细节较少,则降低所述第一曝光参数值;
若所述第一差异包括暗区细节较少,则提高所述第一曝光参数值。
21.根据权利要求19或20所述的电子设备,其特征在于,
所述全局亮度矫正模块具体用于,根据所述第一预览图像和所述第一实拍图像在亮度参数上的第二差异,对所述第一图像对应的亮度参数曲线进行调整,得到第二图像;
所述一致性增强模块具体用于,根据所述第一预览图像和所述第一实拍图像在第三参数上的第三差异,对第一网络模型进行调整,所述第三参数包括颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数中的至少一种,得到第二网络模型;利用所述第二网络模型对所述第二图像进行处理,得到所述第二预览图像。
22.根据权利要求21所述的电子设备,其特征在于,
所述全局亮度矫正模块具体用于,根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行初步调整,得到第三图像;根据所述第二差异,对所述第三图像对应的亮度参数曲线进行调整,得到所述第二图像。
23.根据权利要求22所述的电子设备,其特征在于,
所述全局亮度矫正模块具体用于,若对所述第一曝光参数值所做的调整为提高所述第一曝光参数值,则降低所述第一图像对应的亮度参数曲线上亮区的亮度;若对所述第一曝光参数值所做的调整为降低所述第一曝光参数值,则提高所述第一图像对应的亮度参数曲线上暗区的亮度。
24.根据权利要求22或23所述的电子设备,其特征在于,
所述全局亮度矫正模块具体用于,若所述第二差异为亮度偏高,则降低所述第三图像对应的亮度参数曲线上所有区域的亮度;若所述第二差异为亮度偏低,则提高所述第三图像对应的亮度参数曲线上所有区域的亮度。
25.根据权利要求21-24任一项所述的电子设备,其特征在于,
所述一致性增强模块具体用于,若所述第三差异为对比度参数偏低,则提高所述第一网络模型中对比度参数对应的网络模型的权重。
26.根据权利要求19-25任一项所述的电子设备,其特征在于,
所述智能曝光模块还用于,在第二映射关系中查找所述环境参数值对应的曝光参数值;若在所述第二映射关系中查不到所述环境参数值对应的曝光参数值,则根据所述环境参数值和第一映射关系,确定当前拍照场景对应的第一曝光参数值;若在所述第二映射关系中查到所述环境参数值对应的曝光参数值,则所述摄像头根据查到的曝光参数值采集所述第一图像。
27.根据权利要求26所述的电子设备,其特征在于,
所述智能曝光模块还用于,在任一拍照场景下,根据所述拍照场景下的环境参数值和所述第一映射关系,确定所述拍照场景对应的第三曝光参数值,所述拍照场景包括默认场景、人像场景、夜景、全景或者高动态场景中的至少一种;根据所述拍照场景下的预览图像和实拍图像在第一参数上的第四差异,对所述第三曝光参数值进行调整,得到第四曝光参数值;将所述拍照场景下的环境参数值和所述第四曝光参数值的对应关系添加至所述第二映射关系中。
28.根据权利要求19-28任一项所述的电子设备,其特征在于,
所述智能曝光模块还用于,将当前拍照场景下的环境参数值和所述第二曝光参数值的对应关系添加至所述第二映射关系中。
29.根据权利要求21-28任一项所述的电子设备,其特征在于,
所述全局亮度矫正模块还用于,判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若不同,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
30.根据权利要求29所述的电子设备,其特征在于,
所述全局亮度矫正模块还用于,根据第一置信度,确定是否生效所述第二差异,所述第一置信度用于表征所述第一实拍图像对应的拍照场景和第一拍照场景是同一场景的可能性,所述第一拍照场景为所述第一实拍图像的前一次实拍图像对应的拍照场景;若是,则根据所述第二差异,对所述第一图像对应的亮度参数曲线进行调整;若否,则根据对所述第一曝光参数值所做的调整,对所述第一图像对应的亮度参数曲线进行调整,得到所述第二图像。
31.根据权利要求30所述的电子设备,其特征在于,
所述全局亮度矫正模块具体用于,若所述第一置信度大于第一预设值,则生效所述第二差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第二差异。
32.根据权利要求21-31任一项所述的电子设备,其特征在于,
所述一致性增强模块还用于,判断当前拍照场景和所述第一实拍图像对应的拍照场景是否相同;若相同,则根据所述第三差异,对第一网络模型进行调整;若不同,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
33.根据权利要求32所述的电子设备,其特征在于,
所述一致性增强模块还用于,根据第一置信度,确定是否生效所述第三差异;若是,则根据所述第三差异,对第一网络模型进行调整;若否,则利用所述第一网络模型对所述第二图像进行处理,得到所述第二预览图像。
34.根据权利要求33所述的电子设备,其特征在于,
所述一致性增强模块具体用于,若所述第一置信度大于第一预设值,则生效所述第三差异;若所述第一置信度小于或者等于第一预设值,则不生效所述第三差异。
35.根据权利要求19-34任一项所述的电子设备,其特征在于,
所述一致性质量评估模块用于,获取所述第二预览图像对应的第二实拍图像;判断所述第二实拍图像和第一实拍图像间隔的时间是否小于第二预设值;若是,则对比所述第二预览图像和所述第二实拍图像,得到所述第二预览图像和所述第二实拍图像在颜色参数、亮度参数、动态范围参数、对比度参数或者饱和度参数上至少一种差异,并将所述第二预览图像和所述第二实拍图像在第一参数上的差异反馈给所述智能曝光模块,将所述第二预览图像和所述第二实拍图像在亮度参数上的差异反馈给所述全局亮度矫正模块,将所述第二预览图像和所述第二实拍图像在第三参数上的差异反馈给所述一致性增强模块。
36.根据权利要求35所述的电子设备,其特征在于,
所述一致性质量评估模块还用于,
根据所述第二实拍图像和第一实拍图像间隔的时间,确定第二置信度,所述第二置信度用于表征当前拍照场景和所述第一实拍图像对应的拍照场景是同一场景的可能性,并将所述第二置信度反馈给所述全局亮度矫正模块和所述一致性增强模块。
37.一种电子设备,其特征在于,包括:存储器、处理器和摄像头;所述处理器用于与所述存储器耦合,读取并执行所述存储器中的指令,以实现权利要求1-18中任一项所述的方法,所述摄像头用于采集图像。
38.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序;所述计算机程序在被执行时,实现上述权利要求1-18任一项所述的方法。
CN202011141178.XA 2020-10-22 2020-10-22 拍照预览方法、电子设备以及存储介质 Active CN114390212B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011141178.XA CN114390212B (zh) 2020-10-22 2020-10-22 拍照预览方法、电子设备以及存储介质
PCT/CN2021/116839 WO2022083325A1 (zh) 2020-10-22 2021-09-07 拍照预览方法、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011141178.XA CN114390212B (zh) 2020-10-22 2020-10-22 拍照预览方法、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN114390212A true CN114390212A (zh) 2022-04-22
CN114390212B CN114390212B (zh) 2023-03-24

Family

ID=81195038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011141178.XA Active CN114390212B (zh) 2020-10-22 2020-10-22 拍照预览方法、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN114390212B (zh)
WO (1) WO2022083325A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095513B (zh) * 2022-08-05 2024-03-26 荣耀终端有限公司 拍照方法和相关装置
CN115460355B (zh) * 2022-08-31 2024-03-29 青岛海信移动通信技术有限公司 一种图像采集方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045457A1 (zh) * 2014-09-23 2016-03-31 努比亚技术有限公司 拍摄方法、装置和计算机存储介质
CN105611037A (zh) * 2015-07-22 2016-05-25 宇龙计算机通信科技(深圳)有限公司 终端的控制方法、终端的控制装置和终端
CN107613191A (zh) * 2017-08-01 2018-01-19 努比亚技术有限公司 一种拍照方法、设备及计算机可读存储介质
CN108495033A (zh) * 2018-03-28 2018-09-04 努比亚技术有限公司 一种拍照调控方法、设备及计算机可读存储介质
CN110392214A (zh) * 2019-08-05 2019-10-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110445988A (zh) * 2019-08-05 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823829B2 (en) * 2010-09-16 2014-09-02 Canon Kabushiki Kaisha Image capture with adjustment of imaging properties at transitions between regions
WO2011157245A2 (zh) * 2011-08-29 2011-12-22 华为终端有限公司 自动曝光方法、装置和成像设备
CN107241504B (zh) * 2017-06-08 2020-03-27 努比亚技术有限公司 一种图像处理方法、移动终端和计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016045457A1 (zh) * 2014-09-23 2016-03-31 努比亚技术有限公司 拍摄方法、装置和计算机存储介质
CN105611037A (zh) * 2015-07-22 2016-05-25 宇龙计算机通信科技(深圳)有限公司 终端的控制方法、终端的控制装置和终端
CN107613191A (zh) * 2017-08-01 2018-01-19 努比亚技术有限公司 一种拍照方法、设备及计算机可读存储介质
CN108495033A (zh) * 2018-03-28 2018-09-04 努比亚技术有限公司 一种拍照调控方法、设备及计算机可读存储介质
CN110392214A (zh) * 2019-08-05 2019-10-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110445988A (zh) * 2019-08-05 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114390212B (zh) 2023-03-24
WO2022083325A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
CN109005366A (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
US10165243B2 (en) Image processing device, imaging device, image processing method, and program
CN110471606B (zh) 输入方法及电子设备
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
US11438521B2 (en) Image capturing device, image capturing method, and program
WO2022083325A1 (zh) 拍照预览方法、电子设备以及存储介质
CN112532892A (zh) 图像处理方法及电子装置
WO2024045670A1 (zh) 生成高动态范围视频的方法和电子设备
WO2024087804A1 (zh) 切换摄像头的方法与电子设备
CN116320771B (zh) 一种拍摄方法和电子设备
CN116744120B (zh) 图像处理方法和电子设备
CN115604572A (zh) 图像的获取方法及装置
WO2021185374A1 (zh) 一种拍摄图像的方法及电子设备
CN117135471A (zh) 一种图像处理方法和电子设备
CN115767290A (zh) 图像处理方法和电子设备
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN114463191A (zh) 一种图像处理方法及电子设备
WO2023160221A1 (zh) 一种图像处理方法和电子设备
WO2023160220A1 (zh) 一种图像处理方法和电子设备
CN116055855B (zh) 图像处理方法及其相关设备
CN115633262B (zh) 图像处理方法和电子设备
CN117201930B (zh) 一种拍照方法和电子设备
CN117395495B (zh) 一种图像处理方法及电子设备
CN116668836B (zh) 拍照处理方法和电子设备
CN117692753A (zh) 一种拍照方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant