CN117499779B - 一种图像预览方法、设备以及存储介质 - Google Patents

一种图像预览方法、设备以及存储介质 Download PDF

Info

Publication number
CN117499779B
CN117499779B CN202311817502.9A CN202311817502A CN117499779B CN 117499779 B CN117499779 B CN 117499779B CN 202311817502 A CN202311817502 A CN 202311817502A CN 117499779 B CN117499779 B CN 117499779B
Authority
CN
China
Prior art keywords
frame
exposure
image
abnormal
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311817502.9A
Other languages
English (en)
Other versions
CN117499779A (zh
Inventor
于广财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202311817502.9A priority Critical patent/CN117499779B/zh
Publication of CN117499779A publication Critical patent/CN117499779A/zh
Application granted granted Critical
Publication of CN117499779B publication Critical patent/CN117499779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像预览方法、设备以及存储介质,涉及终端技术领域,包括:获得响应拍照指令采集的图像帧序列,其中,所述图像帧序列中包括不同曝光参数的图像帧;基于所述图像帧序列中各图像帧的曝光参数,识别所述图像帧序列中的非正常曝光帧;以所述图像帧序列中正常曝光帧的亮度为基准,基于所述非正常曝光帧的曝光参数,调整所述非正常曝光帧的亮度;预览显示调整亮度后的非正常曝光帧以及所述正常曝光帧。可见,通过本申请实施例提供的方案进行图像预览,可以解决用户点击快门控件后,显示屏的预览区域出现的预览停顿问题,从而提高用户的拍照体验。

Description

一种图像预览方法、设备以及存储介质
技术领域
本申请涉及终端技术领域,特别是涉及一种图像预览方法、设备以及存储介质。
背景技术
用户打开手机等电子设备的相机应用后,电子设备的摄像头不断采集正常曝光帧,并发送给电子设备的显示屏,显示屏在其预览区域进行预览显示,其中,上述正常曝光帧为EV(Exposure Values,曝光量)值为EV0的曝光帧。
当相机应用处于变曝光多帧融合拍照模式时,用户点击快门控件后,摄像头采集不同曝光量的曝光帧,然后向显示屏发送图像帧之前,处理器通常会识别出摄像头所采集图像帧中的非正常曝光帧,并丢弃识别出的非正常曝光帧。这样,在用户点击快门控件后,显示屏中预览区域会存在短时间的预览停顿,导致用户拍照体验较差。
发明内容
本申请实施例的目的在于提供一种图像预览方法、设备以及存储介质,以解决用户点击快门控件后,显示屏的预览区域出现的预览停顿问题。具体技术方案如下:
第一方面,为了达到上述目的,本申请实施例提供了一种图像预览方法,所述方法包括:
获得响应拍照指令采集的图像帧序列,其中,所述图像帧序列中包括不同曝光参数的图像帧;
基于所述图像帧序列中各图像帧的曝光参数,识别所述图像帧序列中的非正常曝光帧;
以所述图像帧序列中正常曝光帧的亮度为基准,基于所述非正常曝光帧的曝光参数,调整所述非正常曝光帧的亮度;
预览显示调整亮度后的非正常曝光帧以及所述正常曝光帧。
由以上可见,本实施例提供的方案,在响应拍照指令采集到的包括不同曝光参数的图像帧的图像帧序列后,识别该图像帧序列中的非正常曝光帧。接着,以图像帧序列中正常曝光帧的亮度为基准,调整非正常曝光帧的亮度;然后,预览显示正常曝光帧和亮度调整后的非正常曝光帧。由于非正常曝光帧的亮度向正常曝光帧的亮度方向进行调整,因此亮度调整后的非正常曝光帧具有与正常曝光帧相接近的亮度。将正常曝光帧和亮度调整后的非正常曝光帧进行预览显示,可以在保持预览区域的预览画面的亮度一致性的基础上,对非正常曝光帧进行预览显示,从而解决了拍照后的预览停顿问题,提高了用户的拍照体验。
结合第一方面,在一种可能的实现方式中,所述预览显示调整亮度后的非正常曝光帧以及所述正常曝光帧,包括:
检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值;其中,所述基准帧为:所述图像帧序列中、所述非正常曝光帧的前一正常曝光帧;
若小于,则预览显示所对应亮度差异小于所述预设阈值的非正常曝光帧以及所述正常曝光帧。
由以上可见,本实施例提供的方案,可以保证预览区域所显示的预览画面的亮度的一致性,从而避免由于亮度差异过大导致的预览画面忽明忽暗的问题。
结合第一方面,在一种可能的实现方式中,所述方法还包括:
若所述亮度差异大于等于所述预设阈值,则丢弃所述非正常曝光帧。
由以上可见,本实施例提供的方案,可以保持预览区域的预览画面的亮度的一致性。
结合第一方面,在一种可能的实现方式中,所述以所述图像帧序列中正常曝光帧的亮度为基准,基于所述非正常曝光帧的曝光参数,调整所述非正常曝光帧的亮度,包括:
计算所述非正常曝光帧的曝光参数中曝光量EV值与所述正常曝光帧的曝光参数中EV值之间的比值;
基于所述比值,确定逆增益系数;
将所述非正常曝光帧中的各个像素点的像素值乘以所述逆增益系数,得到调整亮度后的非正常曝光帧。
由以上可见,本实施例提供的方案,可以准确的对各个非正常曝光帧的亮度进行调整。
结合第一方面,在一种可能的实现方式中,所述基于所述比值,确定逆增益系数,包括:
若所述比值大于1,确定逆增益系数为小于1的第一系数;
若所述比值小于1,确定所述逆增益系数为大于1的第二系数。
由以上可见,本实施例提供的方案,可以调暗该长曝光帧的亮度,以及调亮短曝光帧的亮度,从而得到亮度基本一致的曝光帧。
结合第一方面,在一种可能的实现方式中,所述基于所述图像帧序列中各图像帧的曝光参数,识别所述图像帧序列中的非正常曝光帧,包括:
从变曝光参数序列中,查找EV值不等于EV0的曝光参数,其中,所述变曝光参数序列为:响应于所述拍照指令采集各图像帧时所利用的曝光参数的序列;
将查找到的曝光参数对应的图像帧确定为非正常曝光帧。
由以上可见,本实施例提供的方案,可以快速识别出非正常曝光帧。
结合第一方面,在一种可能的实现方式中,在所述检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值之前,所述方法还包括:
基于所述非正常曝光帧的曝光参数中的增益Gain值,对所述非正常曝光帧进行降噪处理。
由以上可见,本实施例提供的方案,可以提高图像帧的信噪比,减少图像帧中的噪声。
结合第一方面,在一种可能的实现方式中,基于所述非正常曝光帧的曝光参数中的增益Gain值,对所述非正常曝光帧进行降噪处理的方式,包括:
确定所述非正常曝光帧的曝光参数中的Gain值对应的降噪等级;
根据预设的降噪等级和降噪算法的对应关系,选取所确定的降噪等级对应的降噪算法;
使用所选取的降噪算法,对所述非正常曝光帧进行降噪处理。
由以上可见,本实施例提供的方案,可以针对噪声不同的图像帧采用不同强度的降噪处理,从而得到噪声较少的图像帧。
第二方面,本申请实施例还提供了一种电子设备,包括:
一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行上述第一方面任一所述的图像预览方法。
第三方面,本申请实施例还提供了一种计算机可读存储介质,包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面任一所述的图像预览方法。
第四方面,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包含可执行指令,当所述可执行指令在电子设备上执行时,使得电子设备执行上述第一方面任一所述的图像预览方法。
第五方面,本申请实施例还提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备将数据输入芯片系统,并执行上述第一方面任一项所述的图像预览方法对数据进行处理后输出处理结果。
上述第二方面、第三方面、第四方面以及第五方面中各实施例所提供方案的有益效果可参见上述第一方面中各实施例所提供方案的有益效果。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种电子设备的硬件结构图;
图2为本申请实施例提供的一种电子设备的软件结构框图;
图3为本申请实施例提供的一种用户界面示意图;
图4为本申请实施例提供的一种拍摄界面示意图;
图5a为现有技术中一种帧序列的处理流程的示意图;
图5b为本申请实施例提供的一组不同曝光参数的曝光帧的示意图;
图5c为采用现有技术的处理流程处理后所显示的一组预览画面;
图5d为采用本申请的处理流程处理后所显示的一组预览画面;
图6为本申请实施例提供的一种图像预览方法的流程图;
图7为实现本申请实施例提供的图像预览方法中的步骤S604的流程图;
图8为本申请实施例提供的图像预览方法的一个具体示例的流程图;
图9为本申请实施例提供的一种模块交互示意图;
图10为本申请实施例提供的一种芯片系统的结构图。
具体实施方式
为了更好的理解本申请的技术方案,下面结合附图对本申请实施例进行详细描述。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一指令和第二指令是为了区分不同的用户指令,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
下面对本申请实施例所提供的图像预览方法涉及的部分概念进行说明。
变曝光帧:也就是非正常曝光帧,包括长曝光帧和短曝光帧;
长曝光帧:EV大于EV0的曝光帧;
短曝光帧:EV小于EV0的曝光帧;
EV:反映曝光多少的一个量,其中,EV0指的是在ISO(InternationalOrganization for Standardization,国际标准化组织)100,光圈系数为F1,曝光时间为1S时,得到的曝光量。
变曝光多帧融合拍照模式:又称为变曝光拍照模式,也就是开启HDR(HighDynamic Range,高动态范围)的拍照模式,是一种采集长曝光帧、短曝光帧和正常曝光帧等多种曝光参数的图像帧,并将该多种曝光参数的图像帧进行融合得到高动态范围图像的拍照模式。
下面,对本申请实施例所提供方案的应用场景进行介绍。
在灯光、夕阳等逆光场景下,相机通常会进入变曝光多帧融合拍照模式,以获得高动态范围的照片。现有技术中,变曝光多帧融合拍照模式下,摄像头采集不同曝光量的曝光帧,即原始帧序列,然后向显示屏发送图像帧之前,处理器执行两个处理流程。
第一个处理流程为:从原始帧序列中识别出变曝光帧,并将变曝光帧进行丢弃,将变曝光帧丢弃后的预览帧序列发送至显示屏,显示屏接收到预览帧序列后在其预览区域进行预览显示。第二个处理流程为:将原始帧序列中的长曝光帧、短曝光帧和正常曝光帧进行算法融合处理,得到高动态范围照片。
参见图5a,摄像头输出的原始帧序列中包括帧1、帧2、帧3、帧4和帧5,其中,每一帧中的白色圆圈、灰色圆圈和黑色圆圈表征不同的亮度,白色圆圈的亮度大于灰色圆圈的亮度大于黑色圆圈的亮度。帧1为正常曝光帧,可以看出帧2和帧5也为正常曝光帧,帧3的黑色圆圈更多,亮度更暗,为短曝光帧,帧4的白色圆圈更多,亮度更亮,为长曝光帧。从该原始帧序列中可以识别出帧3和帧4为变曝光帧,此时,对变曝光帧进行丢弃,得到已丢弃帧3和帧4的预览帧序列。然后,将该预览帧序列发送至显示屏,在该显示屏的预览区域逐帧预览显示该预览帧序列中所包括的帧1、帧2和帧5。在另一个处理流程中,将该原始帧序列中所包括的帧2、帧3和帧4进行算法融合处理,即融合正常曝光帧、短曝光帧和长曝光帧,得到高动态范围照片。
参见图5b,若用户在逆光场景下打开手机相机,采用变曝光多帧融合拍照模式针对正在跑步的小明进行拍照,当按下快门控件后,采集到如图5b所示的5帧图像,其中,帧1、帧2和帧5为正常曝光帧,帧3为短曝光帧,帧4为长曝光帧。参见图5c,由于将该5帧图像发送至显示屏之前,处理器会识别出变曝光帧并对变曝光帧进行丢弃,即丢弃帧3和帧4,此时相机的预览区域会逐个显示帧1、帧2和帧5。这样,由于帧2和帧5之间存在图像帧的缺失,导致在用户点击快门控件后,显示屏的预览区域出现的预览停顿,并且预览画面会出现跳动,导致用户拍照体验较差。
有鉴于此,在本申请实施例中,针对用户点击快门控件后,显示屏的预览区域出现的预览停顿问题,对现有技术中的第一个处理流程进行改进。在该改进后的处理流程中,在识别出原始帧序列中的变曝光帧后,对变曝光帧进行亮度逆增益处理以及噪声等其他处理,使得处理后的帧亮度和整体效果与正常曝光帧基本一致,并将处理后的曝光帧发送至显示屏,在显示屏的预览区域中进行预览显示。从而解决用户点击快门控件后,显示屏的预览区域出现的预览停顿问题。并且,预览区域所显示的预览画面的亮度基本一致。
示例性的,若采集的原始帧序列为如图5b所示的5帧图像,采用本申请实施例提供的改进后的处理流程进行处理,则将该5帧图像发送至显示屏之前,在识别出帧3和帧4为变曝光帧之后,对变曝光帧进行亮度调整。也就是,针对帧3,该帧为短曝光帧,则增大该曝光帧的亮度,针对帧4,该帧为长曝光帧,则减小该曝光帧的亮度,从而得到帧亮度基本一致的5帧图像。参见图5d,此时相机的预览区域会逐个显示帧1、帧2、亮度调整后的帧3、亮度调整后的帧4和帧5。可见采用本申请实施例提供的改进后的处理流程进行处理后,由于预览显示的各图像帧为连续的图像帧,因此,解决了用户点击快门控件后,显示屏的预览区域出现的预览停顿问题,且可以保证预览区域显示的预览画面的亮度基本一致。
下面,对本申请实施例所提供的图像预览方法进行介绍。本申请实施例提供了一种图像预览方法,该图像预览方法可以应用于电子设备。该电子设备是具备摄像头且提供拍照、显示服务的电子设备,例如智能手机、平板电脑、智能手表等。在灯光、夕阳等场景下相机应用进入变曝光多帧融合拍照模式后,根据该图像预览方法,电子设备可以对摄像头所采集到的变曝光帧的亮度进行调整,使得处理后的帧亮度与正常曝光帧基本一致,并将亮度处理后的变曝光帧在显示屏上的预览区域进行预览显示。使得显示屏上的预览区域显示连续的、帧亮度基本一致的曝光帧,从而,解决了用户点击快门控件后,显示屏的预览区域出现的预览停顿问题。并且,可以保证预览区域显示的预览画面的亮度基本一致。
下面对上述图像预览方法所应用的电子设备的结构进行介绍。
示例性的,图1示出了电子设备100的结构图。电子设备100可以包括处理器110,显示屏120,摄像头130,内部存储器140,SIM(Subscriber Identification Module,用户标识模块)卡接口150,USB(Universal Serial Bus,通用串行总线)接口160,充电管理模块170,电池管理模块171,带有电芯以及电池保护装置的电池172,传感器模块180,移动通信模块190,无线通信模块200,天线1以及天线2等。其中传感器模块180可以包括压力传感器180A,指纹传感器180B,触摸传感器180C,环境光传感器180D等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括CPU(CentralProcessing Unit,中央处理器)、AP(Application Processor,应用处理器),调制解调处理器,GPU(graphics processing unit,图形处理器),ISP(Image Signal Processor,图像信号处理器),控制器,视频编解码器,DSP(Digital Signal Processor,数字信号处理器),基带处理器,和/或NPU(Neural-network Processing Unit,神经网络处理器)等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在其他一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例性地,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。这样就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100处理数据或执行指令的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括I2C(Inter-Integrated Circuit,集成电路间)接口、I2S(Inter-Integrated Circuit Sound,集成电路间音频)接口、PCM(Pulse Code Modulation,脉冲编码调制)接口、UART(UniversalAsynchronous Receiver/Transmitter,通用异步收发传输器)接口、MIPI接口(MobileIndustry Processor Interface,移动产业处理器)、GPIO(General-Purpose Input/Output,通用输入输出)接口、SIM卡接口和/或USB接口等。其中,USB接口160是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口160可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。该USB接口160也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,用于示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块190、无线通信模块200、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100通过GPU,显示屏120,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏120和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏120用于显示图像、视频等。显示屏120包括显示面板。显示面板可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)、有源矩阵有机发光二极体或AMOLED(Active-Matrix Organic LightEmitting Diode,主动矩阵有机发光二极体)、FLED(Flex Light-Emitting Diode,柔性发光二极管)、MiniLed、MicroLed、Micro-oLed、QLED(Quantum Dot Light Emitting Diodes,量子点发光二极管)等。在一些实施例中,电子设备100可以包括1个或多个显示屏120。
在本申请的一些实施例中,当显示面板采用OLED、AMOLED、FLED等材料时,上述图1中的显示屏120可以被弯折。这里,上述显示屏120可以被弯折是指显示屏可以在任意部位被弯折到任意角度,并可以在该角度保持,例如,显示屏120可以从中部左右对折。也可以从中部上下对折。
电子设备100的显示屏120可以是一种柔性屏,目前,柔性屏以其独特的特性和巨大的潜力而备受关注。柔性屏相对于传统屏幕而言,具有柔韧性强和可弯曲的特点,可以给用户提供基于可弯折特性的新交互方式,可以满足用户对于电子设备的更多需求。对于配置有可折叠显示屏的电子设备而言,电子设备上的可折叠显示屏可以随时在折叠形态下的小屏和展开形态下大屏之间切换。因此,用户在配置有可折叠显示屏的电子设备上使用分屏功能,也越来越频繁。
电子设备100可以通过ISP、摄像头130、视频编解码器、GPU、显示屏120以及应用处理器等实现拍摄功能,其中,摄像头130包括前置摄像头和后置摄像头。
ISP用于处理摄像头130反馈的数据。例如,拍摄时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头130中。
摄像头130用于拍摄照片或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是CCD(Charge Coupled Cevice,电荷耦合器件)或CMOS(ComplementaryMetal-Oxide-Semiconductor,互补金属氧化物半导体)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB(Red Green Blue,红绿蓝),YUV(一种颜色编码方法)等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头130,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:MPEG(Moving Picture Experts Group,动态图像专家组)1、MPEG2、MPEG3和MPEG4。
NPU为神经网络计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
内部存储器140可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器140的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的图像预览方法,以及各种应用以及数据处理等。内部存储器140可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器140可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器等。在一些实施例中,处理器110可以通过运行存储在内部存储器140的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的图像预览方法,以及其他应用及数据处理。
内部存储器140可以用于存储本申请实施例中提供的图像预览方法的相关程序,处理器110可以用于在展示信息时调用内部存储器140中存储的图像预览方法的相关程序,执行本申请实施例的图像预览方法。
传感器模块180可以包括压力传感器180A、指纹传感器180B、触摸传感器180C、环境光传感器180D等。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏120。压力传感器180A的种类很多,例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板,当力作用于压力传感器180A,电极之间的电容改变,电子设备100根据电容的变化确定压力的强度。当触摸操作作用于显示屏120时,电子设备100根据压力传感器180A检测触摸操作。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令;当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
指纹传感器180B用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍摄和接听来电等功能。
触摸传感器180C,也称为触控器件。触摸传感器180C可以设置于显示屏120,由触摸传感器180C与显示屏120组成触摸屏,触摸屏也称为触控屏。触摸传感器180C用于检测作用于其上或其附近的触摸操作。触摸传感器180C可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏120提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180C也可以设置于电子设备100的表面,并且与显示屏120设置于不同的位置。
环境光传感器180D用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏120亮度。环境光传感器180D也可用于拍摄时自动调节白平衡。环境光传感器180D还可以将设备所处的环境信息传入GPU。
环境光传感器180D还用于获取摄像头130采集图像的采集环境的亮度、光比、色温等。
图2为本申请实施例适用的电子设备的一种软件结构框图。电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。分层架构将电子设备的软件系统分成若干个层,每一层都有清晰的角色和分工,层与层之间通过软件接口通信。在一些实施例中,可以将软件系统分为五层,分别为应用程序层、应用程序框架层、系统运行层、HAL(Hardware Abstract Layer,硬件抽象层)以及内核层。
应用程序层可以包括相机、图库以及具有相机功能的第三方应用等。示例性的,应用程序层还可以包括通话、日历、地图、导航、音乐、视频、短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器,相机服务等。
窗口管理器用于管理窗口程序,窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知信息被用于告知下载完成,消息提醒等。通知信息还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。通知信息例如为在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
相机服务用于响应于应用的请求,调用摄像头(包括前置摄像头和/或后置摄像头)。具体到本申请实施例中,相机服务可以响应于拍照指令调用摄像头进行图像采集,得到相应的图像帧。例如,检测到用户点击相机的快门控件,确定接收到拍照指令,调用摄像头采集图像。
系统运行层可以包括多个功能模块。例如 :表面管理器,媒体库,3D(ThreeDimensional,三维)图形处理库(例如:OpenGL ES),2D(Two Dimensional,二维)图形引擎等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264(一种新一代数字视频压缩格式),MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3),AAC(Advanced Audio Coding,高级音频编码),AMR(Adaptive Multi-Rate,自适应多码率),JPG(Joint Photographic Experts Group,一种图像文件格式),PNG(PortableNetwork Graphics,便携式网络图形)等。
3D图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
HAL为位于操作系统内核与硬件电路之间的接口层。HAL包括但不限于:图像处理模块。其中,图像处理模块用于对图像流进行处理。在本申请实施例中,启动相机之后,图像处理模块可收到来自相机的图像流,并可以对图像流进行处理,例如降噪处理,亮度处理,等等。
示例性的,相机应用运行时可将用户触发的拍照指令发送至相机服务。一方面,相机服务可将接收到的拍照指令发送至图像处理模块,使得图像处理模块可根据接收到的拍照指令调用内核层中的摄像头驱动,由摄像头驱动来驱动摄像头等硬件设备响应该拍照指令采集图像帧。例如,摄像头可按照一定的帧率,将采集到的每一帧图像传递给图像处理模块,由图像处理模块进行处理后送至显示屏中进行显示。另一方面,相机服务接收到上述拍照指令后,可根据接收到的拍照指令确定此时的拍摄策略,拍摄策略中设置了需要对采集到的图像数据执行的具体图像处理任务。例如,在预览模式下,拍照指令可在拍摄策略中设置图像处理任务1用于实现人脸检测功能。又例如,如果在预览模式下用户开启了美颜功能,则相机服务还可以在拍摄策略中设置图像处理任务2用于实现美颜功能。进而,相机服务可将确定出的拍摄策略发送至图像处理模块。当图像处理模块接收到摄像头采集到的每一帧图像数据后,可根据相机服务下发的拍摄策略对上述图像数据执行相应的图像处理任务,得到图像处理后的每一帧拍摄画面。
后续,图像处理模块可将经过图像处理后的每一帧拍摄画面通过相机服务上报给相机应用,相机应用可将每一帧拍摄画面在显示屏的预览区域中显示,或者,相机应用以照片或视频的形式将每一帧拍摄画面保存在电子设备内。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,图像传感器驱动,音频驱动等。硬件至少包括传感器、显示屏、摄像头、ISP等。
可以理解的是,图2示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
可以理解的是,电子设备为了实现本申请实施例提供的图像预览方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
下面介绍本申请实施例所提供的图像预览方法的一种应用场景。在本场景中,以电子设备为手机为例进行解释说明。
图3示例性示出了手机上的用于展示应用程序的用户界面300。用户界面300显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,天气应用图标、日历应用图标、邮件应用图标、设置应用图标、应用商店应用图标、便签应用图标、相册应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如,相机应用图标310、浏览器应用图标、电话应用图标、信息应用图标)。托盘图标在页面切换时保持显示。本申请实施例对用户界面300上显示的内容不作限定。
手机可以检测到用户作用于相机应用图标310的用户操作(比如触摸/点击操作),响应于该操作,手机可以显示图4所示的拍摄界面400。拍摄界面400可以是相机应用程序的默认拍照模式的用户界面,用户可以在该界面上完成拍照。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。也就是说,用户可以通过点击相机应用图标310来打开相机应用程序的拍摄界面400。可以理解的,默认拍照模式下的默认摄像头不限于为后置摄像头,手机也可以将前置摄像头设置为默认摄像头。也就是说,在开启相机应用程序之后,手机可以在预览区域420中显示前置摄像头采集的图像,可用于用户通过默认前置摄像头进行拍照。
图4示例性示出了手机中相机应用程序的拍摄界面400。如图4所示,拍摄界面400可包括参数调节区域410、预览区域420、相机模式选项区域430、图库快捷控件441、快门控件442、摄像头翻转控件443。其中,参数调节区域410中的各个控件用于相应的拍摄参数调整,包括但不限于:闪光灯设置控件、HDR开关设置控件411以及更加详细的相机设置控件。HDR开关设置控件411可用于在开启时触发电子设备采用HDR算法对多张不同曝光参数的图像进行融合处理。
预览区域420可用于显示预览图像,该预览图像为手机通过摄像头实时采集的图像。手机可以实时刷新预览区域420中的显示内容,以便于用户预览摄像头当前采集的图像。
相机模式选项区域430中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:夜景模式选项431、人像模式选项432、拍照模式选项433、录像模式选项434、和更多选项435。可以理解的,这一个或多个拍摄模式选项在界面上可以表现为文字信息,例如 “夜景”、“人像”、“拍照”、“录像”、 “更多”,还可以表现为图标或者其他形式的交互元素(interactive element,IE),本申请对此不作限制。
当检测到作用于拍摄模式选项上的用户操作,手机可以开启用户选择的拍摄模式。特别的,当检测到作用于更多选项435的用户操作,手机可以进一步显示更多的其他拍摄模式选项,如延时摄影模式选项、连拍模式选项等等,可以向用户展示更丰富的摄像功能。可以理解的,相机模式选项区域430中还可以包含更多或更少的拍摄模式选项,图4所示的相机模式选项仅为本申请的一种实现方式,不应视为对本申请的限制。
图库快捷控件441可用于开启图库应用程序。响应于作用在图库快捷控件441上的用户操作,例如触摸操作,手机可以开启图库应用程序。
快门控件442可用于监听触发拍照的用户操作。手机可以检测到作用于快门控件442的用户操作,响应于该操作,手机获取到相应的拍照图像,并合成最终输出的图像保存为图库应用程序中的图片。另外,手机还可以在图库快捷控件441中显示所保存的图像的缩略图。也就是说,用户可以通过作用于快门控件442的操作来触发拍照。可以理解的,快门控件442可以是按钮或者其他形式的控件,本申请对此不作限制。
摄像头翻转控件443可用于监听触发翻转摄像头的用户操作。手机可以检测到作用于摄像头翻转控件443的用户操作,例如触摸操作,响应于该操作,手机可以切换用于拍摄的摄像头,例如将后置摄像头切换为前置摄像头,或者将前置摄像头切换为后置摄像头。
拍摄界面400中还可以包含更多或更少的控件,本申请实施例对此不作限定。
下面通过具体实施例对本申请实施例提供的图像预览方法进行详细说明。
参见图6,为本申请实施例提供的一种图像预览方法的流程图,可以包括步骤S601-S604:
S601,获得响应拍照指令采集的图像帧序列,其中,图像帧序列中包括不同曝光参数的图像帧。
本实施例中,每一图像帧的曝光参数可以至少包括EV值,或者,包括Gain值和曝光时间Expo值,等等。其中,EV值为Gain值和Expo值的乘积。该拍照指令可以是用户点击相机应用的快门控件后触发的、用于采集多张不同曝光参数的图像帧的指令。
示例性的,在实际应用中,该拍照指令可以是用户在相机应用开启HDR的拍照模式下,点击快门控件所触发的指令。此时,处理器可以生成多个不同的曝光参数,相机应用将携带有曝光参数的拍照指令逐一下发至摄像头驱动,以驱动摄像头以所接收到的曝光参数来采集图像帧,得到包括不同曝光参数的图像帧序列。示例性的,如图4所示,用户可以在HDR开关设置控件411开启后点击快门控件442,此时,相机应用生成采集不同曝光参数的图像帧的拍照指令发送给摄像头驱动,摄像头驱动接收到该拍照指令后,驱动摄像头采集长曝光帧、短曝光帧和正常曝光帧等不同曝光参数的图像帧。示例性的,图像帧序列中所包括的不同曝光参数的图像帧可以是EV值为EV+1、EV+2、EV0、EV-1、EV-2等的图像帧。其中,EV+1的曝光量为EV0的两倍,EV+2的曝光量为EV+1的两倍,以此类推;EV0的曝光量为EV-1的两倍,EV-1的曝光量为EV-2的两倍,以此类推。
S602,基于图像帧序列中各图像帧的曝光参数,识别图像帧序列中的非正常曝光帧。
本实施例中,基于各图像帧的曝光参数,可以确定该图像帧的EV值,并将EV值不等于EV0的图像帧,识别为非正常曝光帧。需要说明的是,在一些实施例中,该非正常曝光帧还可以是所对应EV值不处于预设范围内的曝光帧,而正常曝光帧为所对应EV值处于预设范围内的曝光帧,这都是合理的。示例性的,该预设范围可以是(EV-1,EV+1),此时可以将该范围外的曝光帧识别为非正常曝光帧,将该范围内的曝光帧识别为正常曝光帧。
示例性的,在获取到图像帧序列后,可以遍历该图像帧序列中各图像帧的曝光参数,根据该曝光参数确定该图像帧对应的EV值,并判断该EV值是否为EV0。若该图像帧的EV值等于EV0,则该图像帧为正常曝光帧,若该图像帧的EV值不等于EV0,则该图像帧为非正常曝光帧。示例性的,若图像帧序列中各图像帧的曝光参数分别为EV+1、EV0、EV-1,则可以将曝光参数为EV+1和EV-1的图像帧识别为非正常曝光帧。
示例性的,各图像帧的曝光参数可以是预设的曝光参数序列中的各参数,该预设的曝光参数序列可以是相关工作人员根据经验所设置的。触发采集不同曝光参数的图像帧的拍照指令后,处理器从该预设的曝光参数序列中获取各曝光参数,并下发至摄像头驱动,以驱动摄像头采集该不同曝光参数的图像帧。使得在得到图像帧序列后,可以根据所采集的图像帧与曝光参数序列中各曝光参数的一一对应关系,确定图像帧序列中各图像帧的曝光参数。
需要说明的是,各图像帧的曝光参数还可以是触发采集不同曝光参数的图像帧的拍照指令后,处理器所实时生成的曝光参数序列中的曝光参数,此时,处理器将该所生成的曝光参数序列下发至摄像头驱动,以驱动摄像头采集该不同曝光参数的图像帧序列。在得到图像帧序列后,可以根据所采集的图像帧与所生成的曝光参数序列中各曝光参数的一一对应关系,确定图像帧序列中各图像帧的曝光参数。
可选地,在一种实现方式中,基于图像帧序列中各图像帧的曝光参数,识别图像帧序列中的非正常曝光帧,可以包括步骤A1-A2:
A1,从变曝光参数序列中,查找非正常曝光参数,其中,变曝光参数序列为:响应于拍照指令采集各图像帧时所利用的曝光参数的序列;
A2,将查找到的非正常曝光参数对应的图像帧确定为非正常曝光帧。
本实现方式中,非正常曝光参数可以是EV值不为EV0的曝光参数,或者,EV值不处于预设范围内的曝光参数,该预设范围可以是相关工作人员根据经验所设置的、与EV0的亮度基本一致的亮度范围,这都是合理的。
并且,变曝光参数序列可以是上述预设的曝光参数序列,或者,触发采集不同曝光参数的图像帧的拍照指令后,处理器所实时生成的曝光参数序列,这也都是合理的。此时,所采集的图像帧序列中的各图像帧与变曝光参数序列中各曝光参数具有一一对应的关系。
可以理解的是,由于所采集的图像帧序列中的各图像帧与变曝光参数序列中各曝光参数具有一一对应的关系,因此,在查找到非正常曝光参数后,可以根据该非正常曝光参数在该变曝光参数序列中的位置标识,将图像帧序列中具有该位置标识的图像帧确定为非正常曝光帧。
示例性的,若变曝光参数序列为{EV-1,EV0,EV+1},则摄像头输出的图像帧序列{帧1,帧2,帧3}为曝光参数与该变曝光参数序列中所包括的各参数一一对应的图像帧,此时,识别出变曝光参数序列中位置标识为1和3的曝光参数为非正常曝光参数,则可以将图像帧序列中位置标识为1和3的图像帧确定为非正常曝光帧,即将帧1和帧3确定为非正常曝光帧。
需要说明的是,本申请实施例对该识别非正常曝光帧的方式并不限定,例如,摄像头采集图像时可通过标签指示该图像的曝光量,例如第一标签对应长曝光、第二标签对应正常曝光、第三标签对应短曝光,从而在获取到图像帧序列后,可以根据图像的标签识别出非正常曝光帧。
S603,以图像帧序列中正常曝光帧的亮度为基准,基于非正常曝光帧的曝光参数,调整非正常曝光帧的亮度。
可以理解的是,由于图像帧序列中的各图像帧的曝光参数不同,若各图像帧的曝光量差异较大,将该图像帧序列送至显示屏后,显示屏的预览区域会出现画面忽明忽暗的跳动现象,因此,在将图像帧序列送显前,还可以以图像帧序列中的正常曝光帧的亮度为基准,对非正常曝光帧的亮度进行调整,从而,使得非正常曝光帧在亮度处理后具有与正常曝光帧相接近的亮度,以保持预览区域所显示画面的亮度一致。
可选地,在一种实现方式中,以图像帧序列中正常曝光帧的亮度为基准,基于非正常曝光帧的曝光参数,调整非正常曝光帧的亮度,可以包括步骤B1-B3:
B1,计算非正常曝光帧的曝光参数中的EV值与正常曝光帧的EV值之间的比值;
B2,基于比值,确定逆增益系数;
B3,将非正常曝光帧中的各个像素点的像素值乘以逆增益系数,得到调整亮度后的非正常曝光帧。
本实现方式中,曝光参数中可以包括EV值,通过计算非正常曝光帧的EV值与正常曝光帧的EV值之间的比值,可以基于该比值,确定针对非正常曝光帧进行亮度调整的逆增益系数。从而,可以准确的对各个非正常曝光帧的亮度进行调整。
示例性的,在一种具体的实现方式中,基于比值,确定逆增益系数,可以包括:
若所确定的比值大于1,确定逆增益系数为小于1的第一系数;
若所确定的比值小于1,确定逆增益系数为大于1的第二系数。
可以理解的是,若所确定的比值大于1,则该非正常曝光帧的图像亮度比正常曝光帧更亮,此时可以确定逆增益系数为小于1的第一系数;若所确定的比值小于1,则该非正常曝光帧的图像亮度比正常曝光帧更暗,此时可以确定逆增益系数为大于1的第二系数。示例性的,该小于1的第一系数可以是0.5、0.6,等等,该大于1的第二系数可以是2、3,等等。需要说明的是,本申请实施例对该逆增益系数的确定方式并不限定,例如在实际应用中,还可以直接将该比值的倒数确定为逆增益系数。
可以理解的是,若逆增益系数大于1,通过将非正常曝光帧中的各个像素点的像素值乘以逆增益系数,可以调亮该非正常曝光帧的亮度;若逆增益系数小于1,通过将非正常曝光帧中的各个像素点的像素值乘以逆增益系数,可以调暗该非正常曝光帧的亮度。从而,在确定出逆增益系数后,通过将非正常曝光帧中的各个像素点的像素值乘以逆增益系数,可以将非正常曝光帧的亮度向正常曝光帧的亮度方向进行调整,从而得到亮度基本一致的曝光帧。
需要说明的是,本申请对该调整非正常曝光帧的亮度的方式并不限定。例如,在实际应用中,还可以基于曝光参数识别非正常曝光帧为长曝光帧或短曝光帧,若为长曝光帧,则以第一预设步长对该曝光帧的亮度进行调整,若为短曝光帧,则以第二预设步长对该曝光帧的亮度进行调整。示例性的,该第一步长可以是-1EV、-2EV,该第二步长可以是+1EV、+2EV,等等。
S604,预览显示调整亮度后的非正常曝光帧以及正常曝光帧。
本实施例中,调整亮度后的非正常曝光帧以及正常曝光帧的预览显示方式,是按照图像帧的采集顺序,将调整亮度后的非正常曝光帧以及正常曝光帧在显示屏的预览区域中进行预览显示。
本实施例提供的方案中,在响应拍照指令采集到的包括不同曝光参数的图像帧的图像帧序列后,识别该图像帧序列中的非正常曝光帧。接着,以图像帧序列中正常曝光帧的亮度为基准,调整非正常曝光帧的亮度;然后,预览显示正常曝光帧和亮度调整后的非正常曝光帧。由于非正常曝光帧的亮度向正常曝光帧的亮度方向进行调整,因此亮度调整后的非正常曝光帧具有与正常曝光帧相接近的亮度。将正常曝光帧和亮度调整后的非正常曝光帧进行预览显示,可以在保持预览区域的预览画面的亮度一致性的基础上,对非正常曝光帧进行预览显示,从而解决了用户点击快门控件后,显示屏的预览区域出现的预览停顿问题,提高了用户的拍照体验。
可选地,在本申请的另一实施例中,如图7所示,上述步骤S604中预览显示调整亮度后的非正常曝光帧以及正常曝光帧,可以包括步骤S6041-S6042:
S6041,检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值;其中,基准帧为:图像帧序列中、非正常曝光帧的前一正常曝光帧;
S6042,若小于,则预览显示所对应亮度差异小于预设阈值的非正常曝光帧以及正常曝光帧。
可以理解的是,在预览显示前,检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值,若小于,表明调整亮度后的非正常曝光帧与基准帧的亮度基本一致。此时,预览显示调整亮度后的非正常曝光帧以及正常曝光帧,可以保证预览区域所显示的每一曝光帧与该曝光帧对应的前一正常曝光帧的亮度基本一致,从而可以保持预览画面的亮度的一致性,避免由于亮度差异过大导致的预览画面忽明忽暗的问题。示例性的,检测亮度差异的方式可以是:利用摄像头的ISP模块检测调整亮度后的非正常曝光帧的亮度,以及基准帧的亮度,然后计算两者之间的亮度差异。示例性的,该预设阈值可以是5%,10%,等等。
可选地,在一种实现方式中,上述方法还可以包括:
若亮度差异大于等于预设阈值,则丢弃非正常曝光帧。
本实现方式中,若调整亮度后的非正常曝光帧与基准帧之间的亮度差异仍然大于等于预设阈值,可以丢弃该非正常曝光帧,以保持预览区域的预览画面的亮度的一致性。
需要说明的是,本申请实施例对该亮度差异大于等于预设阈值的处理方式并不限定,例如若亮度差异大于预设阈值还可以继续以正常曝光帧的亮度为基准对该曝光帧进行亮度处理,以使得亮度差异小于预设阈值。
可选地,在一种实现方式中,在检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值之前,上述方法还可以包括:
基于非正常曝光帧的曝光参数中的Gain值,对非正常曝光帧进行降噪处理。
本实现方式中,曝光参数中包括Gain值,在针对非正常曝光帧进行亮度调整之后、预览显示之前,可以基于非正常曝光帧的Gain值对该非正常曝光帧进行降噪处理,以提高该帧的信噪比,减少图像帧中的噪声。
示例性的,在一种具体的实现方式中,基于非正常曝光帧的曝光参数中的Gain值,对非正常曝光帧进行降噪处理的方式,可以包括步骤C1-C3:
C1,确定非正常曝光帧的曝光参数中的Gain值对应的降噪等级;
C2,根据预设的降噪等级和降噪算法的对应关系,选取所确定的降噪等级对应的降噪算法;
C3,使用所选取的降噪算法,对非正常曝光帧进行降噪处理。
可以理解的是,若非正常曝光帧的Gain值较大,则该帧的图像噪声较大,此时可以进行降噪强度大的降噪处理;若非正常曝光帧的Gain值较小,则该帧的图像噪声较小,此时可以进行降噪强度小的降噪处理。因此,在本实现方式中,可以先确定Gain值对应的降噪等级,然后,根据预设的降噪等级与降噪算法的对应关系,选取所确定的降噪等级对应的降噪算法,对非正常曝光帧进行降噪处理。
示例性的,可以预设多个降噪等级,包括等级1、等级2、等级3,等等,等级越高表征降噪强度越强,并预设不同的降噪等级所对应的Gain值范围,在确定出非正常曝光帧的Gain值后,可以根据所确定的Gain值所处的范围,确定其对应的降噪等级。示例性的,该对应关系可以是等级1对应降噪算法1、等级2对应降噪算法2、等级3对应降噪算法3,其中,降噪算法3的降噪强度大于降噪算法2,降噪算法2的降噪强度大于降噪算法1。示例性的,降噪算法的类型可以包括中值滤波算法、均值滤波算法、ABF(adaptive bilateral filtering,自适应双边滤波)算法,等等。
在实际应用中,各个降噪等级对应的降噪算法可以是不同类型的、具有不同降噪强度的降噪算法,也可以是同一类型具有不同降噪强度的降噪算法,此时,该同一类型的降噪算法具有不同的参数值,这都是合理的。示例性的,若各个降噪等级对应的降噪算法均为均值滤波算法类型,即将图像帧中的各个像素点的像素值利用预设尺寸的邻域范围的均值替代。针对等级1、等级2和等级3,等级3的降噪强度更大,此时,针对图像帧中的各像素点可以将该像素点所位于的3×3的像素区域的像素值的均值,替换该像素点的像素值,此时降噪强度最大。对于等级1和等级2,可以提高3×3的像素区域的中心点的权值,减小周围像素点的权值,以获取降噪强度弱的降噪算法,此时将该像素点所对应的3×3的像素区域内的各像素值进行加权平均得到的像素值,替换该像素点的像素值。
需要说明的是,本实施例对该降噪处理的方式并不限定,例如在实际应用中,还可以利用ISP模块所具有的降噪功能,针对图像帧进行自适应的进行降噪处理。
可见,通过本方案,可以得到噪声较少的图像帧。
下面结合图8对本申请的一个具体示例的处理流程进行介绍。
如图8所示,用户打开相机应用后相机应用进入相机预览,此时用户点击拍照按钮(对应于上文中的快门控件)后,相机应用识别是否需要变曝光拍照。若需要变曝光拍照,则处理器生成变曝光增益序列(对应于上文中的变曝光参数序列),并将所生成的变曝光增益序列下发给摄像头传感器,摄像头传感器以该变曝光参数序列中所包括的曝光参数进行图像采集,获得传感器出帧序列(即摄像头输出的图像帧序列);若不需要变曝光拍照,直接获得传感器出帧序列。此时,上述现有技术中第二个处理流程仍保持不变,即利用拍照融合算法对帧序列中的长曝光帧、短曝光帧和正常曝光帧进行算法融合处理,获得高动态范围照片。上述现有技术中第一个处理流程改进为:传感器出帧序列中的各个图像帧进入预览处理队列,针对每一帧,识别是否为变曝光帧,若不为变曝光帧,进行正常预览帧处理;若为变曝光帧,查询上述生成的变曝光增益序列中该帧对应的曝光参数,基于该曝光参数,对该帧进行亮度逆增益处理,即以正常曝光帧的亮度为基准调整变曝光帧的亮度;接着,对该帧进行降噪等增益配套处理;然后,识别该帧的亮度与前一正常曝光帧的亮度差异是否小于预设阈值,若小于预设阈值,则进行正常预览帧处理,若不小于预设阈值,则丢弃该帧。最后,将正常预览帧处理后得到的预览帧送至显示屏的预览区域进行预览显示。
结合上述图6实施例给出的图像预览方法,以及图2给出的电子设备中的各个模块,例如,相机应用、图像处理模块、摄像头驱动、摄像头以及显示屏,以各个模块交互的形式介绍本实施例提供的一种图像预览方法,参考图9,包括:
(1)在用户打开相机应用后,相机应用进入相机预览,此时用户点击快门控件进行变曝光拍照,相机应用向摄像头驱动发送拍照指令,摄像头驱动在接收到拍照指令后驱动摄像头采集长曝光帧、短曝光帧和正常曝光帧;
(2)摄像头采集到曝光帧后发送曝光帧至图像处理模块,图像处理模块执行步骤S901获得响应拍照指令采集的图像帧序列;S902,基于图像帧序列中各图像帧的曝光参数,识别图像帧序列中的非正常曝光帧;S903,以图像帧序列中正常曝光帧的亮度为基准,基于非正常曝光帧的曝光参数,调整非正常曝光帧的亮度;
(3)图像处理模块发送处理后的帧序列到显示屏,使得显示屏执行步骤S904,预览显示调整亮度后的非正常曝光帧以及正常曝光帧。
需要说明的是,关于步骤S901-S904的具体实现可以参考步骤S601-S604的相关描述,这里不再赘述。
本申请还提供一种电子设备,该电子设备包括一个或多个处理器和存储器;存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得电子设备执行上述方法实施例中的部分或全部步骤。
本申请还提供一种计算机可读存储介质,包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行上述方法实施例中的部分或全部步骤。上述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory,ROM)或随机存储器(Random AccessMemory,RAM)等。
具体实现中,本申请实施例还提供了一种计算机程序产品,上述计算机程序产品包含可执行指令,当可执行指令在电子设备上执行时,使得电子设备执行上述方法实施例中的部分或全部步骤。
如图10所示,本申请还提供了一种芯片系统,该芯片系统应用于电子设备,芯片系统包括一个或多个处理器1001,处理器1001用于调用计算机指令以使得电子设备将待处理的数据输入芯片系统,芯片系统基于本申请实施例提供的图像预览方法对数据进行处理后输出处理结果。
在一种可能的实现方式中,芯片系统还包括输入和输出接口,用于输入和输出数据。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码,该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令,以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的,处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor,DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit ,ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现,以便与处理系统通信。在需要时,也可用汇编语言或机器语言来实现程序代码。事实上,本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下,该语言可以是编译语言或解释语言。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如,计算机可读)存储介质承载或存储在其上的指令,其可以由一个或多个处理器读取和执行。例如,指令可以通过网络或通过其他计算机可读介质分发。因此,机器可读介质可以包括用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,包括但不限于,软盘、光盘、光碟、光盘只读存储器(Compact Disc Read Only Memory,CD-ROMs)、磁光盘、只读存储器、随机存储器、可擦除可编程只读存储器(Erasable Programmable Read Only Memory ,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory ,EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如,载波、红外信号数字信号等)的有形的机器可读存储器。因此,机器可读介质包括适合于以机器(例如,计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中,可以以特定布置和/或顺序示出一些结构或方法特征。然而,应该理解,可能不需要这样的特定布置和/或排序。而是,在一些实施例中,这些特征可以以不同于说明书附图中所示的方式和/或顺序来布置。另外,在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征,并且在一些实施例中,可以不包括这些特征或者可以与其他特征组合。
需要说明的是,本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块,在物理上,一个逻辑单元/模块可以是一个物理单元/模块,也可以是一个物理单元/模块的一部分,还可以以多个物理单元/模块的组合实现,这些逻辑单元/模块本身的物理实现方式并不是最重要的,这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外,为了突出本申请的创新部分,本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入,这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是,在本专利的示例和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例,已经对本申请进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (11)

1.一种图像预览方法,其特征在于,所述方法包括:
获得响应拍照指令采集的图像帧序列,其中,所述图像帧序列中包括不同曝光参数的图像帧;
基于所述图像帧序列中各图像帧的曝光参数,识别所述图像帧序列中的非正常曝光帧;
以所述图像帧序列中正常曝光帧的亮度为基准,基于所述非正常曝光帧的曝光参数,调整所述非正常曝光帧的亮度;
预览显示调整亮度后的非正常曝光帧以及所述正常曝光帧;
所述以所述图像帧序列中正常曝光帧的亮度为基准,基于所述非正常曝光帧的曝光参数,调整所述非正常曝光帧的亮度,包括:
计算所述非正常曝光帧的曝光参数中曝光量EV值与所述正常曝光帧的曝光参数中EV值之间的比值;
基于所述比值,确定逆增益系数;
将所述非正常曝光帧中的各个像素点的像素值乘以所述逆增益系数,得到调整亮度后的非正常曝光帧。
2.根据权利要求1所述的方法,其特征在于,所述预览显示调整亮度后的非正常曝光帧以及所述正常曝光帧,包括:
检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值;其中,所述基准帧为:所述图像帧序列中、所述非正常曝光帧的前一正常曝光帧;
若小于,则预览显示所对应亮度差异小于所述预设阈值的非正常曝光帧以及所述正常曝光帧。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述亮度差异大于等于所述预设阈值,则丢弃所述非正常曝光帧。
4.根据权利要求1所述的方法,其特征在于,所述基于所述比值,确定逆增益系数,包括:
若所述比值大于1,确定逆增益系数为小于1的第一系数;
若所述比值小于1,确定所述逆增益系数为大于1的第二系数。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述基于所述图像帧序列中各图像帧的曝光参数,识别所述图像帧序列中的非正常曝光帧,包括:
从变曝光参数序列中,查找非正常曝光参数,其中,所述变曝光参数序列为:响应于所述拍照指令采集各图像帧时所利用的曝光参数的序列;
将查找到的非正常曝光参数对应的图像帧确定为非正常曝光帧。
6.根据权利要求2所述的方法,其特征在于,在所述检测调整亮度后的非正常曝光帧与基准帧之间的亮度差异是否小于预设阈值之前,所述方法还包括:
基于所述非正常曝光帧的曝光参数中的增益Gain值,对所述非正常曝光帧进行降噪处理。
7.根据权利要求6所述的方法,其特征在于,基于所述非正常曝光帧的曝光参数中的增益Gain值,对所述非正常曝光帧进行降噪处理,包括:
确定所述非正常曝光帧的曝光参数中的Gain值对应的降噪等级;
根据预设的降噪等级和降噪算法的对应关系,选取所确定的降噪等级对应的降噪算法;
使用所选取的降噪算法,对所述非正常曝光帧进行降噪处理。
8.一种电子设备,其特征在于,包括:
一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行权利要求1-7任一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包含可执行指令,当所述可执行指令在电子设备上执行时,使得电子设备执行权利要求1-7任一项所述的方法。
11.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备将数据输入芯片系统,并执行权利要求1-7任一项所述的方法对数据进行处理后输出处理结果。
CN202311817502.9A 2023-12-27 2023-12-27 一种图像预览方法、设备以及存储介质 Active CN117499779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311817502.9A CN117499779B (zh) 2023-12-27 2023-12-27 一种图像预览方法、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311817502.9A CN117499779B (zh) 2023-12-27 2023-12-27 一种图像预览方法、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN117499779A CN117499779A (zh) 2024-02-02
CN117499779B true CN117499779B (zh) 2024-05-10

Family

ID=89667577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311817502.9A Active CN117499779B (zh) 2023-12-27 2023-12-27 一种图像预览方法、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117499779B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117750190A (zh) * 2024-02-20 2024-03-22 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020087A (ja) * 2005-07-11 2007-01-25 Casio Comput Co Ltd 撮像装置及び撮像方法
CN109767413A (zh) * 2019-01-11 2019-05-17 深圳岚锋创视网络科技有限公司 一种抗运动伪影的hdr方法、装置及便携式终端
CN109788207A (zh) * 2019-01-30 2019-05-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
CN115134508A (zh) * 2021-03-27 2022-09-30 影石创新科技股份有限公司 图像处理方法、拍摄装置、图像处理装置及可读存储介质
CN115412678A (zh) * 2022-10-20 2022-11-29 荣耀终端有限公司 曝光处理方法、装置及电子设备
WO2023236445A1 (zh) * 2022-06-09 2023-12-14 北京大学 一种使用长曝光补偿的低光照图像增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020087A (ja) * 2005-07-11 2007-01-25 Casio Comput Co Ltd 撮像装置及び撮像方法
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
CN109767413A (zh) * 2019-01-11 2019-05-17 深圳岚锋创视网络科技有限公司 一种抗运动伪影的hdr方法、装置及便携式终端
CN109788207A (zh) * 2019-01-30 2019-05-21 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN115134508A (zh) * 2021-03-27 2022-09-30 影石创新科技股份有限公司 图像处理方法、拍摄装置、图像处理装置及可读存储介质
WO2023236445A1 (zh) * 2022-06-09 2023-12-14 北京大学 一种使用长曝光补偿的低光照图像增强方法
CN115412678A (zh) * 2022-10-20 2022-11-29 荣耀终端有限公司 曝光处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN117499779A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
WO2020168956A1 (zh) 一种拍摄月亮的方法和电子设备
CN112532892B (zh) 图像处理方法及电子装置
CN117499779B (zh) 一种图像预览方法、设备以及存储介质
WO2023015991A1 (zh) 拍照方法、电子设备和计算机可读存储介质
CN112712470A (zh) 一种图像增强方法及装置
WO2023056795A1 (zh) 快速拍照方法、电子设备及计算机可读存储介质
CN115272138B (zh) 图像处理方法及其相关设备
CN114463191B (zh) 一种图像处理方法及电子设备
CN113452969B (zh) 图像处理方法和装置
CN117061861B (zh) 一种拍摄方法、芯片系统和电子设备
CN113949803B (zh) 拍照方法及电子设备
CN113630558A (zh) 一种摄像曝光方法及电子设备
CN116916151A (zh) 拍摄方法、电子设备和存储介质
CN116723383B (zh) 一种拍摄方法及相关设备
CN113891008B (zh) 一种曝光强度调节方法及相关设备
WO2022267608A1 (zh) 一种曝光强度调节方法及相关装置
CN113518172B (zh) 图像处理方法和装置
CN115460343B (zh) 图像处理方法、设备及存储介质
CN117201930B (zh) 一种拍照方法和电子设备
CN115426458B (zh) 光源检测方法及其相关设备
CN115988339B (zh) 图像处理方法、电子设备、存储介质及程序产品
CN115442517B (zh) 图像处理方法、电子设备及计算机可读存储介质
CN116723382B (zh) 一种拍摄方法及相关设备
WO2024093854A1 (zh) 一种图像处理方法及电子设备
WO2024088074A1 (zh) 拍摄月亮的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant