CN117082340A - 一种高动态范围模式的选择方法、电子设备及存储介质 - Google Patents

一种高动态范围模式的选择方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117082340A
CN117082340A CN202311334901.XA CN202311334901A CN117082340A CN 117082340 A CN117082340 A CN 117082340A CN 202311334901 A CN202311334901 A CN 202311334901A CN 117082340 A CN117082340 A CN 117082340A
Authority
CN
China
Prior art keywords
mode
frame type
hdr
photosensitive element
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311334901.XA
Other languages
English (en)
Inventor
杜亚雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202311334901.XA priority Critical patent/CN117082340A/zh
Publication of CN117082340A publication Critical patent/CN117082340A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

一种高动态范围模式的选择方法、电子设备及存储介质,涉及终端技术领域。该方法包括:确定感光元件采用的图像读出模式;根据图像读出模式确定目标模式的能力参数,以及目标模式的帧类型参数,能力参数表征感光元件的出图特性,帧类型参数表征感光元件内部一次读出的帧的数量,以及各帧的曝光特性和增益特性;当图像读出模式为HDR模式时,选择与目标模式的能力参数,以及目标模式帧类型参数匹配的HDR模式。该方案能够利用能力参数用于确定感光元件的出图特性,然后利用帧类型参数确定目标模式的每帧的类型,因此不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择,因此提升了用户的使用体验。

Description

一种高动态范围模式的选择方法、电子设备及存储介质
技术领域
本申请涉及终端技术领域,尤其涉及一种高动态范围模式的选择方法、电子设备及存储介质。
背景技术
随着终端行业的发展,许多电子设备都支持高动态范围(high dynamic range,HDR)摄影技术。HDR摄影技术可以在典型成像传感器和显示设备中可用的动态范围有限的情况下,捕获和显示真实世界的巨大动态范围。
动态范围是指电信号最高和最低值的相对比值,反映在照片上就是高光区域和暗部区域可以显示出的细节,动态范围越大层次就越丰富。
目前,电子设备存在多种HDR模式。但是,目前的电子设备仅能够实现普通模式和HDR模式之间的区分以及模式选择,无法对多种HDR模式进行进一步的区分及选择。
发明内容
为了解决上述问题,本申请提供了一种高动态范围模式的选择方法、电子设备及存储介质,不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择,因此提升了用户的使用体验。
第一方面,本申请提供了一种高动态范围模式的选择方法,该方法应用于电子设备,电子设备包括相机,相机的感光元件能够把光信号转换成电信号。该方法包括:确定所述感光元件采用的图像读出模式。根据所述图像读出模式确定目标模式的能力参数,以及根据所述图像读出模式确定所述目标模式的帧类型参数,所述能力参数表征感光元件的出图特性,所述帧类型参数表征所述感光元件内部一次读出的帧的数量,以及各帧的曝光特性和增益特性。当所述图像读出模式为高动态范围HDR模式时,选择与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式。
本申请提供的技术方案中,匹配目标模式的依据不仅仅是能力参数,还增加了帧类型参数。本申请方案利用能力参数用于确定感光元件的出图特性,当出图特性指示当前采用HDR模式进行出图时,利用帧类型参数进一步确定每帧的类型,进而能够实现从多种HDR模式中选择与帧类型参数匹配的HDR模式。因此该方案不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择,提升了用户的使用体验。
在一种可能的实现方式中,所述选择与所述目标模式的能力参数,以及所述目标模式的帧类型参数匹配的HDR模式,具体包括:
从预设对应关系中匹配与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式,所述预设对应关系表征所述电子设备支持的图像读出模式、能力参数和帧类型参数之间的对应关系。
在一种可能的实现方式中,所述根据所述图像读出模式确定目标模式的能力参数,以及目标模式的帧类型参数,具体包括:
当所述图像读出模式为binning模式时,将所述能力参数配置为第一能力参数值,将所述帧类型参数配置为第一帧类型参数值,所述第一能力参数值表征所述感光元件的出图特性为binning出图,所述第一帧类型参数值表征进行输出一帧且该帧使用高转换增益HCG。
在一种可能的实现方式中,所述根据所述图像读出模式确定目标模式的能力参数,具体包括:
当所述图像读出模式为HDR模式时,根据所述图像读出模式确定所述感光元件的曝光次数;
当所述曝光次数为一次时,将所述能力参数填充为第二能力参数值,所述第二能力参数值表征所述感光元件的出图特性为第一类HDR模式出图,所述第一类HDR模式的曝光次数为一次;
当所述曝光次数为两次时,将所述能力参数填充为第三能力参数值,所述第三能力参数值表征所述感光元件的出图特性为第二类HDR模式出图,所述第二类HDR模式的曝光次数为两次。
在一种可能的实现方式中,所述第一类HDR模式包括:
双转换增益DCG定时模式、内部双转换增益结合IDCG combine模式和双模拟增益定时模式;
所述第二类HDR模式包括:
IDCG combine和短曝光VS的融合模式、交叠曝光高动态范围SHDR模式和采用四合一彩色滤波阵列QCFA的SHDR模式。
在一种可能的实现方式中,所述根据所述图像读出模式确定所述目标模式的帧类型参数,具体包括:
当所述图像读出模式为HDR模式时,根据所述图像读出模式确定所述感光元件内部一次读出的帧的数量,以及各帧的曝光特性和增益特性;
当确定所述感光元件内部一次读出两帧,且所述两帧分别采用高转换增益HCG和低转换增益LCG曝光后在所述感光元件内部融合成一帧时,将所述帧类型参数配置为第二帧类型参数值;
当确定所述感光元件内部一次读出两帧,且所述两帧曝光时分别采用HCG和LCG时,将所述帧类型参数配置为第三帧类型参数值;
当确定所述感光元件内部一次读出两帧,所述两帧分别采用长曝光和短曝光,且所述两帧曝光时均采用HCG时,将所述帧类型参数配置为第四帧类型参数值;
当确定所述感光元件内部一次读出三帧,所述三帧中的两帧分别使用高转换增益HCG和低转换增益LCG曝光后在所述感光元件内部融合成一帧,所述三帧中的另外一帧采用短曝光并采用高转换增益HCG时,将所述帧类型参数配置为第五帧类型参数值;
当确定所述感光元件采用remosaic模式出图、所述感光元件内部一次读出两帧,且所述两帧分别采用长曝光和短曝光时,将所述帧类型参数配置为第六帧类型参数值。
在一种可能的实现方式中,当能力参数为第一能力参数值,且帧类型参数为第一帧类型参数值时,对应的出图模式为binning模式。当能力参数为第二能力参数值,且帧类型参数为第二帧类型参数值时,对应的出图模式为IDCG combine模式。当能力参数为第二能力参数值,且帧类型参数为第三帧类型参数值时,对应的出图模式为DCG timing模式。当能力参数为第二能力参数值,且帧类型参数为第四帧类型参数值时,对应的出图模式为DAGtiming模式。当能力参数为第三能力参数值,且帧类型参数为第四帧类型参数值时,对应的出图模式为SHDR模式。当能力参数为第三能力参数值,且帧类型参数为第五帧类型参数值时,对应的出图模式为IDCG combine和短曝光VS的融合模式。当能力参数为第三能力参数值,且帧类型参数为第六帧类型参数值时,对应的出图模式为QCFA SHDR模式。
在一种可能的实现方式中,所述确定所述感光元件采用的图像读出模式,具体包括:
确定当前场景的动态范围;
根据所述动态范围、环境光亮度以及相机变焦倍率确定所述图像读出模式。
在一种可能的实现方式中,所述选择与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式后,所述方法还包括:
生成选择的所述HDR模式的对应的配置指令;
根据所述配置指令对所述感光元件进行配置。
第二方面,本申请还提供了一种电子设备,电子设备支持多种高动态范围模式,电子设备包括处理器和相机。相机的感光元件能够把光信号转换成电信号。处理器用于运行程序,程序被所述处理器运行时执行以上第一方面及第一方面的任意实现方式所述的高动态范围模式的选择方法。
第三方面,本申请还提供了一种存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备执行时实现高动态范围模式的选择方法。
附图说明
图1为本申请提供的电子设备的软件系统的架构图;
图2为本申请提供的场景示意图一;
图3为目前选择拍照模式的方法的流程图;
图4为本申请实施例提供的一种高动态范围模式的选择方法的流程图;
图5为本申请实施例提供的另一种高动态范围模式的选择方法的流程图;
图6为本申请提供的场景示意图二;
图7为本申请实施例提供的一种电子设备的示意图。
具体实施方式
为了使本技术领域的人员更清楚地理解本申请的方案,下面首先说明本申请技术方案的应用场景。本申请实施例中的电子设备可以是手机、平板电脑、个人数字助理(personal digital assistant,PDA)、车载终端设备等电子设备。本申请实施例对该电子设备的具体形态不作特殊限制。
下面首先说明电子设备的软件架构。
参见图1,该图为本申请提供的电子设备的软件系统的架构图。
电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,Android系统从上至下为应用程序层,应用程序框架层(Framework),系统运行库层,硬件抽象层(Hardware Abstraction Layer,HAL)以及内核层(Linux Kernel)。为了方便理解,图中还示意出了硬件层(hardware)。
应用程序层可以包括一系列应用程序包。系统内置的应用程序以及非系统级的应用程序都属于应用程序层,负责与用户进行直接交互.例如可以包括相机APP,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。这一层一般是由Java代码编写的,可以称为Java Framework。
应用程序框架层可以包括但不限于以下的服务及组件。
窗口管理器服务(Window Manager Service,WMS):主要负责管理Android设备上的窗口视图,并控制应用程序的界面和正确的显示和输入。WMS负责管理应用程序窗口的位置、大小和布局,照顾多任务操作和应用程序之间的切换,从而确保用户界面稳定、流畅和一致。窗口管理器还可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
活动管理器服务(Activity Manager Service,AMS),是Android系统中的一个关键组件,负责管理应用程序的生命周期、任务栈和应用程序之间的交互。
输入(Input)子系统:用于处理输入事件的系统,支持多种输入源,如触摸屏、按键等。Input子系统把输入事件发送到应用程序的事件队列,并对需要重新映射的输入事件进行重新映射,以便于应用程序能够正确处理它们。
系统运行库层主要包括安卓运行时库和程序库(Native C/C++ Libraries),能够提供相机服务。
安卓运行时库包括:核心库和安卓运行时(Android Runtime,ART)。ART负责安卓系统的调度和管理,是一种在Android操作系统上的运行环境。在ART 环境中,应用在第一次安装的时候,字节码就会预先编译成机器码,使其成为真正的本地应用。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
硬件抽象层(Hardware Abstraction Layer,HAL)是软件层的例行程序包,为位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化,用于模拟特定系统平台的细节使程序可以直接访问硬件的资源。
硬件抽象层包括CAMX-CHI架构,该架构提供HAL3接口给Camera Provider进行调用,接收来自Camera Provider的请求,而内部对HAL3接口进行了实现,并且通过V4L2标准框架控制着相机驱动层,将请求下发至驱动部分,并且等待结果回传,进而上报给CameraProvider。
CAMX-CHI架构包括CAMX和相机硬件接口(camera hardware interface,CHI)-相机开发包(camera development kit,CDK)两个部分。
CAMX负责基础服务代码的实现,CAMX主要包括实现HAL3入口的HAL模块,实现与V4L2驱动交互的csl模块,实现硬件node的hwl和实现软件node的swl。csl为负责实现CAMX与驱动层之间通讯的通讯模块。
CHI-CDK负责实现可扩展性和定制化的需求,方便原始设备制造商(originalequipment manufacture,OEM) /原始设计制造商(original design manufacturer,ODM)添加自己的扩展功能。
policy模块用于决策出要打开的摄像头以及摄像头的出图模式。
GraphSelector用于根据policy模块确定的出图模式填充目标模式的能力(capability)参数。
sensorModeSelect模块用于将sensor模块中存储的capability参数与GraphSelector填充的capability参数进行匹配,当匹配成功时,完成对该sensor模式的选择。
OEM模块中的module模块存放不同的sensor的配置文件,在初始化sensor时候需要用到。
OEM模块中eeprom模块存放带电可擦可编程只读存储器(Electrically ErasableProgrammable read only memory,EEPROM)的配置信息。
OEM模块中sensor模块存放各sensor模式的寄存器配置参数,并且存储有各sensor模式对应的capability参数。
内核层(Linux Kernel)是硬件和软件之间的层。内核层至少包含Linux基础驱动,例如V2L2。还包括器件驱动,例如sensor驱动。图中的相机请求管理(camera requestmanagement,CRM)用于对相机的配置请求进行管理。
参见图2,该图为本申请提供的场景示意图一。
目前,手机一般支持高动态范围(high dynamic range,HDR)摄影技术。图2中的1-(A)示意出了手机的拍照预览界面,用户可以在预览界面上方的选项栏中开启或者关闭HDR模式。1-(A)中的HDR模式处于关闭状态,当用户点击开启HDR模式后,拍照预览界面如图2中的1-(B)所示。
在一种可能的实现方式中,当手机开启HDR模式后,如果用户点击拍照按键10进行拍照,此时手机会拍摄至少两张同一场景的不同曝光程度的图像,并将这些图像融合在一起,进而得到一张高动态范围的照片。
在另一种可能的实现方式中,手机设备可以根据当前场景确定是否采用HDR模式。
目前电子设备上的HDR模式可以包括:交叠曝光HDR(stagger HDR,SHDR)模式、双转换增益(dual conversion gain,DCG)模式和双模拟增益(dual analog gain,DAG)定时模式等。
其中,SHDR模式,也可以称为数字重叠(digital overlap,DOL) 技术。相机sensor输出两帧图像,先曝光一帧长曝光帧图像以重点采集暗部信息,再曝光一帧短曝光帧图像以重点采集亮部信息,两帧图像同时输入芯片平台的图像处理模块,经过一定的算法处理后生成一帧图像。
DCG具体可以包括DCG 定时(timing)模式、内部双转换增益结合(intra dualconversion gain combine,IDCG combine)模式、IDCG combine 和短曝光(very short,VS)的融合模式等。
DCG timing模式:相机sensor的每个像素点可单独控制增益,当工作在DCGtiming模式时只进行一次曝光,但分两次读出,一次使用高转换增益(high conversiongain,HCG或称High CG)捕捉暗部信息,一次使用低转换增益(low conversion gain,LCG或称low CG)捕捉亮部信息,HCG和LCG两帧图像同时输入芯片平台图像处理模块,经过一定的算法处理后生成一帧图像。
IDCG combine模式:与DCG timing模式的区别是,DCG timing是相机sensor将HCG和LCG两帧图像同时输入芯片平台,由芯片平台融合成一帧图像;IDCG combine模式是HCG和LCG在相机sensor内部融合成一帧图像,然后输入芯片平台。
IDCG combine+VS模式:VS指的是曝光时间很短的一帧。该模式按照SHDR的出帧方式,先曝光一帧长曝光帧(进行一次IDCG combine,也就是HCG和LCG的融合),再曝光一帧短曝光帧(VS),短曝光可以采用高转换增益,两帧图像同时输入芯片平台图像处理模块,经过一定的算法处理后生成一帧图像。因为该模式按照SHDR的出帧方式进行了融合,因此也常常将该模式认为是SHDR模式的分支。
DAG timing模式:与DCG timing类似,区别是两次读出均是HCG,分别使用不同的模拟增益(analog gain)。模拟增益与转换在相机sensor内部作用在不同的位置。其中,一次使用高模拟增益(high analog gain,HAG)处理,另一次使用低模拟增益(low analoggain,LAG) 处理,sensor将HAG和LAG处理后的两帧图像同时输入芯片平台的图像处理模块,经过一定的算法处理后生成一帧图像。
具体总结可以参见下表1。
表1:各HDR模式的说明示意表
示意表中主要包括两个维度,一个维度为生产端维度,包括曝光次数、长帧和短帧的组成,另一个维度为消费端维度,主要是输出到手机端的帧数。
但是,目前的电子设备仅能够实现普通模式和HDR模式之间的区分以及模式选择,无法对多种HDR模式进行进一步的区分及选择。下面具体说明
一并参见图2和图3。其中,图3为目前选择拍照模式的方法的流程图。
S10:AEC模块输出当前场景的动态范围。
自动曝光控制(Automatic Exposure Control,AEC)模块确定当前场景的动态范围。AEC模块能够实现光强测量、场景分析以及曝光补偿,下面分别说明。
动态范围(Dynamic Range,简称DR),又叫曝光范围,是指相机捕捉的光强的范围。
光强测量的过程是利用图像的曝光信息来获得当前光照信息的过程。
场景分析是指为了获得当前光照的特殊情况而进行的处理,比如有没有背光照射或者正面强光等场景下。对这些信息的分析,可以提升sensor的易用性,并且能大幅度提高图像的质量,这是自动曝光中最为关键的技术。
在完成了光强测量和场景分析之后,就要控制相应的参数使得曝光调节生效。主要是通过设定曝光时间和曝光增益来实现的。
S11:policy模块结合动态范围、环境光亮度以及相机变焦倍率确定出图模式。
出图模式也即感光元件采用的图像读出模式。
电子设备可以通过图像信号处理器(Image Signal Processor,ISP)处理摄像头反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件(sensor)上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。
摄像头用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
目前的方案中,sensor的出图模式一般包括binning出图模式和HDR出图模式两种。
其中,binning出图模式一种图像读出模式,将相邻的像元中感应的电荷被加在一起,以一个像素的模式读出。Binning出图模式为非HDR模式,sensor内部一次读出一帧图像。
S12:GraphSelector根据出图模式,填充目标模式的能力capability参数。
GraphSelector用于根据policy模块确定的出图模式填充目标模式的能力(capability)参数。目标模式,也即此时希望配置到硬件的拍照模式。出图模式确定后,填充到目标模式的capability参数为该出图模式对应的capability参数。
而目前方案中的capability参数仅有sensor出图特性这一个维度,仅能区别出单帧出图和双帧出图。
例如:capability参数可以用第一参数值表示binning模式,第二参数值表示HDR模式。当GraphSelector根据出图模式确定目标模式为binning模式时,将capability参数填充为第一参数值,当GraphSelector根据出图模式确定目标模式为HDR模式时,将capability参数填充为第二参数值。
S13:sensorModeSelect将sensor模块中存储的capability参数与GraphSelector填充的capability参数进行匹配。
GraphSelector触发sensorModeSelect实现选择sensor模式的流程。匹配过程也即确定当前设备支持的模式是否能够与希望选择的模式相吻合。
S14:sensorModeSelect匹配成功后,确定应用第一模式。
以sensorModeSelect确定应用的sensor模式为第一模式为例,当用户开启相机的HDR功能后,第一模式为HDR模式。
S15:sensorModeSelect告知GraphSelector应用第一模式。
S16:GraphSelector告知sensorNode应用第一模式。
S17:sensorNode生成第一模式对应的相机sensor配置指令。
S18:sensorNode将相机sensor配置指令配置到硬件。
sensor节点(sensorNode)通过camxCSL将指令发送到Linux Kernel,进一步配置到硬件。
通过以上步骤,实现了对于相机sensor模式的配置。但是由于目前方案在表示不同 sensor模式时,使用的capability参数仅有sensor出图特性这一个维度,仅能区别出单帧出图和双帧出图,而表1中的各种HDR模式均是利用sensor双帧出图,因此目前的方案仅能实现普通模式和HDR模式之间的区分与模式选择,无法对多种HDR模式进行进一步的区分及选择,这使得手机无法在多种HDR模式间进行切换,降低了用户的拍照体验。
为了解决以上技术问题,本申请提供了一种高动态范围模式的选择方法及电子设备,在确定出当前相机sensor的出图模式后,填充的是目标模式的,匹配参数,匹配参数中包括能力(capability)参数,以及HDR帧类型(HDR Frame Type)参数。其中,capability参数用于表征sensor的出图特性,帧类型参数用于表征目标模式的每帧的类型,进而不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例提供了一种高动态范围模式的选择方法,下面结合附图具体说明。
参见图4,该图为本申请实施例提供的一种高动态范围模式的选择方法的流程图。
该方法包括以下步骤:
S21:确定感光元件采用的出图模式。
出图模式包括binning模式、remosaic模式和HDR模式等,出图模式也即感光元件的图像读出模式。
binning模式一种图像读出模式,将相邻的像元中感应的电荷被加在一起,以一个像素的模式读出。binning模式为非HDR模式。
S22:确定目标模式的能力参数,以及目标模式的帧类型参数。
本申请实施例中的第一参数为目标模式的能力参数,第二参数为目标模式的帧类型参数。能力参数以及帧类型参数共同作为目标模式的匹配参数,用于确定更加具体的目标模式。
当目标模式为HDR模式时,目标模式的能力参数能够表征sensor的出图特性,目标模式的帧类型参数用于表征sensor内部一次读出的帧的数量,以及各帧的曝光特性和增益特性。
其中,出图特性包括第一出图特性,第二出图特性和第三出图特性。
在一种可能的实现方式中,第一出图特性用NORMAL表示,对应的目标模式为binning模式。第一出图特性表示sensor内部一次读出一帧。
当出图模式为binning模式时,能力参数为NORMAL。binning模式对应的目标模式的能力参数可以为HCG, 帧类型参数可以为HCG。
在一种可能的实现方式中,第二出图特性用DXG表示,可能对应的目标模式包括DAG timing、DCG timing 和IDCG combine模式等HDR模式。具体采用哪一种HDR模式,需要结合帧类型参数进行进一步匹配。第二出图特性表示sensor内部一次读出两帧,且两帧采用相同曝光和不同增益。
在一种可能的实现方式中,第三出图特性用SHDR表示,可能对应的目标模式包括SHDR模式,以及DCG combine+VS模式。具体采用哪一种HDR模式,需要结合帧类型参数进行进一步匹配。第三出图特性表示sensor内部一次读出两帧,且两帧采用不同曝光和相同增益。本申请中认为IDCG combine+VS模式也对应第三出图特性。
帧类型参数用于表征组成HDR模式的每帧的类型。HDR帧类型包括以下几类:
HCG:一帧,高转换增益。
IDCG:IDCG combine,一帧采用HCG,另一帧采用LCG,两帧在相机sensor内部融合成一帧。
HCG_HCG / HCG_LCG:两帧采用binning模式读出。
IDCG_ HCG:一帧采用HCG,另一帧采用LCG,这两帧在相机sensor内部融合成一帧,并且还有一帧采用高转换增益。
QCFA_QCFA:基于四合一彩色滤波阵列(quadra color filter array,QCFA)处理技术,两帧采用remosaic模式出图。QCFA技术提高了在弱光条件下的性能和信噪比,在弱光条件下提供明亮和清晰的图像,在正常光照条件下提供高分辨率图像。
IDCG_ IDCG:四帧。其中两帧分别采用HCG和LCG后在相机sensor内部融合成一帧,另外两帧同样分别采用HCG和LCG后在相机sensor内部融合成一帧。
具体的匹配参数和HDR模式的对应关系表如下。
表2:各HDR模式的与匹配参数的对应表
表2中的第一能力参数值为NORMAL,用于表示第一出图特性。第二能力参数值为DXG,用于表示第二出图特性,第二能力参数值对应的HDR模式的曝光次数为1次。第三能力参数值为SHDR,用于表示第三出图特性,第三能力参数值对应的HDR模式的曝光次数为2次。
表2中的帧类型参数包括:第一帧类型参数值为HCG、第二帧类型参数值为IDCG、第三帧类型参数值为HCG_ LCG、第四帧类型参数值为HCG_HCG、第五帧类型参数值为IDCG_HCG和第六帧类型参数值为QCFA_QCFA。
当出图模式为HDR模式时,确定目标模式的能力参数,以及目标模式的帧类型参数。由此可见,本申请的匹配参数中包括sensor出图特性以及组成HDR模式的每帧类型这两个维度。
S23:当出图模式为HDR模式时,选择与目标模式的能力参数,以及目标模式的帧类型参数匹配的HDR模式。
在一些实施例中,当出图模式为HDR模式时,可以根据出图模式确定曝光次数,当曝光次数为1次时,将能力参数填充为第二能力参数值DXG;当曝光次数为2次时,将能力参数填充为第三能力参数值SHDR。
表2的对应关系可以预先确定并进行存储,待接收到目标模式的能力参数,以及目标模式帧类型参数时进行调用,进而匹配出相应的HDR模式。
综上所述,本申请提供的技术方案中,实现了对于匹配参数的扩展,匹配目标模式的依据不仅仅是apability参数,还增加了帧类型参数。也即本申请方案首先利用capability参数用于确定sensor的出图特性,然后利用帧类型参数确定HDR模式的每帧的类型,因此不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择。
下面结合具体的实现方式进行说明。
参见图5,该图为本申请实施例提供的另一种高动态范围模式的选择方法的流程图。
S31:AEC模块输出当前场景的动态范围。
S32:policy模块结合动态范围、环境光亮度以及相机变焦倍率确定出图模式。
动态范围(Dynamic Range,DR),又叫曝光范围,是指相机捕捉的光强的范围。
环境光亮度也即相机所处环境的光线亮暗程度。
变焦倍率的原理是使用变焦镜头的成像,在各焦点范围内会发生各种变化。广角端可以扩大拍摄范围,远摄端可以放大被摄体,即使不移动也可以自由地改变拍摄范围,这种变化被称为变焦倍率。
本申请实施例中的sensor的出图模式可以包括binning出图模式、HDR出图模式以及remosaic出图模式。
binning出图模式将相邻的像元中感应的电荷被加在一起,以一个像素的模式读出。
关于各类HDR出图模式的具体说明参见以上的表1,在此不再赘述。
remosaic出图模式利用了QCFA处理技术,能够在弱光条件下提供明亮和清晰的图像,在正常光照条件下提供高分辨率图像。
S33:GraphSelector根据出图模式,填充目标模式的capability参数和帧类型参数。
能力参数以及帧类型参数共同作为目标模式的匹配参数,因此S33完成了对于匹配参数的填充。能够从sensor的出图特性、sensor内部一次读出的帧的数量,以及各帧的曝光特性和增益特性等多方面对HDR模式进行精准的匹配。
本申请实施例中以:出图模式为HDR模式,填充的目标模式的能力capability参数为DXG,帧类型参数为HCG_LCG为例进行说明。
S34:sensorModeSelect将sensor模块中存储的对应关系与GraphSelector填充的匹配参数进行匹配。
sensor模块中预先存储有当前设备支持的capability、帧类型以及图像读出模式之间的预设对应关系。具体的预设对应关系可以参见以上表2的相关,在此不再赘述。
当获取到目标模式的capability参数和帧类型参数后,调用该预设对应关系,匹配capability参数时发现,此时的DXG在对应关系中命中,则继续匹配帧类型参数,发现HCG_LCG在对应关系中命中,并且最终确定目标模式为DCG timing模式。
S35:sensorModeSelect匹配成功后,确定应用DCG timing模式。
S36:GraphSelector告知sensorNode应用DCG timing模式。
S37:sensorNode生成DCG timing模式对应的相机sensor配置指令。
S38:sensorNode将相机sensor配置指令配置到硬件。
也即根据配置指令对sensor进行配置。
通过以上的实现方法,实现了对于DCG timing模式的选择,实际应用中,还可以实现其它HDR模式的选择,在此不再赘述。
在一种可能的实现方式中,继续参见图1,当用户在拍照的预览界面上选择关闭HDR模式时,GraphSelector可以默认将匹配参数中的capability参数填充为NORMAL,将帧类型参数填充为HCG,以使目标模式为binning模式。
综上所述,利用本申请实施例提供的方案,不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择,使得用户在使用电子设备拍照时,能够确定出当前场景中适用的具体HDR模式,因此提升用户的使用体验。
参见图6,该图为本申请提供的场景示意图二。在完成配置后,在一种可能的实现方式中,可以在电子设备的拍照界面显示具体采用的HDR模式,对于较为专业的拍照用户而言,进一步提升了用户的使用体验。
基于以上实施例提供的高动态范围模式的选择方法,本申请实施例还提供了一种电子设备,下面结合附图具体说明。
参见图7,该图为本申请实施例提供的一种电子设备的示意图。
图示电子设备100可以为直屏手机、折叠屏手机、笔记本电脑、可穿戴电子设备(例如智能手表)、平板电脑、增强现实(augmented reality,AR)设备以及虚拟现实(virtualreality,VR)设备等具有拍照功能的设备。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
电子设备100可以通过图像信号处理器(Image Signal Processor,ISP),摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
本申请实施例中的电子设备能够支持多种HDR模式,例如包括HDR(stagger HDR,SHDR)模式、双转换增益(dual conversion gain,DCG)模式和双模拟增益(dual analoggain,DAG)模式等。
用户利用该电子设备进行拍照时,电子设备能够确定当前场景的动态范围,然后结合动态范围、环境光亮度以及相机变焦倍率确定感光元件采用的出图模式;当出图模式为HDR模式时,确定目标模式的能力参数,以及目标模式的帧类型参数;然后选择与目标模式的能力参数,以及目标模式帧类型参数匹配的HDR模式。该电子设备实现了对于匹配参数的扩展,匹配目标模式的依据不仅仅是apability参数,还增加了帧类型参数。也即本申请方案首先利用capability参数用于确定sensor的出图特性,然后利用帧类型参数确定目标模式的每帧的类型,因此不仅能够区分普通模式和HDR模式,还能够对多种HDR模式进行进一步的区分及选择,因此提升了用户的使用体验。
本申请实施例还提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现以上实施例中的高动态范围模式的选择方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (parameter random access memory,PRAM)、静态随机存取存储器 (static random access memory,SRAM)、动态随机存取存储器 (dynamic random access memory,DRAM)、其他类型的随机存取存储器 (randomaccess memory,RAM)、只读存储器 (read only memory,ROM)、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory,EEPROM)、快闪记忆体或其他内存技术。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种高动态范围模式的选择方法,其特征在于,应用于电子设备,所述电子设备包括感光元件,所述方法包括:
确定所述感光元件采用的图像读出模式;
根据所述图像读出模式确定目标模式的能力参数,以及根据所述图像读出模式确定所述目标模式的帧类型参数,所述能力参数表征感光元件的出图特性,所述帧类型参数表征所述感光元件内部一次读出的帧的数量,以及各帧的曝光特性和增益特性;
当所述图像读出模式为高动态范围HDR模式时,选择与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式。
2.根据权利要求1所述的选择方法,其特征在于,所述选择与所述目标模式的能力参数,以及所述目标模式的帧类型参数匹配的HDR模式,具体包括:
从预设对应关系中匹配与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式,所述预设对应关系表征所述电子设备支持的图像读出模式、能力参数和帧类型参数之间的对应关系。
3.根据权利要求1所述的选择方法,其特征在于,所述根据所述图像读出模式确定目标模式的能力参数,以及目标模式的帧类型参数,具体包括:
当所述图像读出模式为binning模式时,将所述能力参数配置为第一能力参数值,将所述帧类型参数配置为第一帧类型参数值,所述第一能力参数值表征所述感光元件的出图特性为binning出图,所述第一帧类型参数值表征进行输出一帧且该帧使用高转换增益HCG。
4.根据权利要求1所述的选择方法,其特征在于,所述根据所述图像读出模式确定目标模式的能力参数,具体包括:
当所述图像读出模式为HDR模式时,根据所述图像读出模式确定所述感光元件的曝光次数;
当所述曝光次数为一次时,将所述能力参数填充为第二能力参数值,所述第二能力参数值表征所述感光元件的出图特性为第一类HDR模式出图,所述第一类HDR模式的曝光次数为一次;
当所述曝光次数为两次时,将所述能力参数填充为第三能力参数值,所述第三能力参数值表征所述感光元件的出图特性为第二类HDR模式出图,所述第二类HDR模式的曝光次数为两次。
5.根据权利要求4所述的选择方法,其特征在于,所述第一类HDR模式包括:
双转换增益DCG定时模式、内部双转换增益结合IDCG combine模式和双模拟增益定时模式;
所述第二类HDR模式包括:
IDCG combine和短曝光VS的融合模式、交叠曝光高动态范围SHDR模式和采用四合一彩色滤波阵列QCFA的SHDR模式。
6.根据权利要求1所述的选择方法,其特征在于,所述根据所述图像读出模式确定所述目标模式的帧类型参数,具体包括:
当所述图像读出模式为HDR模式时,根据所述图像读出模式确定所述感光元件内部一次读出的帧的数量,以及各帧的曝光特性和增益特性;
当确定所述感光元件内部一次读出两帧,且所述两帧分别采用高转换增益HCG和低转换增益LCG曝光后在所述感光元件内部融合成一帧时,将所述帧类型参数配置为第二帧类型参数值;
当确定所述感光元件内部一次读出两帧,且所述两帧曝光时分别采用HCG和LCG时,将所述帧类型参数配置为第三帧类型参数值;
当确定所述感光元件内部一次读出两帧,所述两帧分别采用长曝光和短曝光,且所述两帧曝光时均采用HCG时,将所述帧类型参数配置为第四帧类型参数值;
当确定所述感光元件内部一次读出三帧,所述三帧中的两帧分别使用高转换增益HCG和低转换增益LCG曝光后在所述感光元件内部融合成一帧,所述三帧中的另外一帧采用短曝光并采用高转换增益HCG时,将所述帧类型参数配置为第五帧类型参数值;
当确定所述感光元件采用remosaic模式出图、所述感光元件内部一次读出两帧,且所述两帧分别采用长曝光和短曝光时,将所述帧类型参数配置为第六帧类型参数值。
7.根据权利要求1-6中任一项所述的选择方法,其特征在于,所述选择与所述目标模式的能力参数,以及所述目标模式帧类型参数匹配的HDR模式后,所述方法还包括:
生成选择的所述HDR模式的对应的配置指令;
根据所述配置指令对所述感光元件进行配置。
8.根据权利要求1-6中任一项所述的选择方法,其特征在于,所述确定所述感光元件采用的图像读出模式,具体包括:
确定当前场景的动态范围;
根据所述动态范围、环境光亮度以及相机变焦倍率确定所述图像读出模式。
9.一种电子设备,其特征在于,所述电子设备支持多种高动态范围HDR模式,所述电子设备包括处理器,所述处理器用于运行程序,所述程序被所述处理器运行时执行权利要求1-8中任意一项所述的高动态范围模式的选择方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被电子设备执行时实现权利要求1-8中任意一项所述的高动态范围模式的选择方法。
CN202311334901.XA 2023-10-16 2023-10-16 一种高动态范围模式的选择方法、电子设备及存储介质 Pending CN117082340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311334901.XA CN117082340A (zh) 2023-10-16 2023-10-16 一种高动态范围模式的选择方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311334901.XA CN117082340A (zh) 2023-10-16 2023-10-16 一种高动态范围模式的选择方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117082340A true CN117082340A (zh) 2023-11-17

Family

ID=88708389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311334901.XA Pending CN117082340A (zh) 2023-10-16 2023-10-16 一种高动态范围模式的选择方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117082340A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082661A1 (en) * 2016-09-22 2018-03-22 Samsung Display Co., Ltd. Method of image processing and display apparatus performing the same
US20200366827A1 (en) * 2019-05-17 2020-11-19 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
US20210360157A1 (en) * 2018-09-19 2021-11-18 Gopro, Inc. Automated Camera Mode Selection
WO2022193288A1 (zh) * 2021-03-19 2022-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及计算机可读存储介质
CN115550541A (zh) * 2022-04-22 2022-12-30 荣耀终端有限公司 一种相机参数配置方法及电子设备
US20230336878A1 (en) * 2020-12-17 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Photographing mode determination method and apparatus, and electronic device and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082661A1 (en) * 2016-09-22 2018-03-22 Samsung Display Co., Ltd. Method of image processing and display apparatus performing the same
US20210360157A1 (en) * 2018-09-19 2021-11-18 Gopro, Inc. Automated Camera Mode Selection
US20200366827A1 (en) * 2019-05-17 2020-11-19 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
US20230336878A1 (en) * 2020-12-17 2023-10-19 Beijing Bytedance Network Technology Co., Ltd. Photographing mode determination method and apparatus, and electronic device and storage medium
WO2022193288A1 (zh) * 2021-03-19 2022-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及计算机可读存储介质
CN115550541A (zh) * 2022-04-22 2022-12-30 荣耀终端有限公司 一种相机参数配置方法及电子设备

Similar Documents

Publication Publication Date Title
CN114157804B (zh) 一种长焦拍摄的方法及电子设备
CN109729274B (zh) 图像处理方法、装置、电子设备及存储介质
CN113382169A (zh) 一种拍照方法及电子设备
CN113630558B (zh) 一种摄像曝光方法及电子设备
CN116996762B (zh) 一种自动曝光方法、电子设备及计算机可读存储介质
WO2024041394A1 (zh) 拍摄方法及相关装置
WO2022267608A1 (zh) 一种曝光强度调节方法及相关装置
CN117082340A (zh) 一种高动态范围模式的选择方法、电子设备及存储介质
CN115225753A (zh) 拍摄方法、相关装置及系统
CN117278864B (zh) 图像拍摄方法、电子设备及存储介质
CN116723383B (zh) 一种拍摄方法及相关设备
CN115460343B (zh) 图像处理方法、设备及存储介质
CN116723382B (zh) 一种拍摄方法及相关设备
CN116887047B (zh) 一种对焦方法、电子设备和存储介质
CN117395495B (zh) 一种图像处理方法及电子设备
CN115802144B (zh) 视频拍摄方法及相关设备
CN116048323B (zh) 图像处理方法及电子设备
WO2024088074A1 (zh) 拍摄月亮的方法和电子设备
CN116723410B (zh) 调节帧间隔的方法和装置
WO2024002164A1 (zh) 一种显示方法及相关装置
CN115767262B (zh) 拍照方法及电子设备
EP4277257A1 (en) Filming method and electronic device
CN114125197A (zh) 移动终端及其拍照方法
CN117395495A (zh) 一种图像处理方法及电子设备
CN117135268A (zh) 拍摄的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination