CN111093039A - 一种曝光评估值计算方法、曝光参数调节方法和成像设备 - Google Patents

一种曝光评估值计算方法、曝光参数调节方法和成像设备 Download PDF

Info

Publication number
CN111093039A
CN111093039A CN201811245532.6A CN201811245532A CN111093039A CN 111093039 A CN111093039 A CN 111093039A CN 201811245532 A CN201811245532 A CN 201811245532A CN 111093039 A CN111093039 A CN 111093039A
Authority
CN
China
Prior art keywords
parameter
value
gray
interval
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811245532.6A
Other languages
English (en)
Other versions
CN111093039B (zh
Inventor
刘淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201811245532.6A priority Critical patent/CN111093039B/zh
Publication of CN111093039A publication Critical patent/CN111093039A/zh
Application granted granted Critical
Publication of CN111093039B publication Critical patent/CN111093039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

本发明公开了一种曝光评估值计算方法、曝光参数调节方法和成像设备,包括:获取高动态范围HDR图像的各个灰度值;将所述各个灰度值的对数确定为灰度值参数;为各个灰度值参数设置权重参数;其中,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数;所述第一临界值小于所述第二临界值;将所述各个灰度值参数的权重参数作为指数计算得到的指数函数值确定为所述各个灰度值参数对应的灰度值的权重;根据所述各个灰度值及其权重计算HDR图像的曝光评估值。此外,本发明还公开了一种曝光参数调节方法和成像设备。

Description

一种曝光评估值计算方法、曝光参数调节方法和成像设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种曝光评估值计算方法、曝光参数调节方法和成像设备。
背景技术
随着人类生活水平和工业现代化水平的提高,成像设备(例如相机)被越来越多地应用于日常中的各行各业,例如消费类拍照摄影、工业中机器视觉、质量检测和自动驾驶等等。相机内置一些算法,以使系统自动对图像进行特征提取和识别,例如人脸识别、工业缺陷检测和安防监控等等。此时,图像质量是最重要的基础。如果相机输出的原始图像质量不好(如模糊不清或者细节表现不够),则后端系统识别就会困难重重。
为解决这一问题,自动曝光(Automatic Exposure,AE)算法应运而生,AE算法旨在使相机在拍摄过程中自动控制曝光过程,即实现曝光度的自动调节,以获得亮度适中的图像,从而保证输出的图像质量。
发明内容
AE算法中,曝光参数的调整是保证图像质量的重要因素。参考图1所示,现有技术中曝光参数调整流程是AE模块基于图像传感器Sensor输出的原始位宽图像数据进行曝光评估值的确定,然后基于确定出的曝光评估值进行曝光参数的调节。也就是说现有技术曝光参数调整是保证Sensor输出的原始位宽图像曝光正常来保证相机曝光正常。
但随着相机应用越来越广泛,人们对图像的要求越来越高,高动态范围(HighDynamic Range,HDR)图像成为日常应用对图像的基本需求。为了获得HDR图像,需要将原始位宽图像数据经过HDR合成,但现有的AE调节方法仅能保证原始位宽图像曝光正常,无法保证由原始位宽图像数据经过HDR合成得到的HDR图像的曝光是否正常。这是因为HDR图像的数据位宽远大于Sensor输出的原始位宽图像数据的位宽,导致HDR图像的曝光评估值确定困难,进而无法确定HDR图像曝光是否正常。
因此,如何确定HDR图像的曝光评估值是首要考虑的问题之一。
为此,本发明实施例提供一种曝光评估值计算方法、曝光参数调节方法和成像设备,用以准确地确定出HDR图像的曝光评估值,进而可以基于确定出的曝光评估值确定HDR图像曝光是否正常。
第一方面,本发明实施例提供一种曝光评估值计算方法,包括:
获取高动态范围HDR图像的各个灰度值;
将所述各个灰度值的对数确定为灰度值参数;
为各个灰度值参数设置权重参数;其中,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数;所述第一临界值小于所述第二临界值;
将所述各个灰度值参数的权重参数作为指数计算得到的指数函数值确定为所述各个灰度值参数对应的灰度值的权重;
根据所述各个灰度值及其权重计算HDR图像的曝光评估值。
第二方面,本发明实施例提供一种成像设备,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;
所述图像处理器用于接收所述HDR图像,并执行如前所述的曝光评估值计算方法。
第三方面,本发明实施例提供一种成像设备,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像;
所述图像处理器用于接收所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行如前所述的曝光评估值计算方法。
第四方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前所述的曝光评估值计算方法。
第五方面,本发明实施例提供一种曝光参数调节方法,包括:
按照如前所述的曝光评估值计算方法来计算当前帧HDR图像的曝光评估值;
根据所述曝光评估值判断当前帧HDR图像的曝光是否合理;
若判断结果为否,则对用于拍摄下一帧HDR图像的曝光参数进行调节。
第六方面,本发明实施例提供一种成像设备,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;
所述图像处理器用于接收所述HDR图像,并执行如前所述的曝光参数调节方法对所述图像传感器的曝光参数进行调节。
第七方面,本发明实施例提供一种成像设备,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像;
所述图像处理器用于接收所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行如前所述的曝光参数调节方法对所述图像传感器的曝光参数进行调节。
第八方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如前所述的曝光参数调节方法。
针对HDR图像的数据位宽很大导致成像设备自带的图像处理器无法完成曝光评估值计算的问题,本发明先将HDR图像的每个灰度值转换至对数域得到相应的灰度值参数,然后为每个灰度值参数设置权重参数,再对每个权重参数做指数运算得到相应灰度值的权重,最终根据灰度值及其权重计算曝光评估值。并且,在根据灰度值及其权重计算曝光评估值的过程中,采用灰度值参数的指数形式表示灰度值,采用权重参数的指数形式表示权重,这样成像设备自带的图像处理器可以通过简单地移位操作来实现灰度值的加权求平均计算,而且计算过程只需占用较少的硬件资源即可。基于上述处理,成像设备自带的图像处理器可实时计算曝光评估值,具有实时对HDR图像进行自动曝光的能力。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的HDR图像的直方图示意;
图2为本发明实施例提供的应用场景示意图;
图3为本发明实施例提供的曝光评估值计算方法的流程示意图;
图4为本发明实施例提供的灰度值参数理论值区间的划分示意图;
图5为本发明实施例提供的灰度值参数理论值区间的又一划分示意图;
图6为本发明实施例提供的灰度值参数理论值区间的再一划分示意图;
图7为本发明实施例提供的HDR图像的灰度值参数与权重参数服从的正态分布函数曲线;
图8为本发明实施例提供的HDR图像的灰度值参数与权重参数服从的正弦函数曲线;
图9为本发明实施例提供的HDR图像的灰度值参数与权重参数服从的抛物线函数曲线;
图10为本发明实施例提供的HDR图像的灰度值参数与权重参数服从的分段函数曲线;
图11为本发明实施例提供的灰度值参数理论值区间的再一划分示意图;
图12为本发明实施例提供的一成像设备的示意图;
图13为本发明实施例提供的又一成像设备的示意图;
图14为本发明实施例提供的曝光参数调节方法的流程示意图;
图15为本发明实施例提供的又一成像设备的示意图;
图16为本发明实施例提供的又一成像设备的示意图。
具体实施方式
本发明实施例提供的曝光评估值计算方法、曝光参数调节方法和成像设备,用以准确地确定出HDR图像的曝光评估值,进而可以基于确定出的曝光评估值确定HDR图像曝光是否正常。
以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
为了便于理解本发明,本发明涉及的技术术语中:
1、动态范围:表示图像可表征的最亮信号与最暗信号之间的比值。
2、原始位宽图像:由图像传感器Sensor将光信号转换为电信号时直接输出的图像,其数据位宽一般为12bit。
3、高动态范围HDR图像:将图像传感器Sensor输出的原始位宽图像经过HDR合成得到的图像,其数据位宽一般为16bit、24bit,远大于图像传感器Sensor输出的原始位宽图像的数据位宽,相比于原始位宽图像,HDR图像具有更大的动态范围,能更好地表现图像的细节信息。
4、灰度值参数:HDR图像的灰度值的对数。
5、权重参数:HDR图像的灰度值的权重的对数。
6、理论灰度值:基于HDR图像的数据位宽理论上所能表达的各个灰度值,例如当HDR图像的数据位宽为n bit时,其所能表达的各个灰度值为0,1,2,3.....2n
7、灰度值参数理论值区间:由HDR图像的各个理论灰度值的对数构成的区间。
8、参数区间:对灰度值参数理论值区间划分得到的区间。
9、代表参数:参数区间中的任一灰度值参数,例如可以是参数区间的最小灰度值参数、最大灰度值参数或中间灰度值参数(即参数区间中与最小灰度值参数和最大灰度值参数的中值最接近的灰度值参数)。
10、在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
11、本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
12、本文中术语“介于”表示包含临界值的关系,例如介于C和D之间,表示大于或等于C,且,小于或等于D。
13、本文中术语“非介于”表示临界值以外且不包含临界值的关系,例如非介于C和D之间,表示小于C和大于D。
发明原理
HDR图像是对图像传感器Sensor输出的原始位宽图像经过HDR合成之后得到的,合成之后得到的HDR图像的数据位宽要远大于原始位宽图像的数据位宽,现有技术中利用原始位宽图像确定出的曝光评估值来进行曝光参数调整的方法仅能够保证原始位宽图像曝光正常,并不能保证HDR合成的HDR图像曝光正常。因此,需要确定HDR图像的曝光评估值,再基于确定出的曝光评估值来衡量HDR图像曝光是否正常,但由于HDR图像的数据位宽太大,例如24bit(最大约150dB),曝光评估值的统计存在很大困难。
图1为一HDR图像的直方图,其中,横坐标gray表示灰度值,纵坐标w表示像素数(在计算曝光评估值时,w表示灰度值gray的权重),该直方图表示了HDR图像中每个灰度值的像素数。
根据现有的AE算法,图1所示的HDR图像的曝光评估值计算公式如下:
Figure BDA0001840436340000071
其中,v表示曝光评估值,gray表示HDR图像的灰度值,取值范围0~2n,n为HDR图像的数据位宽(例如为24bit时,n=24),wgary为灰度值gray对应的权重。
根据上述公式可知,v实际为图像中所有灰度值的加权平均值。由于HDR图像的数据量巨大(gray的取值范围为0~2n),因此,利用上述公式计算HDR图像的曝光评估值v时会占用非常大的硬件资源,而成像设备自带的图像处理器(如FPGA)可利用的硬件资源又很有限,就导致成像设备不具备实时进行上述计算的能力,也就不能实时实现HDR图像的自动曝光。
为了克服上述问题,已知的一些现有技术是采用截取HDR图像中某些位宽的(如从24bit中截取8bit或者12bit)数据进行曝光评估值的统计,但这样会丢失很多信息,进而导致确定出的HDR图像的曝光评估值不准确。
如图1所示,根据亮度的不同,HDR图像可以被划分为三个区域:亮部区域、暗部区域和中间区域,其中:
(1)亮部区域,是指HDR图像中亮度接近饱和的区域,具体的,是指HDR图像中灰度值大于临界值2b(以下简称为第二临界灰度值)的像素点构成的区域。
(2)暗部区域,是指HDR图像中亮度接近为0的区域,具体的,是指HDR图像中灰度值小于临界值2a(以下简称为第一临界灰度值)的像素点构成的区域。
(3)中间区域,是指HDR图像中亮度适中的区域,具体的,是指HDR图像中灰度值介于第一临界灰度值2a和第二临界灰度值2b之间的像素点构成的区域。
通过对大量HDR图像的直方图进行研究发现,由于HDR图像的动态范围较宽,暗部区域亮度很低导致细节信息无法清晰显示,亮部区域亮度趋近于饱和呈现为近过曝现象,细节信息也无法正常显示,因此HDR图像的绝大多数细节信息都存在于中间区域,也因此HDR图像的曝光情况是否合理主要就体现为中间区域的曝光情况是否合理。
根据公式1可知曝光评估值可由整幅图像所有灰度值的加权平均值计算得到,而暗部区域和亮部区域的存在会使最终计算得到的曝光评估值不能很好地反应中间区域的曝光情况,为了解决这个问题,可以提高中间区域灰度值的权重,降低暗部区域和亮部区域灰度值的权重。
针对HDR图像的数据位宽很大导致成像设备自带的图像处理器无法完成曝光评估值计算的问题,本发明先将HDR图像的每个灰度值转换至对数域得到相应的灰度值参数,然后为每个灰度值参数设置权重参数,再对每个权重参数做指数运算得到相应灰度值的权重,最终根据灰度值及其权重计算曝光评估值。并且,在根据灰度值及其权重计算曝光评估值的过程中,采用灰度值参数的指数形式表示灰度值,采用权重参数的指数形式表示权重,这样成像设备自带的图像处理器可以通过简单地移位操作来实现灰度值的加权求平均计算,而且计算过程只需占用较少的硬件资源即可。基于上述处理,成像设备自带的图像处理器可实时计算曝光评估值,具有实时对HDR图像进行自动曝光的能力。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
如图2所示为本发明的应用场景示意,在成像设备Device中,图像传感器Sensor输出的原始位宽图像数据经过HDR合成后得到HDR图像,该HDR图像除输出被用于图像显示或图像处理之外,还被图像处理器Processor用于计算曝光评估值和调整图像传感器的曝光参数。具体来说,图像处理器Processor先对实时接收的HDR图像计算曝光评估值,然后判断曝光评估值是否合理,若不合理,则调整图像传感器Sensor的曝光参数然后继续对新接收的HDR图像计算曝光评估值,若合理,则继续对新接收的HDR图像计算曝光评估值。
在一些实施例中,成像设备Device例如是照相机、摄像机、手机、平板电脑、笔记本电脑等具有拍摄生成图像和对图像进行处理等功能的设备。
在一些实施例中,图像传感器Sensor例如是CMOS或者CCD。
在一些实施例中,图像处理器Processor例如是FPGA、ARM、GPU、CPU等。
示例性实施例
下面结合图2的应用场景来描述根据本发明示例性实施方式的曝光评估值计算方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
如图3所示,步骤S100~步骤S500为本发明的一些实施例采用的曝光评估值计算方法:
步骤S100,获取高动态范围HDR图像的各个灰度值。
成像设备生成的HDR图像的电子文件包含有各个像素点的灰度值gray,其中每个灰度值由一个位宽的数据来表示(如24bit的数据),位宽的大小由图像传感器和HDR合成算法共同决定。
该步骤通过HDR图像的电子文件确定出HDR图像中的各个灰度值gray。
步骤S200,将所述各个灰度值的对数确定为灰度值参数。
该步骤按照如下公式3计算灰度值gray的对数,得到灰度值参数d:
d=log2gray(公式3)
根据公式3可知,该步骤计算得到的灰度值参数d与HDR图像的灰度值gray具有一一对应的关系。
步骤S300,为各个灰度值参数设置权重参数;其中,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数;所述第一临界值小于所述第二临界值。
该步骤中,令第一临界值为图1所示的HDR图像的直方图中的第一临界灰度值2a的对数a,令第二临界值为第二界灰度值2b的对数b。
根据图1所示的HDR图像的直方图可知,第一临界灰度值2a和第二界灰度值2b将整个HDR图像的全部灰度值划分为[0,2a)、[2a,2b]、(2b,2n]三个部分,分别对应于暗部区域、中间区域和亮部区域。相应的,第一临界值a和第二临界值b将HDR图像的各个灰度值对应的全部灰度值参数划分为[0,a)、[a,b]、(b,n]三个部分,分别对应于暗部区域、中间区域和亮部区域。
假设k[a,b]表示介于第一临界值a和第二临界值b之间的灰度值参数d的权重参数,k[0,a)U(b,n]表示非介于第一临界值a和第二临界值b之间的灰度值参数的权重参数,通过该步骤,则有k[a,b]>k[0,a)U(b,n]。
可见,该步骤的目的是使得中间区域对应的灰度值参数的权重参数大于暗部区域和亮部区域对应的灰度值参数的权重参数。
步骤S400,将所述各个灰度值参数的权重参数作为指数计算得到的指数函数值确定为所述各个灰度值参数对应的灰度值的权重。
该步骤按照如下公式4计算以各个灰度值参数的权重参数k作为指数的指数函数值,即权重w:
w=2k(公式4)
由于步骤S300使得中间区域对应的灰度值参数的权重参数大于暗部区域和亮部区域对应的灰度值参数的权重参数,而根据公式4可知,由灰度值参数的权重参数k作为指数计算出的指数函数值为灰度值的权重w,可见步骤S400的目的是使中间区域对应的灰度值的权重大于暗部区域和亮部区域对应的灰度值的权重。
通过上述步骤S300~步骤S400,在计算HDR图像的曝光评估值时,提高了中间区域的灰度值的权重,降低了暗部区域和亮部区域的灰度值的权重,最终计算出的曝光评估值能更真实地反应出中间区域的曝光情况。
步骤S500,根据所述各个灰度值及其权重计算HDR图像的曝光评估值。
在一些实施例中,该步骤可以将灰度值的加权平均值直接确定为曝光评估值,例如一些实施例中采用公式5计算曝光评估值:
Figure BDA0001840436340000111
其中,灰度值参数d的取值范围为[0,n];权重参数k的取值范围为[kmin,kmax]。
如公式5所示,在计算曝光评估值的公式中,采用灰度值参数d的指数形式表示灰度值gray,采用权重参数k的指数形式表示权重w,这样成像设备自带的图像处理器在完成公式5所示的加权平均值的计算过程时,就可以通过简单地移位操作来实现,只需占用较少的硬件资源即可实时计算曝光评估值,使得成像设备具备实时对HDR图像进行自动曝光的能力。
在另一些实施例中,步骤S500实施时还可以先计算灰度值的加权平均值,然后对该加权平均值做一些数学处理(例如放大、缩小、取平方根、取对数等)后再确定为曝光评估值。具体实施时,可以根据成像设备的计算需要来设置对灰度值的加权平均值所做的数学处理项目,本发明对此不作限定。
在一些实施例中,上述步骤S300中的操作“将介于第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数”可以通过如下步骤S302~步骤S308实施:
步骤S302,预先对灰度值参数理论值区间划分得到多个参数区间。其中,灰度值参数理论值区间是由HDR图像的各个理论灰度值的对数构成的区间。
本文所说的“HDR图像的各个理论灰度值”是指HDR图像的数据位宽理论上所能表达的各个灰度值,例如当HDR图像的数据位宽为n bit时,其所能表达的各个灰度值为0,1,2,3.....2n,而根据灰度值参数理论值区间是由HDR图像的各个理论灰度值的对数构成的区间可知,灰度值参数理论值区间为log2(0+σ),log2(1+σ),log2(2+σ),log2(3+σ)......n(其中σ为趋近于0的正实数)构成的区间。可见,灰度值参数理论值区间中的各个数值分别为HDR图像的各个理论灰度值的对数。
步骤S304,预先建立各个参数区间与权重参数的对应关系,其中,建立的对应关系中,介于所述第一临界值和第二临界值之间的参数区间对应的权重参数大于非介于所述第一临界值和第二临界值之间的参数区间对应的权重参数。
步骤S306,确定各个灰度值参数所属的参数区间。
步骤S308,根据预先建立的各个参数区间与权重参数的对应关系,确定各个灰度值参数所属的参数区间对应的权重参数,并将其确定为相应灰度值参数的权重参数。
如图4所示的实施例中,将HDR图像的灰度值参数理论值区间[0,n]划分为[0,d1)、[d1,d2)、[d1,a)、[a,d4)、[d4,d5)、[d5,d6)、[d6,d7)、[d7,b]、[b,d9)、[d9,n]共10个参数区间,分别记为参数区间R1、R2、R3、R4、R5、R6、R7、R8、R9、R10,为上述10个参数区间设置的权重参数分别为k1、k2、k3、k4、k5、k6、k7、k8、k9、k10。其中介于第一临界值a和第二临界值b之间的参数区间为R4、R5、R6、R7、R8,非介于第一临界值a和第二临界值b之间的参数区间为R1、R2、R3、R9、R10,且有k1<k2<k3<k10<k9<k4<k8<k5<k7<k6
步骤S302~步骤S308对HDR图像的灰度值参数理论值区间采用了划分参数区间并统一权重参数的处理方式,通过该处理方式,位于同一参数区间的灰度值参数的权重参数被统一设置为所属参数区间的权重参数,相应的,这些灰度值参数对应的灰度值会具有相同的权重,因此在计算曝光评估值时,无需再针对每个灰度值分别计算权重,大大降低了数据计算量,提高了成像设备的图像处理器的运算速度。
考虑到暗部区域和亮部区域的细节信息较少,且暗部区域和亮部区域会影响曝光评估值对中间区域曝光情况的真实反映,同时为了进一步减少数据运算量,一些实施例在执行上述步骤S302和步骤S304时,可以按照步骤S310~步骤S314划分参数区间和设置权重参数:
步骤S310,将灰度值参数理论值区间中小于第一临界值的所有数值划分为第一预设数量个参数区间,并为所述第一预设数量个参数区间分别设置权重参数;
步骤S312,将所述灰度值参数理论值区间中大于所述第二临界值的所有数值划分为第二预设数量个参数区间,并为所述第二预设数量个参数区间分别设置权重参数;以及
步骤S314,将所述灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间,并为划分得到的第三预设数量个参数区间分别设置权重参数;
其中,所述第三预设数量大于所述第一预设数量、第二预设数量,且,为所述第三预设数量个参数区间设置的权重参数大于为所述第一预设数量个参数区间的权重参数设置的权重、为所述第二预设数量个参数区间设置的权重参数。
步骤S310~步骤S314的目的是使介于第一临界值和第二临界值之间的参数区间数量大于非介于第一临界值和第二临界值之间的参数区间数量,并使得介于第一临界值和第二临界值之间的参数区间的权重参数大于非介于第一临界值和第二临界值之间的参数区间的权重参数。可见通过步骤S310~步骤S314,一方面减少了暗部区域和亮部区域的参数区间的数量,有助于进一步减少HDR图像的曝光评估值计算过程的数据运算量,另一方面,在对HDR图像的中间区域采用划分参数区间并统一权重参数的处理过程中,采用相比于暗部区域和亮部区域划分出更多数量和更小长度的参数区间的策略,有效保证了最终计算得到的曝光评估值能较真实地反映中间区域的曝光情况。
在一些实施例中,步骤S310~步骤S314中的第一预设数量、第二预设数量等于一,即将整个暗部区域统一划分为一个参数区间,将整个亮部区域统一划分为一个参数区间。该实施方式使得HDR图像的曝光评估值计算过程中暗部区域和亮部区域的数据运算量降至最低。
一些实施例在执行步骤S314时,是将灰度值参数理论值区间中介于第一临界值与第二临界值之间的所有数值划分为第三预设数量个长度一致的参数区间,即将中间区域均匀划分为第三预设数量个参数区间,每个参数区间中包含的数值的数量相等。以图5所示的实施例为例,将介于第一临界值a与第二临界值b之间的所有数值划分为R4、R5、R6、R7、R8、R9六个参数区间,并令这六个参数区间的长度为一致。
还有一些实施例在执行步骤S314时,是将灰度值参数理论值区间中介于第一临界值与第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间,即将中间区域划分为第三预设数量个参数区间,各个参数区间中包含的数值的数量并不相等。以图6所示的实施例为例,将介于第一临界值a与第二临界值b之间的所有数值划分为R4、R5、R6、R7、R8、R9六个参数区间,并令这六个参数区间的长度为不一致。
通过对大量的HDR图像研究发现,在图1所示HDR图像直方图中,在灰度值为
Figure BDA0001840436340000141
附近的像素点数量最多,表明HDR图像中有较多的细节信息具有灰度值
Figure BDA0001840436340000142
附近的灰度。为了保证最终得到的曝光评估值能够很好地反应这部分细节信息,一些实施例在执行步骤S314中的操作“将灰度值参数理论值区间中介于第一临界值a与第二临界值b之间的所有数值划分为第三预设数量个长度不一致的参数区间”时,可以将中值
Figure BDA0001840436340000151
(灰度值
Figure BDA0001840436340000152
的对数)附近的数值划分为长度较小的参数区间,而将远离中值
Figure BDA0001840436340000153
的数值划分为长度较大的参数区间。
基于上述考虑,一些实施例在执行步骤S314时,可按照步骤S316~步骤S320对灰度值参数理论值区间中介于第一临界值a与第二临界值b之间的所有数值进行划分:
步骤S316,计算第一临界值和第二临界值的中值;
步骤S318,对第一临界值到所述中值之间的所有数值进行划分,且划分出的参数区间的长度依次减小;
步骤S320,对所述中值到第二临界值之间的所有数值进行划分,且划分出的参数区间的长度依次增大。
根据前述介绍,在执行步骤S314中的操作“将灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间”时,一些实施例是使得中间区域划分出的各个参数区间的长度一致,而另一些实施例则是使得中间区域划分出的各个参数区间的长度不一致,这两种划分方式都实现了对HDR图像的中间区域采用划分参数区间并统一权重参数的处理方式。
具体实施时,不论中间区域划分出的各个参数区间的长度一致还是不一致,为了进一步确保最终得到的曝光评估值能够很好地反应HDR图像中灰度值约为
Figure BDA0001840436340000154
的像素点所表示的大量细节信息,在执行步骤S314中的操作“为划分得到的第三预设数量个参数区间分别设置权重参数”时,都可按照如下步骤S322~步骤S324,执行:
步骤S322,将第一临界值到第一临界值和第二临界值的中值之间的参数区间的权重参数设置为依次增大;
步骤S324,将第一临界值和第二临界值的中值到第二临界值之间的参数区间的权重参数设置为依次减小。
如图5和图6所示,第一临界值a到中值
Figure BDA0001840436340000161
之间的参数区间为R4、R5、R6、R7,对应的权重参数分别为k4、k5、k6、k7,且有k4<k5<k6<k7,中值
Figure BDA0001840436340000162
到第二临界值b之间的参数区间为R7、R8、R9,对应的权重参数分别为k7、k8、k9,且有k7>k8>k9
在一些实施例中,上述步骤S300中的操作“将介于第一临界值和第二临界值之间的灰度值参数对应的灰度值的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数对应的灰度值的权重参数”还可以通过如下步骤S326~步骤S328实施:
步骤S326,令HDR图像的灰度值参数与权重参数服从具有如下特征的已知函数:介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量。该服从关系中,灰度值参数、权重参数分别为该已知函数的自变量、因变量。
步骤S328,利用上述已知函数和各个灰度值参数,计算各个灰度值参数的权重参数。
步骤S326~步骤S328的目的是利用具有特殊特征的已知函数使得介于第一临界值和第二临界值之间的灰度值参数的权重参数大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数。相比于前述步骤S302~步骤S308通过划分参数区间并为各个参数区间分别设置权重参数的处理方式,这种通过已知函数来设置权重参数的处理方式可以依靠已知函数的连续特性,使得相邻的灰度值参数对应的权重参数具有连续变化的特性,相应的,会使得相邻的灰度值所对应的权重具有连续变化的特性,这样计算出的曝光评估值可以更真实地反应HDR图像的曝光情况。
在一些实施例中,步骤S326中采用的已知函数是正态分布函数:
Figure BDA0001840436340000171
其中,μ为期望值,决定了正态分布曲线的分布位置;σ为标准差,决定了该正态分布曲线的分布幅度。
图7所示为公式6对应的正态分布曲线,横坐标为灰度值参数d,纵坐标为权重参数k,整个正态分布曲线在0≤d≤μ时,纵坐标权重参数k逐渐增大,在μ≤d≤n时,纵坐标权重参数k逐渐减小。
如图7所示,为了确保该正态分布函数具有特征“介于第一临界值a和第二临界值b之间的自变量所对应的因变量k大于非介于第一临界值a和第二临界值b之间的自变量所对应的因变量”,应令第一临界值0<a<μ,第二临界值μ<b<n。
在一些实施例中,步骤S326中采用的已知函数是正弦函数,具体来说,是正弦函数中随着自变量的改变,因变量先增大后减小的半个周期。
例如,一个实施例采用公式7所示的正弦函数作为已知函数:
Figure BDA0001840436340000172
其中,A、B、C为实数,且0<B≤nπ。
如图8所示为公式7所示的正弦函数曲线(图8中实线表示随着自变量的改变,因变量先增大后减小的半个周期),横坐标为灰度值参数d,纵坐标为权重参数k,该正弦函数曲线在
Figure BDA0001840436340000173
时,纵坐标权重参数k逐渐增大,在
Figure BDA0001840436340000174
时,纵坐标权重参数k逐渐减小。
如图8所示,为了确保步骤S326中采用的正弦函数具有特征“介于第一临界值a和第二临界值b之间的自变量所对应的因变量k大于非介于第一临界值a和第二临界值b之间的自变量所对应的因变量”,应令第一临界值a位于因变量k随自变量d的增大而增大的自变量区间
Figure BDA0001840436340000175
内,令第二临界值b位于因变量k随自变量d的增大而减小的自变量区间
Figure BDA0001840436340000181
内。
类似的,在一些实施例中,步骤S326中采用的已知函数还可以是余弦函数,具体来说是余弦函数中随着自变量的增大,因变量先增大后减小的半个周期。为了确保该余弦函数具有特征“介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量”,应令第一临界值位于因变量随自变量增大而增大的自变量区间内,令第二临界值位于因变量随自变量增大而减小的自变量区间内。
在一些实施例中,步骤S326中采用的已知函数是开口向下的抛物线函数:
k=f(d)=A′·d2+B′·d+C′,0≤d≤n(公式8)
其中,A′、B′、C′为实数,A′<0,B′<0。
如图9所示为公式8对应的抛物线函数曲线,横坐标为灰度值参数d,纵坐标为权重参数k,该抛物线函数的对称轴为
Figure BDA0001840436340000182
因此在
Figure BDA0001840436340000183
时,纵坐标权重参数k逐渐增大,在
Figure BDA0001840436340000184
时,纵坐标权重参数k逐渐减小。
如图9所示,为了确保步骤S326中采用的正弦函数具有特征“介于第一临界值a和第二临界值b之间的自变量所对应的因变量k大于非介于第一临界值a和第二临界值b之间的自变量所对应的因变量”,应令第一临界值a位于因变量k随自变量d的增大而增大的自变量区间
Figure BDA0001840436340000185
内,令第二临界值b位于因变量k随自变量d的增大而减小的自变量区间
Figure BDA0001840436340000186
内。
在一些实施例中,步骤S326中采用的已知函数是分段函数:
Figure BDA0001840436340000187
其中,mi、ci为实数,i为自然数;m1、m2、m3....mi均大于0,mi+1、mi+2、mi+3....mmax均小于0;
并且
Figure BDA0001840436340000191
如图10所示为公式9对应的分段函数曲线,横坐标为灰度值参数d,纵坐标为权重参数k,该分段函数曲线在0≤d≤di时,纵坐标权重参数k逐渐增大,在di≤d≤n时,纵坐标权重参数k逐渐减小。
如图10所示,为了确保步骤S326中采用的分段函数具有特征“介于第一临界值a和第二临界值b之间的自变量所对应的因变量k大于非介于第一临界值a和第二临界值b之间的自变量所对应的因变量”,应令第一临界值a位于因变量k随自变量d的增大而增大的自变量区间(0,di)内,令第二临界值b位于因变量k随自变量d的增大而减小的自变量区间(di,n)内。
需要说明的是,前文虽提到步骤S326中采用的已知函数可以是正态分布函数、正弦函数、余弦函数、抛物线函数、分段函数,但这并不意味着本文所说的已知函数只能是上述各种类型的函数。实际上,数学领域具备特征“介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量”的函数有很多种,碍于篇幅限制,本文仅举出上述几种类型的函数作为示例,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,选择其它任何具备上述特征的已知函数均应包含在本发明的保护范围之内。
在一些实施例中,上述步骤S300中的操作“将介于第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数”可以通过如下步骤S330~步骤S338实施:
步骤S330,预先对灰度值参数理论值区间划分得到多个参数区间。其中,灰度值参数理论值区间是由HDR图像的各个理论灰度值的对数构成的区间。
步骤S332,确定各个灰度值参数所属的参数区间。
步骤S334,将各个灰度值参数所属的参数区间的权重参数确定为相应灰度值的权重参数。
步骤S334中,各个参数区间的权重参数按照如下步骤S336~步骤S338计算:
步骤S336,令各个参数区间的代表参数与权重参数服从具有如下特征的已知函数:介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量。该服从关系中,代表参数、权重参数分别为该已知函数的自变量、因变量。
具体实施时,代表参数可以是参数区间中的任一灰度值参数,本发明对此不作具体限定。在一些实施例中,代表参数是参数区间的最小灰度值参数、最大灰度值参数或中间灰度值参数(即参数区间中与最小灰度值参数和最大灰度值参数的中值最接近的灰度值参数)。
步骤S338,利用上述已知函数和各个参数区间的代表参数,计算各个参数区间的权重参数。
具体实施时,步骤S336所采用的已知函数可以是公式6所示的正态分布函数,公式7所示的正弦函数,公式8所示的抛物线函数,公式9所示的分段函数。
需要说明的是,数学领域具备特征“介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量”的函数有很多种,碍于篇幅限制,本文仅举出上述几种类型的函数作为示例,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,选择其它任何具备上述特征的已知函数均应包含在本发明的保护范围之内。
如图11所示的实施例中,将整个灰度值参数理论值区间划分为11个参数区间,分别记为R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11,介于第一临界值a与第二临界值b之间的参数区间有R2、R3、R4、R5、R6、R7、R8、R9、R10,非介于第一临界值a与第二临界值b之间的参数区间有R1、R11,其中,参数区间R1、R2、R3、R4、R5、R6的代表参数是相应参数区间的最小灰度值参数,参数区间R7、R8、R9、R10、R11的代表参数是相应参数区间的最大灰度值参数,且各个参数区间的代表参数和权重参数服从正态分布。
通过步骤S330~步骤S328,一方面,对HDR图像的灰度值参数理论值区间采用了划分参数区间并统一权重参数的处理方式,通过该处理方式,位于同一参数区间的灰度值参数的权重参数被统一设置为所属参数区间的权重参数,相应的,这些灰度值参数对应的灰度值会具有相同的权重,因此在计算曝光评估值时,无需再针对每个灰度值分别计算权重,大大降低了数据计算量,提高了成像设备的图像处理器的运算速度;另一方面,在计算每个参数区间的权重参数时,利用具有特殊特征的已知函数使得介于第一临界值和第二临界值之间的参数区间的权重参数大于非介于第一临界值和第二临界值之间的参数区间的权重参数。
相比于前述步骤S302~步骤S308通过划分参数区间并为各个参数区间分别设置权重参数的处理方式,步骤S330~步骤S338通过已知函数来设置权重参数的处理方式可以依靠已知函数的连续特性,使得相邻的参数区间对应的权重参数具有连续变化的特性,相应的,会使得相邻参数区间对应的灰度值的权重具有连续变化的特性,这样计算出的曝光评估值可以更真实地反应HDR图像的曝光情况。
相比于前述步骤S326~步骤S328通过已知函数来设置权重参数的处理方式,步骤S330~步骤S338对HDR图像的灰度值参数理论值区间划分参数区间并统一权重参数,无需对每一灰度值参数都利用已知函数来计算权重参数,大大降低了数据计算量,提高了成像设备的图像处理器的运算速度。
可见,步骤S330~步骤S338结合了前述步骤S302~步骤S308、步骤S326~步骤S328的优点,不仅计算出的曝光评估值可以更真实地反应HDR图像的曝光情况,同时还能大大降低数据计算量,提高成像设备的图像处理器的运算速度,使其更适用于在成像设备的图像处理器中运行,实现HDR图像的实时自动曝光。
考虑到暗部区域和亮部区域的细节信息较少,且暗部区域和亮部区域会影响曝光评估值对中间区域曝光情况的真实反映,同时为了进一步减少数据运算量,一些实施例在执行上述步骤S330时,可以按照步骤S340~步骤S344划分参数区间:
步骤S340,将灰度值参数理论值区间中小于所述第一临界值的所有数值划分为第一预设数量个参数区间;
步骤S342,将灰度值参数理论值区间中大于所述第二临界值的所有数值划分为第二预设数量个参数区间;
步骤S344,将灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间;其中,所述第三预设数量大于所述第一预设数量、第二预设数量。
步骤S340~步骤S344的目的是使介于第一临界值和第二临界值之间的参数区间数量大于非介于第一临界值和第二临界值之间的参数区间数量。可见通过步骤S340~步骤S344,减少了暗部区域和亮部区域的参数区间的数量,有助于进一步减少HDR图像的曝光评估值计算过程的数据运算量。
在一些实施例中,步骤S340~步骤S344中的第一预设数量、第二预设数量等于一,即将整个暗部区域统一划分为一个参数区间,将整个亮部区域统一划分为一个参数区间。该实施方式使得HDR图像的曝光评估值计算过程中暗部区域和亮部区域的数据运算量降至最低。
一些实施例在执行步骤S344时,是将灰度值参数理论值区间中介于第一临界值与第二临界值之间的所有数值划分为第三预设数量个长度一致的参数区间,即将中间区域均匀划分为第三预设数量个参数区间,每个参数区间中包含的数值的数量相等。
还有一些实施例在执行步骤S344时,是将灰度值参数理论值区间中介于第一临界值与第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间,即将中间区域划分为第三预设数量个参数区间,各个参数区间中包含的数值的数量并不相等。以图11所示的实施例为例,将介于第一临界值a与第二临界值b之间的所有数值划分为R2、R3、R4、R5、R6、R7、R8、R9、R10九个参数区间,且这九个参数区间的长度不一致。
通过对大量的HDR图像研究发现,在图1所示HDR图像直方图中,在灰度值为
Figure BDA0001840436340000231
附近的像素点数量最多,表明HDR图像中有较多的细节信息具有灰度值
Figure BDA0001840436340000232
附近的灰度。为了保证最终得到的曝光评估值能够很好地反应这部分细节信息,一些实施例在执行步骤S344中的操作“将灰度值参数理论值区间中介于第一临界值和第二临界值之间的所有数值划分为第三预设数量个参数区间”时,可以将中值
Figure BDA0001840436340000233
(灰度值
Figure BDA0001840436340000234
的对数)附近的数值划分为长度较小的参数区间,而将远离中值
Figure BDA0001840436340000235
的数值划分为长度较大的参数区间。
基于上述考虑,一些实施例在执行步骤S344时,可按照步骤S346~步骤S350对灰度值参数理论值区间中介于第一临界值a与第二临界值b之间的所有数值进行划分:
步骤S346,计算第一临界值和第二临界值的中值;
步骤S348,对第一临界值到所述中值之间的所有数值进行划分,且划分出的参数区间的长度依次减小;
步骤S350,对所述中值到第二临界值之间的所有数值进行划分,且划分出的参数区间的长度依次增大。
根据前述介绍,在执行步骤S344中的操作“将灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间”时,一些实施例是使得中间区域划分出的各个参数区间的长度一致,而另一些实施例则是使得中间区域划分出的各个参数区间的长度不一致,这两种划分方式都实现了对HDR图像的中间区域采用划分参数区间并统一权重参数的处理方式。
需要说明的是,在实施本发明实施例提供的曝光评估值计算方法时,第一临界值a和第二临界值b的取值可以根据实际需要设置,例如,对于白天环境下拍摄的图像,细节信息多具有中等和偏高的亮度,这种情况下就可以令第一临界值a和第二临界值b的取值较大,而对于夜间环境拍摄的图像,细节信息多具有中等和偏低的亮度,这种情况下就可以令第一临界值a和第二临界值b的取值较小。
以上是本发明实施例提供的曝光评估值计算方法及其若干具体实施方式,需要说明的是,虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
基于相同的发明思想,本发明实施例还提供一种成像设备,如图12所示,该成像设备Device1包括图像传感器Sensor1和图像处理器Processor1。其中,图像传感器Sensor1用于拍摄生成原始位宽图像。图像处理器Processor1用于获取所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行本发明实施例提供的曝光评估值计算方法。
图12所示的实施例中,原始位宽图像是在图像处理器Processor1中合成HDR图像的,即图像处理器Processor1具有合成HDR图像的功能。
由于该成像设备Device1与本发明实施例提供的曝光评估值计算方法具有相同的发明思想,因此该成像设备Device1的非限制性实施方式可以参考前述对曝光评估值计算方法的介绍,重复之处不再赘述。
图12所示的实施例中,成像设备Device1是具有拍摄生成图像和对图像进行处理等功能的设备,例如可以是照相机、摄像机、手机、平板电脑、笔记本电脑等;图像传感器Sensor1可以是CMOS或者CCD;图像处理器Processor1可以是FPGA、ARM、GPU、CPU等。
基于相同的发明思想,本发明实施例还提供一种成像设备,如图13所示,该成像设备Device2包括图像传感器Sensor2和图像处理器Processor2。其中,图像传感器Sensor2用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;图像处理器Processor2用于接收HDR图像,并执行本发明实施例提供的曝光评估值计算方法。
图13所示的实施例中,原始位宽图像是在图像传感器Sensor2中合成HDR图像的,即图像传感器Sensor2具有合成HDR图像的功能。
由于该成像设备Device2与本发明实施例提供的曝光评估值计算方法具有相同的发明思想,因此该成像设备Device2的非限制性实施方式可以参考前述对曝光评估值计算方法的介绍,重复之处不再赘述。
图13所示的实施例中,成像设备Device2是具有拍摄生成图像和对图像进行处理等功能的设备,例如可以是照相机、摄像机、手机、平板电脑、笔记本电脑等;图像传感器Sensor2可以是CMOS或者CCD;图像处理器Processor2可以是FPGA、ARM、GPU、CPU等。
基于相同的发明思想,本发明实施例还提供一种计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器运行时本发明实施例提供的曝光评估值计算方法。该存储介质可以是一个或多个只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、电可编程存储器(EPROM)、电可编程和可擦除存储器(EEPROM)、嵌入式多媒体卡(eMMC)、硬盘驱动器或任何易失性或非易失性介质等。
基于相同的发明思想,本发明实施例还提供了一种曝光参数调节方法。下面结合图2所示的应用场景示意和图14所示的曝光参数调节方法的流程,对本发明实施例提供的曝光参数调节方法进行介绍:
步骤S600,按照本发明实施例提供的曝光评估值计算方法来计算当前帧HDR图像的曝光评估值。
步骤S700,根据所述曝光评估值判断当前帧HDR图像的曝光是否合理。
步骤S800,若判断结果为否,则对用于拍摄下一帧HDR图像的曝光参数进行调节。
步骤S600~步骤S800的目的是依据本发明实施例提供的曝光评估值计算方法计算出当前帧HDR图像的曝光评估值,然后判断该曝光评估值是否合理,最后根据判断结果调整曝光参数,从而保证用于拍摄下一帧HDR图像的曝光参数合理,进而保证基于调整后的曝光参数拍摄得到的下一帧HDR图像的曝光正常,保证下一帧HDR图像的质量。
本发明实施例提供的曝光参数调节方法与本发明实施例提供的曝光评估值计算方法具有相同的发明思想,其非限制性实施方式可以参考前述对曝光评估值计算方法的介绍,重复之处不再赘述。
基于相同的发明思想,本发明实施例还提供一种成像设备,如图15所示,该成像设备Device3包括图像传感器Sensor3和图像处理器Processor3。其中,图像传感器Sensor3用于拍摄生成原始位宽图像。图像处理器Processor3用于获取所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行本发明实施例提供的曝光参数调节方法对图像传感器Sensor3的曝光参数进行调节。
图15所示的实施例中,原始位宽图像是在图像处理器Processor3中合成HDR图像的,即图像处理器Processor3具有合成HDR图像的功能。
由于该成像设备Device3与本发明实施例提供的曝光评估值计算方法具有相同的发明思想,因此该成像设备Device3的非限制性实施方式可以参考前述对曝光评估值计算方法的介绍,重复之处不再赘述。
图15所示的实施例中,成像设备Device3是具有拍摄生成图像和对图像进行处理等功能的设备,例如可以是照相机、摄像机、手机、平板电脑、笔记本电脑等;图像传感器Sensor3可以是CMOS或者CCD;图像处理器Processor3可以是FPGA、ARM、GPU、CPU等。
基于相同的发明思想,本发明实施例还提供一种成像设备,如图16所示,该成像设备Device4包括图像传感器Sensor4和图像处理器Processor4。其中,图像传感器Sensor4用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;图像处理器Processor4用于接收HDR图像,并执行本发明实施例提供的曝光参数调节方法对图像传感器Sensor4的曝光参数进行调节。
图16所示的实施例中,原始位宽图像是在图像传感器Sensor4中合成HDR图像的,即图像传感器Sensor4具有合成HDR图像的功能。
由于该成像设备Device4与本发明实施例提供的曝光评估值计算方法具有相同的发明思想,因此该成像设备Device4的非限制性实施方式可以参考前述对曝光评估值计算方法的介绍,重复之处不再赘述。
图16所示的实施例中,成像设备Device4是具有拍摄生成图像和对图像进行处理等功能的设备,例如可以是照相机、摄像机、手机、平板电脑、笔记本电脑等;图像传感器Sensor4可以是CMOS或者CCD;图像处理器Processor4可以是FPGA、ARM、GPU、CPU等。
基于相同的发明思想,本发明实施例还提供一种计算机可读的存储介质,其上存储有计算机程序,该计算机程序被处理器运行时本发明实施例提供的曝光参数调节方法。该计算机可读的存储介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。在一些实施例中,该计算机可读的存储介质可以是:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
应当注意,尽管在附图中以特定顺序描述了本发明实施例的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (31)

1.一种曝光评估值计算方法,其特征在于,包括:
获取高动态范围HDR图像的各个灰度值;
将所述各个灰度值的对数确定为灰度值参数;
为各个灰度值参数设置权重参数;其中,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数;所述第一临界值小于所述第二临界值;
将所述各个灰度值参数的权重参数作为指数计算得到的指数函数值确定为所述各个灰度值参数对应的灰度值的权重;
根据所述各个灰度值及其权重计算HDR图像的曝光评估值。
2.如权利要求1所述的方法,其特征在于,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数,包括:
根据所述灰度值参数与权重参数服从的已知函数,计算所述各个灰度值参数的权重参数;其中,所述灰度值参数、权重参数分别为所述已知函数的自变量、因变量;
所述已知函数中,介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量。
3.如权利要求1所述的方法,其特征在于,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数,包括:
确定所述各个灰度值参数所属的参数区间,所述参数区间为预先对灰度值参数理论值区间划分得到的;所述灰度值参数理论值区间是由HDR图像的各个理论灰度值的对数构成的区间;
将所述灰度值参数所属的参数区间的权重参数确定为相应灰度值的权重参数;
其中,所述参数区间的权重参数按照如下方式计算:
根据所述参数区间的代表参数与权重参数服从的已知函数,计算所述参数区间的权重参数;其中,所述代表参数为所述参数区间的最小灰度值参数、最大灰度值参数或中间灰度值参数,且,所述参数区间的代表参数、权重参数分别为所述已知函数的自变量、因变量;
所述已知函数中,介于第一临界值和第二临界值之间的自变量所对应的因变量大于非介于第一临界值和第二临界值之间的自变量所对应的因变量。
4.如权利要求3所述的方法,其特征在于,所述参数区间为预先对灰度值参数理论值区间划分得到的,包括:
将所述灰度值参数理论值区间中小于所述第一临界值的所有数值划分为第一预设数量个参数区间;
将所述灰度值参数理论值区间中大于所述第二临界值的所有数值划分为第二预设数量个参数区间;以及
将所述灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间;
其中,所述第三预设数量大于所述第一预设数量、第二预设数量。
5.如权利要求4所述的方法,其特征在于,所述第一预设数量、所述第二预设数量等于一。
6.如权利要求4所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个参数区间,包括:
将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值分为第三预设数量个长度一致的参数区间。
7.如权利要求4所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个参数区间,包括:
将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间。
8.如权利要求7所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间,包括:
计算所述第一临界值和所述第二临界值的中值;
对所述第一临界值到所述中值之间的所有数值进行划分,且划分出的参数区间的长度依次减小;
对所述中值到所述第二临界值之间的所有数值进行划分,且划分出的参数区间的长度依次增大。
9.如权利要求2~8任一所述的方法,其特征在于,所述已知函数为正态分布函数:
Figure FDA0001840436330000031
其中,σ为标准差,μ为期望值;0≤d≤n,n为所述灰度值参数的最大值;所述第一临界值大于0小于期望值μ,所述第二临界值大于期望值μ小于n。
10.如权利要求2~8任一所述的方法,其特征在于,所述已知函数为正弦函数:
f(d)=Asin(B·d)+C;
其中,A、B、C为实数;0≤d≤n,n为所述灰度值参数的最大值;且0<B≤nπ;所述第一临界值大于0小于
Figure FDA0001840436330000032
所述第二临界值大于
Figure FDA0001840436330000033
小于n。
11.如权利要求2~8任一所述的方法,其特征在于,所述已知函数为开口向下的抛物线函数:
f(d)=A′·d2+B′·d+C′;
其中,A′、B′、C′为实数,A′<0,B′<0;0≤d≤n,n为所述灰度值参数的最大值;所述第一临界值大于0小于
Figure FDA0001840436330000041
所述第二临界值大于
Figure FDA0001840436330000042
小于n。
12.如权利要求2~8任一所述的方法,其特征在于,所述已知函数为分段函数:
Figure FDA0001840436330000043
其中,mi、ci为实数,i为自然数;
m1、m2、m3....mi大于0,mi+1、mi+2、mi+3....mmax小于0;
并且
Figure FDA0001840436330000044
0≤d≤n,n为所述灰度值参数的最大值;
所述第一临界值大于0小于di;所述第二临界值大于di小于n。
13.如权利要求1所述的方法,其特征在于,将介于预设的第一临界值和第二临界值之间的灰度值参数的权重参数设置为大于非介于第一临界值和第二临界值之间的灰度值参数的权重参数,包括:
确定所述各个灰度值参数所属的参数区间,所述参数区间为预先对灰度值参数理论值区间划分得到的;所述灰度值参数理论值区间是由HDR图像的各个理论灰度值的对数构成的区间;
根据预先建立的各个参数区间与权重参数的对应关系,将所述各个灰度值参数所属的参数区间对应的权重参数确定为所述各个灰度值参数的权重参数;
其中,所述各个参数区间与权重参数的对应关系中,介于所述第一临界值和第二临界值之间的参数区间对应的权重参数大于非介于所述第一临界值和第二临界值之间的参数区间对应的权重参数。
14.如权利要求13所述的方法,其特征在于,所述各个参数区间与权重参数的对应关系按照下述方法建立:
将所述灰度值参数理论值区间中小于所述第一临界值的所有数值划分为第一预设数量个参数区间,并为所述第一预设数量个参数区间分别设置权重参数;
将所述灰度值参数理论值区间中大于所述第二临界值的所有数值划分为第二预设数量个参数区间,并为所述第二预设数量个参数区间分别设置权重参数;以及
将所述灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间,并为所述第三预设数量个参数区间分别设置权重参数;
其中,所述第三预设数量大于所述第一预设数量、第二预设数量,且,为所述第三预设数量个参数区间设置的权重参数大于为所述第一预设数量个参数区间的权重参数设置的权重、为所述第二预设数量个参数区间设置的权重参数。
15.如权利要求14所述的方法,其特征在于,所述第一预设数量、所述第二预设数量等于一。
16.如权利要求14所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间,包括:
将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个长度一致的参数区间。
17.如权利要求14所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值和所述第二临界值之间的所有数值划分为第三预设数量个参数区间,包括:
将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间。
18.如权利要求17所述的方法,其特征在于,将所述灰度值参数理论值区间中介于所述第一临界值与所述第二临界值之间的所有数值划分为第三预设数量个长度不一致的参数区间,包括:
对所述第一临界值到所述第一临界值和第二临界值的中值之间的所有数值进行划分,且划分出的参数区间的长度依次减小;
对所述中值到所述第二临界值之间的所有数值进行划分,且划分出的参数区间的长度依次增大。
19.如权利要求16~18任一所述的方法,其特征在于,为所述第三预设数量个参数区间分别设置权重参数,包括:
将所述第一临界值到所述第一临界值和第二临界值的中值之间的参数区间的权重参数设置为依次增大,将所述中值到所述第二临界值之间的参数区间的权重参数设置为依次减小。
20.如权利要求1所述的方法,其特征在于,根据所述各个灰度值及其权重计算HDR图像的曝光评估值,包括:
将所述各个灰度值及其权重的加权平均值确定为HDR图像的曝光评估值。
21.一种成像设备,其特征在于,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;
所述图像处理器用于接收所述HDR图像,并执行如权利要求1~20任一所述的曝光评估值计算方法。
22.如权利要求21所述的成像设备,其特征在于,所述图像处理器为现场可编程门阵列FPGA器件。
23.一种成像设备,其特征在于,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像;
所述图像处理器用于接收所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行如权利要求1~20任一所述的曝光评估值计算方法。
24.如权利要求23所述的成像设备,其特征在于,所述图像处理器为现场可编程门阵列FPGA器件。
25.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~20任一项所述的曝光评估值计算方法。
26.一种曝光参数调节方法,其特征在于,包括:
按照权利要求1~20任一所述的曝光评估值计算方法来计算当前帧HDR图像的曝光评估值;
根据所述曝光评估值判断当前帧HDR图像的曝光是否合理;
若判断结果为否,则对用于拍摄下一帧HDR图像的曝光参数进行调节。
27.一种成像设备,其特征在于,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像,并对所述原始位宽图像进行合成以生成高动态范围HDR图像;
所述图像处理器用于接收所述HDR图像,并执行如权利要求26所述的曝光参数调节方法对所述图像传感器的曝光参数进行调节。
28.如权利要求27所述的成像设备,其特征在于,所述图像处理器为现场可编程门阵列FPGA器件。
29.一种成像设备,其特征在于,包括图像传感器和图像处理器;
所述图像传感器用于拍摄生成原始位宽图像;
所述图像处理器用于接收所述原始位宽图像,并对其进行合成以生成高动态范围HDR图像,以及执行如权利要求26所述的曝光参数调节方法对所述图像传感器的曝光参数进行调节。
30.如权利要求29所述的成像设备,其特征在于,所述图像处理器为现场可编程门阵列FPGA器件。
31.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求26所述的曝光参数调节方法。
CN201811245532.6A 2018-10-24 2018-10-24 一种曝光评估值计算方法、曝光参数调节方法和成像设备 Active CN111093039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811245532.6A CN111093039B (zh) 2018-10-24 2018-10-24 一种曝光评估值计算方法、曝光参数调节方法和成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811245532.6A CN111093039B (zh) 2018-10-24 2018-10-24 一种曝光评估值计算方法、曝光参数调节方法和成像设备

Publications (2)

Publication Number Publication Date
CN111093039A true CN111093039A (zh) 2020-05-01
CN111093039B CN111093039B (zh) 2021-07-16

Family

ID=70392245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811245532.6A Active CN111093039B (zh) 2018-10-24 2018-10-24 一种曝光评估值计算方法、曝光参数调节方法和成像设备

Country Status (1)

Country Link
CN (1) CN111093039B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770285A (zh) * 2020-07-13 2020-10-13 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN111800584A (zh) * 2020-08-11 2020-10-20 深圳市安健科技股份有限公司 高动态范围图像处理方法、装置及计算机可读存储介质
CN111800583A (zh) * 2020-08-11 2020-10-20 深圳市安健科技股份有限公司 高动态范围图像分区处理方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072604A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理方式、装置、メディア、プログラム
CN101646014A (zh) * 2008-08-05 2010-02-10 佳能株式会社 图像处理设备和图像处理方法
CN105979162A (zh) * 2016-07-21 2016-09-28 凌云光技术集团有限责任公司 一种可扩展动态范围图像的自动曝光调整方法及装置
CN107302663A (zh) * 2017-07-31 2017-10-27 努比亚技术有限公司 一种图像亮度调整方法、终端及计算机可读存储介质
CN108022223A (zh) * 2017-12-18 2018-05-11 中山大学 一种基于对数映射函数分块处理融合的色调映射方法
CN108419025A (zh) * 2018-05-30 2018-08-17 北京图森未来科技有限公司 一种曝光参数调整方法、装置和可读介质
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072604A (ja) * 2006-09-15 2008-03-27 Canon Inc 画像処理方式、装置、メディア、プログラム
CN101646014A (zh) * 2008-08-05 2010-02-10 佳能株式会社 图像处理设备和图像处理方法
CN105979162A (zh) * 2016-07-21 2016-09-28 凌云光技术集团有限责任公司 一种可扩展动态范围图像的自动曝光调整方法及装置
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
CN107302663A (zh) * 2017-07-31 2017-10-27 努比亚技术有限公司 一种图像亮度调整方法、终端及计算机可读存储介质
CN108022223A (zh) * 2017-12-18 2018-05-11 中山大学 一种基于对数映射函数分块处理融合的色调映射方法
CN108419025A (zh) * 2018-05-30 2018-08-17 北京图森未来科技有限公司 一种曝光参数调整方法、装置和可读介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770285A (zh) * 2020-07-13 2020-10-13 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN111770285B (zh) * 2020-07-13 2022-02-18 浙江大华技术股份有限公司 一种曝光亮度控制方法、装置、电子设备和存储介质
CN111800584A (zh) * 2020-08-11 2020-10-20 深圳市安健科技股份有限公司 高动态范围图像处理方法、装置及计算机可读存储介质
CN111800583A (zh) * 2020-08-11 2020-10-20 深圳市安健科技股份有限公司 高动态范围图像分区处理方法、装置及计算机可读存储介质
CN111800583B (zh) * 2020-08-11 2022-03-08 深圳市安健科技股份有限公司 高动态范围图像分区处理方法、装置及计算机可读存储介质
CN111800584B (zh) * 2020-08-11 2022-04-29 深圳市安健科技股份有限公司 高动态范围图像处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN111093039B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
CN111093039B (zh) 一种曝光评估值计算方法、曝光参数调节方法和成像设备
CN105812675B (zh) 基于亮度分布和运动之间的折中生成场景的hdr图像的方法
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
US20140270487A1 (en) Method and apparatus for processing image
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
JP2011530880A (ja) エッジ検出を使用して奥行きデータを生成するシステム及び方法
CN110751608B (zh) 一种夜景高动态范围图像融合方法、装置和电子设备
CN105376490B (zh) 一种模式切换方法、装置及使用模式切换方法的终端设备
CN111083388A (zh) 一种补光灯控制方法、装置、电子设备及存储介质
CN108989699B (zh) 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
CN111225162B (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN117408890B (zh) 一种视频图像传输质量增强方法及系统
CN105578067A (zh) 图像生成方法、装置及终端设备
KR20220019235A (ko) 이미지 센서와 연관된 모션 특징들에 기초하여 노출 설정들을 제어하는 시스템들 및 방법들
US20220174222A1 (en) Method for marking focused pixel, electronic device, storage medium, and chip
CN110223244B (zh) 一种图像处理的方法、装置、电子设备和存储介质
CN111127337B (zh) 图像局部区域高光调整方法、介质、设备及装置
CN109040579B (zh) 一种拍摄控制方法、终端及计算机可读介质
US9466007B2 (en) Method and device for image processing
CN106454140B (zh) 一种信息处理方法及电子设备
CN110312083B (zh) 用于自动曝光的自巡航调节装置及方法、硬件加速器
CN111368596B (zh) 人脸识别逆光补偿方法、装置、可读存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant