CN112333398B - 自动曝光方法与电子装置 - Google Patents

自动曝光方法与电子装置 Download PDF

Info

Publication number
CN112333398B
CN112333398B CN202011061806.3A CN202011061806A CN112333398B CN 112333398 B CN112333398 B CN 112333398B CN 202011061806 A CN202011061806 A CN 202011061806A CN 112333398 B CN112333398 B CN 112333398B
Authority
CN
China
Prior art keywords
brightness
image
equation
obtaining
shutter time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011061806.3A
Other languages
English (en)
Other versions
CN112333398A (zh
Inventor
余常文
袁渝
蒋磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Priority to CN202011061806.3A priority Critical patent/CN112333398B/zh
Publication of CN112333398A publication Critical patent/CN112333398A/zh
Application granted granted Critical
Publication of CN112333398B publication Critical patent/CN112333398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time

Abstract

本申请公开了一种自动曝光方法及电子装置。自动曝光方法包括下列步骤：依据第一曝光参数控制摄像单元来得到具有第一图像亮度的图像，其中具有第一图像亮度的图像具有第一噪声与第一模糊度；依据第一图像亮度得到第二图像亮度；计算第二图像亮度与目标图像亮度的第一差值；当第一差值大于预设阀值，依据目标图像亮度与第一图像亮度的第一比例、第一噪声与第一模糊度，得到对应第二图像亮度的第二曝光参数；及依据第二曝光参数控制摄像单元来得到具有第二图像亮度的图像。

Description

自动曝光方法与电子装置
技术领域
本申请涉及一种自动曝光方法与电子装置，尤其涉及一种使用人眼视觉亮度、显示屏的噪声与模糊度来调整通过摄像单元得到并显示在显示屏上的图像亮度与曝光参数的自动曝光方法以及电子装置。
背景技术
摄像单元中的自动曝光系统可以将显示的预览图像的亮度从一默认亮度改变至目标图像亮度。使用者在观看预览图像时，可以看到从默认亮度改变至目标图像亮度的亮度变化过程。为了提升使用经验，预览图像的亮度会以渐变的方式变化至目标图像亮度，以防止亮度突变。此外，对应于不同亮度值，摄像单元可从厂商预设的曝光表中找寻适合的曝光参数来撷取影像。然而，现有技术对于亮度改变的方式并不能最佳地适应人眼的变化。再者，在寻找适当的曝光参数时，现有技术仅能从厂商提供的曝光表中找寻曝光参数，曝光表占用了摄像单元中的储存装置的空间。如何能够优化使用者对预览图像的亮度的刺激响应，以及在不使用曝光表的情形下得曝光参数，已成为本领域重要的工作项目。
发明内容
本申请的目的之一在于公开一种自动曝光方法及电子装置，来解决现有技术中自动曝光方法优化对人眼适应性的技术问题。
本申请的一实施例公开了一种自动曝光方法。自动曝光方法包括下列步骤：依据第一曝光参数控制摄像单元来得到具有第一图像亮度的图像，其中具有所述第一图像亮度的所述图像具有第一噪声与第一模糊度；依据所述第一图像亮度得到第二图像亮度；计算所述第二图像亮度与目标图像亮度的第一差值；当所述第一差值大于预设阀值，依据所述目标图像亮度与所述第一图像亮度的第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的第二曝光参数；及依据所述第二曝光参数控制所述摄像单元来得到具有所述第二图像亮度的所述图像。
本申请的一实施例公开了一种电子装置。所述电子装置包括处理器、摄像单元及显示屏，用于执行前述的自动曝光方法。
具体来说，本申请所公开的电子装置与自动曝光方法以新颖的方式优化预览图像亮度变化的问题，进而增进使用者的使用经验，且以新颖的方式得到曝光参数，优化曝光方法，并节省储存装置的空间。
附图说明
图1为本申请的电子装置的实施例的方框示意图。
图2为本申请的自动曝光方法的流程图。
图3为本申请的自动曝光方法的细节流程图。
具体实施方式
以下揭示内容提供了多种实施方式或例示，其能用以实现本揭示内容的不同特征。下文所述之组件与配置的具体例子系用以简化本揭示内容。当可想见，这些叙述仅为例示，其本意并非用于限制本揭示内容。举例来说，在下文的描述中，将一第一特征形成于一第二特征上或之上，可能包括某些实施例其中所述的第一与第二特征彼此直接接触；且也可能包括某些实施例其中还有额外的组件形成于上述第一与第二特征之间，而使得第一与第二特征可能没有直接接触。此外，本揭示内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的，且其本身不代表所讨论的不同实施例和/或组态之间的关系。
现有的摄像机具有自动曝光的功能，其可依据被摄目标所处的环境亮度(即拍摄场景的亮度)从内建的曝光表中决定摄像时的曝光参数(例如，光圈、快门与ISO值)，摄像机再依据曝光参数对被摄目标撷取图像并显示在显示屏以供用户观看。执行自动曝光的功能时，摄像机需要先使用预设曝光参数对被摄目标进行第一次图像撷取，并将第一次撷取的图像显示在显示屏上。摄像机接着再调整曝光参数去撷取被摄目标的图像，直至被撷取的图像达到目标图像亮度，下文将此过程简称为图像亮度变化或自动曝光过程。在一些实施例中，图像以像素阵列显示，若图像为灰阶图像，每个像素用来记录x个位的信息(其代表2x种灰度值)，则图像亮度可由像素阵列所记录的灰度值的平均值来表示。若图像为彩色图像，每个像素可用来记录z个位的RGB三原色信息(亦即2z种红色值、2z种蓝色值及2z种绿色值)，则图像亮度可由像素阵列所记录的RGB信息的平均值来表示。然本申请不以此为限，在某些实施例中，亦可以以图像中的主体的平均亮度来作为图像亮度；或是使用权值矩阵来产生。一般来说，目标图像亮度是依据环境亮度决定，且得到目标图像亮度的方式可以是一般的作法，本申请并不限制。
一般作法中，图像亮度变化可能只是单纯地依第一次撷取的图像的图像亮度(初始图像亮度)与目标图像亮度两个值做等长分步变化、递归变化、或多项式阶跃函数变化，使初始图像亮度平滑收敛至目标图像亮度，并未考虑到人眼适应性。然而，在不同的显示屏亮度(例如单位为尼特(nit))的情况下，人眼对相同的图像亮度变化，会有不同的感受。举例来说，在显示屏亮度较低时，由于人眼对暗光下的变化较敏感，反之亦然。传统上得到图像亮度变化的过程中没有考虑到显示屏亮度，以及人眼对显示屏亮度变化的响应，因此需要被改善以优化用户人眼适应的问题。
此外，在一般作法中，用来摄像的曝光参数由内建的曝光表中取得，在选取曝光参数时仅考虑图像亮度。但不同的曝光参数会影响取得的图像的噪声与模糊度。虽然使用这样的曝光参数可以得到预期的图像亮度，但也可能造成太大的噪声(例如太大的增益)或太糊的图像(例如太长的快门时间)。
综合上述问题，本申请提供的实施方式可以使用新颖的方法来优化用户人眼适应的问题，并且在不使用厂商提供的曝光表的情况下，同时考虑显示屏显示图像时的噪声与模糊度来决定曝光参数。其细节说明如下。
图1为本申请的电子装置10的实施例的方框示意图。电子装置10可以是手机、平版电脑、摄像机等任何能够用来拍摄图像或视频的电子产品。电子装置10通过处理器11控制摄像单元12对目标物100拍照以得到图像110，并将图像110显示在显示屏13上以供使用者观看。
处理器11用来决定摄像单元12的曝光参数，再依据曝光参数控制摄像单元12对目标物100曝光以得到图像110。每组曝光参数对应于一个亮度值。各组曝光参数分别都包括若干用以控制摄像单元12的子参数，举例来说，依据摄像单元12的设计，曝光参数可以包括光圈、快门时间与增益值等，其中增益值即摄像单元12的感亮度(ISO值)。为了易于解释，本申请中以固定光圈的摄像单元12做说明，即曝光参数包括快门时间Tn与增益值Gn，光圈为固定值。在一些实施例中，曝光参数的种类可以不同，本申请不以此为限，例如，在一些实施例中，摄像装置12的增益值为定值，曝光参数仅包括光圈与快门时间。
显示屏13的显示屏亮度it可以是由电子装置10根据所处的环境亮度自动在显示屏13的多个不同的发光等级下调整，也可以是由使用者自行设定，例如在越暗的环境中，显示屏亮度it越低；反之亦然，本申请并不加以限制。如前所述，由于人类视觉的特性，显示屏亮度it会影响使用者观看图像110的图像亮度变化的感觉，本申请的目的之一在于在预览图像的亮度变化的计算上，将显示屏亮度it这个因子考虑进去，使人眼感受更佳。
请同时参照图2。图2为电子装置10执行自动曝光方法20的流程图。自动曝光方法20用于得到图像亮度变化，并依据摄像装置12使用前一阶段的曝光参数对目标物100撷取图像110而产生的噪声Nn与模糊度Bn决定下一阶段的曝光参数，再使用下一阶段的曝光参数撷取图像110。首先，电子装置10可依据目标物100所处的环境亮度计算图像110的目标图像亮度YT。在一些实施例中，处理器11为图像信号处理器(Image signal processor；ISP)，用以执行自动曝光方法20。更具体地来说，处理器11利用一种符合人眼视觉响应的亮度平滑方程式S将图像110的初始图像亮度Y0平滑收敛至接近目标图像亮度YT，且亮度平滑方程式S考虑了显示屏亮度it，以优化自动曝光的流程。处理器11更利用噪声Nn与模糊度Bn之间的关系，决定增益值Gn与快门时间Tn的组合，以达到所欲的图像亮度。在一般操作中，若初始图像亮度Y0与目标图像亮度YT不同，显示屏13将呈现图像110具有亮度渐变的过程，直至图像110的图像亮度接近目标图像亮度YT。
在步骤S21中，处理器11先依据一组预设初始曝光参数控制摄像单元12对目标物100进行拍摄来得到具有初始图像亮度Y0(Yn,n＝0)的图像110。其中初始曝光参数包括初始增益值G0(Gn，n＝0)与初始快门时间T0(Tn，n＝0)，以及具有初始图像亮度Y0的图像110具有初始噪声N0(Nn,n＝0)与初始模糊度B0(Bn,n＝0)。一般来说，执行一次的自动曝光过程的一段期间可能达数毫秒至约两秒，在这段期间内，显示屏亮度it可以保持不变，也可能改变，本申请并不以此为限。
在步骤S22中，处理器11依据初始图像亮度Y0与显示屏亮度it，利用亮度平滑方程式S以得到下一个阶段的图像亮度Y1(Yn+1,n＝0)。具体来说，亮度平滑方程式S的参数包括实时图像亮度i与显示屏亮度it，初始图像亮度Y0与图像亮度Y1的关系可由方程式1表示。
Yn+1＝Yn×S(i,it) (方程式1)
其中，实时图像亮度i为当前最新撷取的图像110的亮度，亦即实时图像亮度i等于图像亮度Yn。为了清楚解释，方程式1可改写成方程式2如下。
Yn+1＝Yn×S(Yn,it) (方程式2)
其中n为正整数。得到图像亮度Y1的计算具体来说则是将初始图像亮度Y0作为实时图像亮度i带入方程式2做计算以得到亮度平滑方程式S的值。也就是用初始图像亮度Y0乘上计算出的亮度平滑方程式S的值以得到图像亮度Y1。其可将方程式2表示如方程式3。
Y1＝Y0×S(Y0,it) (方程式3)
得到图像亮度Y1后，在步骤S23中，处理器11要辨识图像亮度Y1是否已接近目标图像亮度YT，从而计算目标图像亮度YT与图像亮度Y1的差值。当目标图像亮度YT与图像亮度Y1的差值大于一预设阀值时(亦即图像亮度Y1和目标图像亮度YT的差值不在容许范围内)，会在具有图像亮度Y1的图像110被显示屏13显示后，重复进行下一轮的图像亮度调整。
在步骤S24中，处理器11依据图像亮度Y0(Yn，n＝0)与目标亮度YT的比例δ0(δn，n＝0)、噪声N0(Nn，n＝0)与模糊度B0(Bn，n＝0)来得到对应于的图像亮度Y1的曝光参数。比例δ0以方程式4表示。
YT＝δn·Yn (方程式4)
在一些实施例中，噪声Nn包括了非均匀像素噪声(pixel response non-uniformaluty noise,PRNU)、热噪声(thermal noise,TN)、散粒噪声(photo shot nouse,PSN)、固定模式噪声(fixed pattern noise,FPN)、读出噪声(readout noise,RN)及量化噪声(quantization error,QE)等。噪声Nn可由如下方程序5表示。
Nn＝Gn·(PRNU+TN+PSN+FPN+RN)+QE (方程式5)
在噪声Nn中，因为量化噪声通常远小于其他噪声组成因此可忽略，所以噪声Nn与增益值Gn大体上成正比。
在一些实施例中，模糊度Bn与快门时间Tn呈方程式6之关系。
Bn∝Tn 2/3 (方程式6)
基于方程式5与方程式6可以得到噪声Nn与模糊度Bn分别对应至增益值Gn与快门时间Tn之关系，但本申请不以此为限。例如，在其他的实施例中，模糊度Bn与快门时间Tn可为其他幂次方的关系。
此外，增益值Gn、快门时间Tn与比例δn还可由方程式7表示。
YT＝δn·Yn＝(αn·Tn)·(βn·Gn) (方程式7)
其中，αn与βn分别为快门时间Tn与增益值Gn的目标比例，亦即(αn﹡Tn)与(βn﹡Gn)为欲取得目标图像亮度YT时的快门时间与增益值。另外，图像亮度Yn等于增益值Gn与快门时间Tn的乘积，因此，比例αn与比例βn等于比例δn如方程式8所示。
δn＝αn·βn (方程式8)
请同时参考图3。图3绘示了步骤S24的细部流程，其描述了依据比例δ0、噪声N0模糊度B0来得到曝光参数的过程。在步骤S241中，处理器11依据噪声N0得到噪声的影响因子X。影响因子X定义为噪声Nn与摄像单元12可产生的最小噪声NTHD的比例。在步骤S242中，处理器11依模糊度B0得到模糊度的影响因子Z。影响因子Z定义为模糊度Bn与摄像单元12可产生的最小模糊度BTHD的比例。影响因子X与Z分别由方程式9、10表示。
X＝Nn/NTHD (方程式9)
Z＝Bn/BTHD (方程式10)
增益值G0对噪声N0的影响定义为噪声N0与影响因子X的乘积，以及快门时间T0对模糊度B0的影响定义为模糊度B0与影响因子Z的乘积。在一些实施例中，定义增益值Gn对噪声Nn的影响与快门时间Tn对模糊度Bn的影响相等，如方程式11所示，因此，依据方程式5、6、9、10可得如方程式11之关系。
αn 2/3·Z＝βn·X (方程式11)
再依据方程式8、11，比例αn与比例βn可以方程式12、13表示。
αn＝δn 3/5·(X/Z)3/5 (方程式12)
βn＝δn 2/5·(Y/Z)3/5 (方程式13)
在步骤S243中，处理器11依据比例δ0、影响因子X与Z得到比例α0与比例β0。更具体地来说，处理器11使用方程式12、13，依据比例δ0、影响因子X与Z将比例α0与比例β0计算出来。换言之，当比例δn、影响因子X与Z已知时，可利用方程式11的关系取得下一阶段的增益值Gn+1与快门时间Tn+1。
方程式11限制了增益值Gn对噪声Nn的影响以及快门时间Tn对模糊度Bn的影响之间的关系。因此，在取得下一阶段的增益值Gn+1与快门时间Tn+1时，因为依据了方程式11的限制关系，使得下一阶段取得的图像110中噪声Nn与模糊度Bn可以均衡，不至于使得图像110的噪声Nn太大或者是模糊度Bn太大。
得到比例α0与比例β0之后，在步骤S244中，处理器11依据比例α0与快门时间T0，利用快门时间平滑方程式ST取得快门时间T1(Tn+1，n＝0)。以及在步骤S245，处理器11依据比例β0与增益值G0，利用增益值平滑方程式SG取得增益值G1(Gn+1，n＝0)。快门时间T0与快门时间T1可由方程式14表示，以及增益值G0与增益值G1可由方程式15表示。
Tn+1＝ST(αn)·Tn (方程式14)
Gn+1＝SG(βn)·Gn (方程式15)
当得到对应图像亮度Y1的增益值G1与快门时间T1时，在步骤S25中，处理器11依据增益值G1与快门时间T1控制摄像单元12来撷取目标物100以得到具有图像亮度Y1的图像110。
在一些实施例中，快门时间平滑方程式ST、增益值平滑方程式SG与亮度平滑方程式S可由方程式16表示。在方程式16中，快门时间平滑方程式ST与增益值平滑方程式SG之乘积等于亮度平滑方程式S。在一些实施例中，快门时间平滑方程式ST与增益值平滑方程式SG相等，亦即亮度平滑方程式S的平方根等于快门时间平滑方程式ST与增益值平滑方程式SG。
S(Yn,it)＝ST(αn)·SG(βn) (方程式16)
在一些实施例中，电子装置10具有多个场景模式。不同的场景模式对于噪声Nn与模糊度Bn有不同的容忍度，例如星空模式与运动模式。当使用者拍摄星空时，因为星空背景接近深蓝色或黑色，即使当增益Gn稍微增大，噪声Nn也不易被观察到，亦即拍摄星空时对噪声Nn的容忍度较高。此时场景模式进入至星空模式，使增益值Gn略大，进而减小曝光时间带来的模糊影响。具体来说，当进入星空模式时，处理器11将方程式15中决定的增益值Gn+1除上场景调整参数R(R<1)，使调整后的增益值Gn+1变大，并将方程式14中决定的快门时间Tn+1乘上场景调整参数R，使调整后的快门时间Tn+1变小。用场景调整参数R调整过的曝光参数来撷取图像110以趋近拍摄星空时的需求。抑或是当用户拍摄运动的目标物100留下轨迹图时，因为图像的轨迹即是模糊度的具体存在，若要使轨迹长而明显，此时用户可以调整场景模式至运动模式，使快门时间Tn拉长，以增加模糊度Bn造成轨迹。具体来说，当进入运动模式时，处理器11将方程式14中决定的快门时间Tn+1除上场景调整参数Q(Q<1)，使调整后的快门时间Tn+1变大，并将方程式15中决定的增益值Gn+1乘上场景调整参数Q，使调整后的增益值Gn+1变小。用场景调整参数Q调整过的曝光参数来撷取图像110以趋近拍摄目标物100运动产生轨迹的需求。应注意的是，当快门时间Tn+1与增益值Gn+1被场景参数调整后，调整后的快门时间Tn+1与增益值Gn+1的乘积与调整前的快门时间Tn+1与增益值Gn+1的乘积相同。亦即即使经过场景参数的调整，图像亮度Yn+1均不变。
在其他些实施例中，当目标物100的移动速度太高时(例如拍摄赛车)，处理器11可以依据帧内模糊度B'来调整快门时间Tn。当目标物100的移动速度很高时使帧内模糊度B'超过容忍范围时，处理器11不使用方程式14来取得下一阶段的快门时间Tn+1，而是线性地降低快门时间Tn，使快门时间可以在短时间内快速下降至帧内模糊度B'到可容忍的范围。
在各种不同的实施例中，当撷取的图像110具有闪烁(flicker)时，处理器11更用以依据闪烁周期tf来调整快门时间Tn。其中，闪烁可能由目标物100所处环境的光源本身闪烁所造成。当原本依据方程式14决定的快门时间Tn大于闪烁周期tf时，处理器11将快门时间Tn调整为闪烁周期tf的整数倍以避免闪烁。更具体的说，处理器11调整快门时间Tn，使快门时间Tn增加或减少快门时间Tn至最接近原本快门时间Tn的闪烁周期tf的整数倍。例如，在中国地区，原本由方程式14决定的快门时间Tn为18ms，但目标物100所处环境的光源因使用50Hz的交流电而产生在显示屏13上10ms的闪烁周期tf，这时处理器11将快门时间Tn18ms调整增加至20ms(最接近18ms的整数倍)，以避免闪烁发生。又或是，在美国地区，目标物100所处环境的光源因使用60Hz的交流电而产生在显示屏13上大约8.3ms的闪烁周期tf，这时处理器11将快门时间Tn18ms调整减少至16.6ms，以避免闪烁发生。
在步骤S25中，当曝光参数中的快门时间T1与增益值G1被决定后，处理器11使用快门时间T1与增益值G1来控制摄像单元12来撷取具有图像亮度Y1的图像110，并将具有图像亮度Y1的图像110显示于显示屏13上。
因为图像亮度Y1和目标图像亮度YT的差值在还未容许范围内，因此处理器11执行步骤S26，将n加上1，也就是用n+1将n取代，因此n由0变1，并回到步骤S22，直至图像亮度Yn+1和目标图像亮度YT的差值在容许范围内。
相对地，在步骤S23中，当目标图像亮度YT与图像亮度Yn+1的差值不大于预设阀值时(亦即图像亮度Yn+1和目标图像亮度YT的差值在容许范围内时)，处理器11计算出对应图像亮度Yn+1的曝光参数，并依据曝光参数对目标物100撷取图像110，再将具有图像亮度Yn+1的图像110显示屏13上，随后处理器11停止调整图像110的亮度，结束自动曝光的操作。依此类推，若n＝5时，目标图像亮度YT与图像亮度Yn+1的差值才小于或等于所述阀值，则显示屏13会依序显示具有亮度Y0～Y6的图像110。
在目标图像亮度YT相同但显示屏亮度it不同的两种情况下，如背景亮度it为600尼特时，处理器11可得到亮度Y1、Y2、Y3、Y4与YT；当背景亮度it为800尼特时，处理器11可得到亮度Y1'、Y2'、Y3'与YT。因为当背景亮度it为600尼特时，相较于800尼特，显示屏13亮度较低，人眼对光线较敏感。自动曝光过程需要更细致的变化以符合人眼的视觉。且因为背景亮度it不同，所以平滑方程式S所得到的比例也不同，因此亮度Y1与Y1'不同，Y2与Y2'不同，Y3与Y3'不同。由于人眼视觉响应与除了与当下显示的亮度有关，更与显示屏亮度it有关。如前所述，当图像110从图像亮度Yn变化至图像亮度Yn+1时，人眼视觉响应会与图像亮度Yn与显示屏亮度it有关。上述方程式2中，因为亮度平滑方程式S包括了实时图像亮度i与显示屏亮度it，其等同于在取得下一个欲显示的图像亮度Yn+1时已参考了当前图像亮度Yn与显示屏亮度it。因此，本申请所提供的电子装置10与图像处理方法20可依据当前图像亮度Yn与显示屏亮度it来改变下一阶段的图像亮度Yn+1，进而得到符合人眼视觉响应的亮度平滑变化，从而增进使用者的使用经验。
另外，在现有技术中，摄像装置决定曝光参数仅考虑图像亮度。当被摄物处于移动状态时，若曝光参数中的快门太长，则会得到模糊的影像。当被摄物所处环境太暗时，若曝光参数中的增益太大，则会得到太多噪声的影像。但因为现有技术中，曝光参数的决定不考虑噪声与模糊度，因此上述的问题无法避免。
当目标物100处于移动状态或处于太暗的环境时，本申请所提供的电子装置10与图像处理方法20依据模糊度Bn、噪声Nn来决定下一阶段的快门时间Tn+1与增益值Gn+1，以避免撷取的图像110噪声Nn+1太大或模糊度Bn+1太高的问题。更确切的说，电子装置10与图像处理方法20利用方程式11，可均衡噪声Nn与模糊度Bn的影响，在图像亮度Yn+1已知的前提之下，控制快门时间Tn+1与增益值Gn+1，使具有图像亮度Yn+1的图像110不会因为增益值Gn+1太大使得噪声Nn+1太大，或是因为快门时间Tn+1太长使得模糊度Bn+1太高。
在一些实施例中，快门时间Tn与增益值Gn均有各自的上限值TMAX、GMAX。当快门时间Tn+1超过TMAX时，处理器11将快门时间Tn+1设为TMAX，并增加增益值Gn+1以补偿快门时间的不足。另一方面，当增益值Gn+1超过GMAX时，处理器11将增益值Gn+1设为GMAX，并加增加以快门时间Tn+1补偿增益值的不足。
在一些实施例中，亮度平滑方程式S正相关于人眼视觉亮度方程式EYE与曝光方程式H的比值，其中人眼视觉亮度方程式EYE可通过斯蒂文斯(Steven')定律或巴特尔森-布勒曼效应(Bartlson-Breneman effect)方程式来得到，及曝光方程式H可通过国际标准化组织(ISO122332：2019)定义的相机曝光量H来表示。
当人眼视觉亮度方程式EYE通过斯蒂文斯定律表示时，亮度平滑方程式S可表示为方程式17～19如下。
S∝EYE(i,it)/H (方程式17)
EYE＝K(i-it)a (方程式18)
Figure BDA0002712590070000121
其中，在斯蒂文斯定律中，it指的是环境亮度，由于人眼观看显示屏13时，显示屏亮度的影响近似环境亮度，因此在本申请中以显示屏亮度做为斯蒂文斯定律中所指环境亮度，以下巴特尔森-布勒曼效应方程式亦同。在方程式18中，K与a为随环境亮度变化而变化的参数，在方程式18中，L为被摄目标物100的环境亮度、t为摄像单元12的曝光时间、A为摄像单元12的光圈大小、
Figure BDA0002712590070000122
为与摄像单元12的系统常数。在一些实施例中，方程式18中的K使用三阶多项式拟合而得。斯蒂文斯定律提供了显示屏亮度it与适应等级Al(adaptationlevel)的线性关系由方程式20表示。使用三阶多项式拟合而得的K由方程式21表示。
it＝0.64·Al+4.1 (方程式20)
Figure BDA0002712590070000131
在一些实施例中，方程式18中的a使用二阶多项式拟合而得，其以方程式22表示。
a＝3.643·10-5·Al2-3.267·10-5·Al+0.4067 (方程式22)
另外，当人眼视觉亮度方程式EYE通过巴特尔森-布勒曼效应方程式表示时，可将人眼视觉亮度方程式EYE的关系表示为方程式23如下。
logEYE＝a+b·log(i)-ced·logi (方程式23)
其中，a、b、c与d为依据环境亮度拟合出的常数。在一些实施例中，a为2.037，及b为0.1401。在一些实施例中，巴特尔森-布勒曼效应提供了c与d依据适应等级Al之关联，并由如下方程序24拟合而得。如同斯蒂文斯定律中，以显示屏亮度it作为环境亮度。当知道显示屏亮度it时可得到适应等级Al，并由适应等级Al得到方程式23中的a、b、c与d等常数。
(c,d)＝r·es+u·ev (方程式24)
在一些实施例中，对于c拟合出的结果，r为0.2811，s为0.6911，u为1.107，及v为0.01745。在一些实施例中，对于d拟合出的结果，r为-0.08682，s为-0.02441，u为-0.1429，及v为0.1865。
综上所述，人眼视觉亮度方程式EYE可通过斯蒂文斯定律或巴特尔森-布勒曼效应以适应等级Al拟合出来，又适应等级Al与显示屏亮度it呈线性关系(如方程式20)，拟合出的人眼视觉亮度方程式EYE为具有显示屏亮度it与实时图像亮度i两个参数的方程式。得到人眼视觉亮度方程式EYE后，再将显示屏亮度it与实时图像亮度i带入人眼视觉亮度方程式EYE即可得到在具有显示屏亮度it的显示屏13显示具有实时图像亮度i的图像时的人眼视觉亮度。接着将人眼视觉亮度带入方程式17可以得到亮度平滑方程式S。
依据方程式7、8，快门时间平滑方程式ST与增益值平滑方程式SG的乘积等于亮度平滑方程式S。因此，当快门时间平滑方程式ST与增益值平滑方程式SG中任一被决定时，另一个方程式也被决定。换言之，在一些实施例中，当亮度平滑方程式S的值已知时，快门时间平滑方程式ST的值与增益值平滑方程式SG的值成反比的关系。
应注意的是，本申请并不对亮度平滑方程式S、快门时间平滑方程式ST与增益值平滑方程式SG做限制，只要符合上述原则，皆属于本申请的范围。
在一些实施例中，噪声Nn与模糊度Bn由处理器11计算出来。显示屏13具有由多个像素组成的像素阵列，包括噪声Nn与模糊度Bn信息的图像110由像素阵列显示。噪声Nn可通过对感兴趣区域(region of interested,ROI)内的像素的像素值计算标准偏差而得到。对于计算模糊度Bn之操作如下所述。若感兴趣区域为一个p*q个像素组成的阵列区域，每个像素的亮度以Pi,j表示。处理器11先取得在感兴趣区域内的每个像素的亮度Pi,j，接着计算两帧之间(例如Yn+1与Yn之间)的亮度差ΔPi,j，并找出亮度变化最大的方向D如方程式25所示。
D＝(x,y)of MAX(ΔPi±1,j±1,ΔPi,j±1,ΔPi±1,j) (方程式25)
当方向D已知后，定义D方向上的亮度变化值ΔPx与ΔPy，其由方程式26～29所表示。
ΔPx＝Pi+2(x-i),j；x≠i (方程式26)
ΔPx＝NULL；x＝i (方程式27)
ΔPy＝Pi,j+2(y-j)；y≠j (方程式28)
ΔPy＝NULL；y＝j (方程式29)
接着再定义模糊度Bn等于ΔPx与ΔPy的组成，其由方程式30表示。
Figure BDA0002712590070000151
在一些实施例中，帧内模糊度B'亦由处理器11计算出来，其可由方程式31定义如下。
Figure BDA0002712590070000152
在一些实施例中，设两帧数据的快门时间分别为Tn与Tn+1(＝Tn+ΔT)，依据方程式30可以得到模糊度Bn与ΔT的关系如方程
式32所示。
Figure BDA0002712590070000153
其中kx,y为像素的光电转换系数，w(l)为目标物100的亮度权重值，f(l)为目标物100的亮度函数。当ΔT很小时，方程式30中的ΔPx与ΔPy可表示为方程式32中的kx,y*ΔT*∫w(l)f(l)，因此可得模糊度Bn正比于ΔT的二次方(K为常数)。因为ΔT很小，所以要把Tn求出时可以对ΔT积分，其由方程式33表示。
Tn＝∫ΔT＝∫dTn＝K′∫Bn 1/2＝K″·Bn 3/2 (方程式33)
其中K'与K″均为常数，通过方程式33即可得方程式6之关系。
应注意的是，本申请并不对噪声Nn、模糊度Bn与帧内模糊度B'做限制，只要符合上述原则，皆属于本申请的范围。

Claims (21)

1.一种自动曝光方法，其特征在于，包括：
依据第一曝光参数控制摄像单元来得到具有第一图像亮度的图像，其中具有所述第一图像亮度的所述图像具有第一噪声与第一模糊度；依据所述第一图像亮度得到第二图像亮度，包括：
依据所述第一图像亮度与显示屏的显示屏亮度，利用人眼视觉亮度方程式得到第一人眼视觉亮度；
依据所述第一人眼视觉亮度得到亮度平滑方程式；及
依据所述亮度平滑方程式得到所述第二图像亮度；
计算所述第二图像亮度与目标图像亮度的第一差值；
当所述第一差值大于预设阀值，依据所述目标图像亮度与所述第一图像亮度的第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的第二曝光参数；及
依据所述第二曝光参数控制所述摄像单元来得到具有所述第二图像亮度的所述图像。
2.如权利要求1所述的自动曝光方法，其特征在于，具有所述第二图像亮度的所述图像具有第二噪声与第二模糊度，
其中所述自动曝光方法还包括：
依据所述第二图像亮度与所述显示屏亮度得到第二人眼视觉亮度，并依据所述第二人眼视觉亮度得到第三图像亮度；
计算所述第三图像亮度与所述目标图像亮度的第二差值；及
当所述第二差值大于所述预设阀值，依据所述目标图像亮度与所述第二图像亮度的第一比例、所述第二噪声与具有所述第二图模糊度，得到对应所述第三图像亮度的第三曝光参数。
3.如权利要求1所述的自动曝光方法，其特征在于，所述亮度平滑方程式正相关于所述人眼视觉亮度方程式与曝光方程式的比值。
4.如权利要求3所述的自动曝光方法，其特征在于，所述人眼视觉亮度方程式通过斯蒂文斯定律以适应等级的多项式拟合来得到，其中所述适应等级与所述显示屏亮度呈线性关系，其中拟合得到的所述人眼视觉亮度方程包括第一参数与第二参数，其中所述第一参数代表所述图像的图像亮度，及所述第二参数代表所述显示屏亮度。
5.如权利要求4所述的自动曝光方法，其特征在于，所述人眼视觉亮度方程式通过巴特尔森-布勒曼效应方程式以适应等级与自然对数的底数(e)拟合来得到，其中所述适应等级与所述显示屏亮度呈线性关系，其中拟合得到的所述人眼视觉亮度方程包括第一参数与第二参数，其中所述第一参数代表所述图像的图像亮度，及所述第二参数代表所述显示屏亮度。
6.如权利要求4所述的自动曝光方法，其特征在于，所述曝光方程式包含国际标准化组织定义的相机曝光量，其中所述相机曝光量为所述摄像单元的曝光时间乘以环境亮度乘以所述摄像单元的系统常数再除以所述摄像单元的光圈大小的二次方。
7.如权利要求1所述的自动曝光方法，其特征在于，其中依据所述第一曝光参数控制所述摄像单元来得到具有所述第一图像亮度的所述图像的步骤包括：
将预设初始曝光参数作为所述第一曝光参数来控制所述摄像单元来得到具有初始图像亮度的所述图像。
8.如权利要求1所述的自动曝光方法，其特征在于，所述第一曝光参数包括第一快门时间与第一增益值，及所述第二曝光参数包括第二快门时间与第二增益值。
9.如权利要求8所述的自动曝光方法，其特征在于，依据所述目标图像亮度与所述第一图像亮度的所述第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的所述第二曝光参数的步骤包括：
依据所述第一噪声得到第一影响因子，其中所述第一影响因子为所述第一噪声与所述摄像单元可产生的最小噪声的比值；
依据所述第一模糊度得到第二影响因子，其中所述第二影响因子为所述第一模糊度与所述摄像单元可产生的最小模糊度的比值；
依据所述第一影响因子、所述第二影响因子与所述第一比例得到第二比例与第三比例，其中所述第二比例等于目标快门时间与所述第一快门时间的比值，及所述第三比例等于目标增益值与所述第一增益值的比值；
依据所述第二比例与所述第一快门时间得到所述第二快门时间；及
依据所述第三比例与所述第一增益值得到所述第二增益值。
10.如权利要求9所述的自动曝光方法，其特征在于，所述第一快门时间对所述第一模糊度造成的影响与所述第一增益值对所述第一噪声造成的影响相等。
11.如权利要求10所述的自动曝光方法，其特征在于，所述第一快门时间对所述第一模糊度造成的所述影响等于所述第二影响因子与所述第二比例的2/3次方的乘积，及所述第一增益值对所述第一噪声造成的所述影响等于所述第一影响因子与所述第三比例的乘积。
12.如权利要求9所述的自动曝光方法，其特征在于，依据所述第二比例与所述第一快门时间得到所述第二快门时间的步骤包括：
依据快门时间平滑方程式得到所述第二快门时间。
13.如权利要求9所述的自动曝光方法，其特征在于，依据所述第三比例与所述第一增益值得到所述第二增益值的步骤包括：
依据增益值平滑方程式得到所述第二增益值。
14.如权利要求9所述的自动曝光方法，其特征在于，所述第二比例与所述第三比例的乘积等于所述第一比例。
15.如权利要求9所述的自动曝光方法，其特征在于，依据所述目标图像亮度与所述第一图像亮度的所述第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的所述第二曝光参数的步骤还包括：
依据场景参数，将所述第二快门时间乘以所述场景调整参数以得到调整后的所述第二快门时间；及
依据所述场景调整参数，将所述第二增益值除以所述场景调整参数以得到调整后的所述所述第二增益值。
16.如权利要求8所述的自动曝光方法，其特征在于，依据所述目标图像亮度与所述第一图像亮度的所述第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的所述第二曝光参数的步骤包括：
当用以显示所述图像具有闪烁时，将所述第二快门时间调整为所述闪烁的闪烁周期的整数倍。
17.如权利要求8所述的自动曝光方法，其特征在于，依据所述目标图像亮度与所述第一图像亮度的所述第一比例、所述第一噪声与所述第一模糊度，得到对应所述第二图像亮度的所述第二曝光参数的步骤包括：
当所述第一模糊度大于预定值时，将所述第一快门时间线性地降低成为所述第二快门时间。
18.如权利要求1所述的自动曝光方法，其特征在于，还包括：
得到所述目标图像亮度。
19.如权利要求10所述的自动曝光方法，其特征在于，得到所述目标图像亮度的步骤包括：
依据环境亮度计算出所述目标图像亮度。
20.如权利要求1所述的自动曝光方法，其特征在于，还包括：
当所述第一差值不大于所述预设阀值，停止调整所述图像的图像亮度。
21.一种电子装置，其特征在于，包括：
处理器，用于执行如权利要求1至20中任一项所述的自动曝光方法；
所述摄像单元；及
所述显示屏。
CN202011061806.3A 2020-09-30 2020-09-30 自动曝光方法与电子装置 Active CN112333398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011061806.3A CN112333398B (zh) 2020-09-30 2020-09-30 自动曝光方法与电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011061806.3A CN112333398B (zh) 2020-09-30 2020-09-30 自动曝光方法与电子装置

Publications (2)

Publication Number Publication Date
CN112333398A CN112333398A (zh) 2021-02-05
CN112333398B true CN112333398B (zh) 2022-07-26

Family

ID=74314473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011061806.3A Active CN112333398B (zh) 2020-09-30 2020-09-30 自动曝光方法与电子装置

Country Status (1)

Country Link
CN (1) CN112333398B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005571A (zh) * 2006-01-18 2007-07-25 奥林巴斯映像株式会社 可更换镜头的数字照相机
CN105577941A (zh) * 2016-02-01 2016-05-11 惠州Tcl移动通信有限公司 一种终端屏幕亮度调节方法及系统
CN109936698A (zh) * 2017-12-18 2019-06-25 杭州海康威视数字技术股份有限公司 一种自动曝光控制方法、装置、电子设备及存储介质
CN110337260A (zh) * 2017-03-30 2019-10-15 Hoya株式会社 电子内窥镜装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551123B2 (ja) * 2000-04-18 2004-08-04 ミノルタ株式会社 電子カメラ
JP4047301B2 (ja) * 2004-05-18 2008-02-13 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005571A (zh) * 2006-01-18 2007-07-25 奥林巴斯映像株式会社 可更换镜头的数字照相机
CN105577941A (zh) * 2016-02-01 2016-05-11 惠州Tcl移动通信有限公司 一种终端屏幕亮度调节方法及系统
CN110337260A (zh) * 2017-03-30 2019-10-15 Hoya株式会社 电子内窥镜装置
CN109936698A (zh) * 2017-12-18 2019-06-25 杭州海康威视数字技术股份有限公司 一种自动曝光控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112333398A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
US7940325B2 (en) Apparatus and method of capturing images having optimized quality under night scene conditions
JP4240023B2 (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US8072507B2 (en) Method and system of generating high dynamic range image corresponding to specific scene
US8121404B2 (en) Exposure control apparatus and image pickup apparatus
US8285075B2 (en) Image processing apparatus, image processing method, and program
US8275212B2 (en) Image processing apparatus, image processing method, and program
US8558944B2 (en) Image capture apparatus and method for generating combined-image data
JP2749921B2 (ja) 撮像装置
US20070195171A1 (en) Face importance level determining apparatus and method, and image pickup apparatus
US7443442B2 (en) Image apparatus and method for compensating for high and low luminance image portions via exposure control and gamma correction
US8120658B2 (en) Hand jitter reduction system for cameras
JP5507251B2 (ja) カメラの手ぶれ低減システム
US8059187B2 (en) Image capturing apparatus
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
US8989510B2 (en) Contrast enhancement using gradation conversion processing
JP5149055B2 (ja) 撮像装置
JP5029195B2 (ja) 露出制御装置および撮像装置
JP2009124264A (ja) 画像処理装置および画像処理方法
CN112333398B (zh) 自动曝光方法与电子装置
CN112911146A (zh) 基于人脸的智能调光方法
US20030128282A1 (en) Apparatus and method for processing image signal and imaging equipment
JP2002369074A (ja) 光学機器の露出制御装置およびプログラム、並びに方法
CN112165580B (zh) 自动曝光方法与电子装置
KR100978675B1 (ko) 플래시를 이용한 촬영에서의 화이트밸런스 조정 방법
CN114125317A (zh) 一种曝光控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant