CN114257738A - 自动曝光方法、装置、设备及存储介质 - Google Patents

自动曝光方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114257738A
CN114257738A CN202111447995.2A CN202111447995A CN114257738A CN 114257738 A CN114257738 A CN 114257738A CN 202111447995 A CN202111447995 A CN 202111447995A CN 114257738 A CN114257738 A CN 114257738A
Authority
CN
China
Prior art keywords
area
touch
preview image
main body
photometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111447995.2A
Other languages
English (en)
Inventor
王远博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Information Technology Co Ltd
Original Assignee
Shanghai Wingtech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Information Technology Co Ltd filed Critical Shanghai Wingtech Information Technology Co Ltd
Priority to CN202111447995.2A priority Critical patent/CN114257738A/zh
Publication of CN114257738A publication Critical patent/CN114257738A/zh
Priority to PCT/CN2022/135546 priority patent/WO2023098743A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请公开了一种自动曝光方法、装置、设备及存储介质,该方法包括:获取测试脚本;获取预览图像;将预览图像输入预先训练好的神经网络模型中,提取主体区域,神经网络模型用于对预览图像进行边缘检测和区域划分;当检测到屏幕触摸操作时,确定预览图像的触摸测光区域;基于触摸测光区域和主体区域,确定主体对象;采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。该方案提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。

Description

自动曝光方法、装置、设备及存储介质
技术领域
本发明一般涉及相机成像技术领域,具体涉及一种自动曝光方法、装置、设备及存储介质。
背景技术
随着科技的快速发展,相机功能已经广泛地应用在手机、电脑等各种电子产品中,其通过拍摄照片或视频可用于进行视频会议、远程医疗、实时监控及影像处理等。其中,为了防止拍摄的图像的亮度不足或者亮度过高,使得图片有良好的曝光效果,在拍摄图片前,对场景进行测光和曝光控制显得尤为重要。
目前,相关技术中可以采用平均测光法、中心权重测光法以及点测光法对拍摄画面进行测光。然而,对于一些特殊场景,例如需要拍摄的主体和背景的亮暗差别大的场景,上述平均测光法和中心权重测光法不能使拍摄主体获得合适的曝光效果;而对于上述点测光法对测光点的选择要求较高,对于普通用户而言,如果不能选择合适的测光点,会导致拍摄画面容易出现过曝或欠曝的情况,从而影响拍摄照片的清晰度。
发明内容
鉴基于此,有必要针对上述技术问题,提供一种自动曝光方法、装置、设备及存储介质。
第一方面,本申请实施例提供了一种自动曝光方法,该方法包括:
获取预览图像;
将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
基于所述触摸测光区域和所述主体区域,确定主体对象;
采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
在一个实施例中,将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,包括:
对所述预览图像按照亮度划分处理,提取候选区域;
将所述候选区域输入预先训练好的神经网络模型中进行区域划分处理,以提取主体区域。
在一个实施例中,基于所述触摸测光区域和所述主体区域,确定主体对象,包括:
分别获取所述触摸测光区域在所述预览图像中对应的第一坐标位置和所述主体区域在所述预览图像中对应的第二坐标位置;
确定所述第一坐标位置与所述第二坐标位置相匹配位置对应的区域;
将所述匹配位置对应的区域确定为主体对象。
在一个实施例中,采用动态权重法对主体对象进行测光,得到所述预览图像的亮度信息,包括:
对所述主体对象所在的主体区域进行分割处理,以所述触摸测光区域为中心建立高斯分布式权重表;
基于所述高斯分布式权重表,确定所述预览图像的亮度信息。
在一个实施例中,对所述主体区域进行分割处理,以所述触摸测光区域为中心建立高斯分布式权重表,包括:
确定所述触摸测光区域的关联测光区域,所述关联测光区域为所述主体区域中除所述触摸测光区域外的其他区域;
以所述触摸测光区域为中心,分别为所述触摸测光区域和所述关联测光区域分配测光权重值,以建立所述高斯分布式权重表。
在一个实施例中,分别为所述触摸测光区域和所述关联测光区域分配测光权重值,包括:
为所述触摸测光区域分配最高测光权重值;
以所述触摸测光区域为中心,按照所述关联测光区域与所述触摸测光区域的距离由近至远的规则,依次为所述关联测光区域由高至低分配对应的测光权重值。
在一个实施例中,根据所述亮度信息进行曝光,包括:
基于所述亮度信息,采用预设的曝光控制算法计算曝光时间和曝光增益;
当检测到快门触发操作时,基于所述曝光时间和所述曝光增益进行曝光。
第二方面,本申请实施例提供了一种自动曝光装置,该装置包括:
获取模块,用于获取预览图像;
区域提取模块,用于将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
区域确定模块,用于当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
主体确定模块,用于基于所述触摸测光区域和所述主体区域,确定主体对象;
测光模块,用于采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本申请任意实施例所提供的自动曝光方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请任意实施例所提供的自动曝光方法的步骤。
本申请实施例提供的自动曝光方法、装置、设备及存储介质,通过获取预览图像,并将预览图像输入预先训练好的神经网络模型中,提取主体区域,该神经网络模型用于对预览图像进行边缘检测和区域划分,当检测到屏幕触摸操作时,确定预览图像的触摸测光区域,基于触摸测光区域和主体区域,确定主体对象,采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。该方法能够通过神经网络模型精确地提取到主体区域,并结合触摸测光区域确定出主体对象,提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请实施例提供的自动曝光方法的应用场景图;
图2为本申请实施例提供的自动曝光方法的流程示意图;
图3为本申请实施例提供的卷积神经网络模型的结构示意图;
图4为本申请实施例提供的确定预览图像的亮度信息方法的流程示意图;
图5为本申请实施例提供的以触摸测光区域为中心建立高斯分布式权重表的示意图;
图6为本申请实施例提供的高斯分布式权重表的示意图;
图7为本申请实施例提供的自动曝光方法的流程示意图;
图8为本申请实施例提供的自动曝光装置的结构示意图;
图9为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本申请作进一步的详细说明。应当理解的是,此处所描述的具体实施例仅仅用于解释本申请,并不用于限定本申请。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了便于理解,下面对本申请实施例涉及的一些技术术语进行解释:
自动曝光:(Automatic Exposure,简称AE),是指相机根据光线的强弱自动调整曝光量,防止曝光过度或者不足。自动曝光的目的是在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别,从而捕获的视频或图像既不太暗也不太量,为了达到这个目的,要调整镜头孔径,传感器曝光时间,传感器模拟增益和传感器/ISP数字增益,这个过程称为自动曝光。
卷积神经网络:(Convolutional Neural Network,简称CNN)是一种包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一,具有表征学习能力,由一个或多个卷积层和全连接层组成,同时也包括关联权重和池化层。
特征提取:是指使用计算机提取图像中属于特征性的信息的方法及过程。在机器学习、模式识别和图像处理中,特征提取是从初始的一组测量数据开始,并建立旨在提供信息和非冗余的派生值(特征),从而促进后续的学习和泛化步骤。
可以理解,在终端设备智能化程度不断增加的过程中,相机功能也已经越来越普遍地应用在人们的日常生活中。其中,高质量的影像需要以准确的曝光为基准,而准确的曝光又离不开准确测光这个前提,它能为曝光控制提供依据。测光是指测定被摄对象反射回来的光亮度,也称之为反射式测光,用于相机对光线状况的评估。
目前,相关技术中可以采用平均测光法、中心权重测光法以及点测光法对拍摄画面进行测光。其中,平均测光法是指将画面划分为多个区域,每个区域进行独立测光,然后依次计算出整个画面的测光平均值;中心权重测光法是指测光模式重点在画面的中央区域测光,然后对整个场景进行平均起来测光。然而,对于一些特殊场景,例如需要拍摄的主体和背景的亮暗差别大的场景,上述平均测光法和中心权重测光法不能使拍摄主体获得合适的曝光效果。点测光法是指对一个点进行测光,该点通常是指整个画面中心,但是上述点测光法对测光点的选择要求较高,对于普通用户而言,如果不能选择合适的测光点,会导致拍摄画面容易出现过曝或欠曝的情况,从而影响拍摄照片的清晰度。
基于上述缺陷,本申请提供了一种自动曝光方法、装置、设备及存储介质,与现有技术相比,该方法能够通过神经网络模型精确地提取到主体区域,并结合触摸测光区域确定出主体对象,提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。
本申请实施例提供的自动曝光方法可以应用于如图1所示的应用环境中。图1为一个实施例中自动曝光方法的应用场景图,该应用环境包括100终端设备.其中,该终端设备100可以具有图像采集功能的终端设备。该终端设备包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
上述终端设备100用于获取预览图像,并将预览图像输入预先训练好的神经网络模型中,提取主体区域;当检测到屏幕触摸操作时,确定预览图像的触摸测光区域;基于触摸测光区域和主体区域,确定主体对象;采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。
其中,上述终端设备获取预览图像的方式,可以包括但不限于通过电荷耦合器件(Charge-coupled Device,简称CCD)的感光原件进行感光获取或者CMOS(英文全称为Complementary Metal-Oxide Semiconductor)的感光原件感光获取。
为了便于理解和说明,下面通过图2至图9详细阐述本申请实施例提供的自动曝光方法、装置、设备及存储介质。
图2所示为本申请实施例提供的自动曝光方法的流程示意图,该方法应用于终端设备,如图2所示,该方法包括:
S101、获取预览图像。
需要说明的是,上述预览图像是指在曝光之前,在终端设备的图像预览区域中显示的待拍摄对象的图像,例如,对某个人物或风景进行拍摄时,终端设备运行相机功能后,会在拍摄界面中的某个区域形成该任务的图像,供用户参考。此时,该拍摄界面中显示图像的区域为图像预览区域,显示的人物或风景图像即为预览图像。
可选的,上述待拍摄对象可以为人物、风景、动物、物体等,该物体例如可以是房子或汽车。
本步骤中,终端设备可以接收用户输入的触发指令,根据触发指令开启终端设备上对应的拍摄应用程序,该应用程序例如可以为相机,通过摄像头模组采集图像信息,从而在终端设备的屏幕上形成一个图像预览区域,并在该图像预览区域中形成待拍摄对象的预览图像。
示例性地,例如用户使用智能手机对某处风景进行拍摄时,首先在智能手机接收到打开“相机”应用程序的命令,然后智能手机自动打开该“相机”应用程序,接着智能手机在屏幕上形成一个图像预览区域,并调用摄像头对待拍摄对象进行拍摄,以在图像预览区域形成该待拍摄对象的预览图像,从而使得终端设备获取到预览图像。
S102、将预览图像输入预先训练好的神经网络模型中,提取主体区域,神经网络模型用于对预览图像进行边缘检测和区域划分。
本步骤中,在获取到预览图像后,可以对预览图像按照亮度划分处理,提取候选区域,并将候选区域输入预先训练好的神经网络模型中进行区域划分处理,以提取主体区域。可选的,上述神经网络模型可以是卷积神经网络模型。
其中,在对预览图像按照亮度划分处理时,可以采用预设的卷积神经网络模型进行亮度划分处理,以提取候选区域,该卷积神经网络模型可以是预先对初始卷积神经网络模型中的模型参数不断进行训练后得到的。也可以通过获取预览图像中每个像素点的亮度值,从而按照该亮度值对预览图像进行亮度划分处理以提取候选区域。
可以理解的是,请参见图3所示,上述卷积神经网络模型可以至少包括卷积层、池化层和全连接层。其中,卷积层是通过卷积核的过滤提取出图片中局部的特征;池化层的作用是下采样,降维、去除冗余信息,对特征进行压缩、简化网络复杂度、较小计算量、较小内存消耗等,通过池化层进行处理能够有效地缩小参数矩阵的尺寸,从而减少最后全连接层中的参数数量,可以加快计算速度和防止过拟合的作用;全连接层主要是用于进行分类的作用,以输出对应的结果。全连接层可以是多个或一个,卷积层也可以是多个或一个。
该实施例中,在得到候选区域后,将候选区域输入预先训练好的神经网络模型中进行区域划分处理的过程中,可以将候选区域依次经过卷积层、池化层和全连接层进行区域划分处理,从而确定主体区域。
具体地,可以先对候选区域进行预处理,得到预处理后的候选区域,然后将其输入至卷积层进行特征提取处理,得到卷积层的输出结果,并将卷积层的输出结果进行非线性映射处理后输入池化层进行下采样,得到池化层的输出结果,并将池化层的输出结果输入全连接层进行处理,从而提取到得到主体区域。其中,该主体区域可以包括主体轮廓和主体尺寸。
可选的,在通过池化层进行处理的过程中,可以通过平均池化或最大池化处理。其中,平均池化(average pooling)是指计算图像区域的平均值作为该区域池化后的值。最大池化(max pooling)是指选图像区域的最大值作为该区域池化后的值。
上述卷积神经网络可以通过如下步骤进行训练得到:先对网络进行权值的初始化,以构建初始卷积神经网络模型,获取历史图像和已经划分的主体区域,然后将该历史图像输入卷积层、池化层和全连接层进行处理,从而得到主体区域的输出值,并计算主体区域的输出值和已经划分的主体区域的目标值之间的误差,得到损失函数,按照损失函数最小化对网络模型中的全直参数进行优化更新处理,从而得到训练好的卷积神经网络。
本实施例中通过卷积神经网络提取主体区域,能够有效地将大数据量的图片降维成小数据量,且有效保留图像特征,可以避免测光时背景区域内的图像点对主体区域内的图像点产生不必要的影响,从而很大程度上提高了对主体区域内的图像点进行测光的准确性。
S103、当检测到屏幕触摸操作时,确定预览图像的触摸测光区域。
具体地,在获取到预览图像后,用户可以点击终端设备屏幕上的预览图像,从而使得终端设备检测到屏幕触摸操作,由于终端设备的触摸屏上包括一系列传感器,可以检测手指引起的电容变化,当用户的手指触摸屏幕时,会影响每个传感器的自电容以及它们之间的互电容,因此,可以通过检测电容的变化进行触摸测光区域检测,将电容发生变化的区域确定为预览图像的触摸测光区域。
S104、基于触摸测光区域和主体区域,确定主体对象。
具体地,在确定出触摸测光区域和主体区域后,可以根据预设算法确定需要进行拍摄的主体对象,通过分别获取触摸测光区域在预览图像中对应的第一坐标位置和主体区域在预览图像中对应的第二坐标位置,然后确定第一坐标位置与第二坐标位置相匹配位置对应的区域,并将匹配位置对应的区域确定为主体对象。
需要说明的是,本实施例中的主体对象,是指终端设备在曝光时需要重点对待的对象,比如在采用AE收敛算法进行曝光时,主体对象即是该算法中亮度权重值最大的对象。可选的,本实施例中主体对象可以为具体对象,例如人物脸部、人体、或者某个物体等,也可以是预览图像中的某个区域,比如某处风景的一个区域、人物及周边区域等。
示例性地,当用户使用触摸屏智能手机进行拍照的过程中,用户打开相机应用程序,并在图像预览区域中形成预览图像,可以通过预先训练好的卷积神经网络模型对预览图像进行区域划分处理,从而得到主体区域,然后用户在预览图像中执行点击操作后,智能手机会根据用户点击的位置确定预览图像中的触摸测光区域,可以在屏幕界面上形成一个选取框,此时将该选取框与主体区域相匹配位置对应的区域确定为主体对象。
S105、采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。
具体地,在确定出主体对象后,可以根据主体对象所反射的光线对主体对象进行测光,以得到预览图像的亮度信息。
作为一种可选的实施方式,在上述实施例的基础上,图4为本申请实施例提供的确定预览图像的亮度信息方法的流程示意图,如图4所示,该方法包括:
S201、对主体对象所在的主体区域进行分割处理,以触摸测光区域为中心建立高斯分布式权重表。
S202、基于高斯分布式权重表,确定预览图像的亮度信息。
具体地,可以对主体对象所在的主体区域进行分割处理,例如可以是采用平均分割方式,确定触摸测光区域的关联测光区域,该关联测光区域为主体区域中除触摸测光区域外的其他区域,然后以触摸测光区域为中心,分别为触摸测光区域和关联测光区域分配测光权重值,以建立高斯分布式权重表。
图5为以触摸测光区域为中心建立高斯分布式权重表的示意图,请参见图5所示,上述图5中包括获取的预览图像、通过卷积神经网络模型处理后提取到的主体区域、检测到的触摸测光区域以及关联测光区域,该关联测光区域为主体区域中除触摸测光区域外的其他区域,然后对主体对象所在的主体区域进行分割处理,以触摸测光区域为中心建立高斯分布式权重表。
可以理解的是,由于触摸测光区域的亮度信息与关联测光区域的亮度信息的重要程度不同,所以为其分配不同的测光权重值,即触摸测光区域的测光权重值要比其他关联测光区域的测光权重值高。其中,触摸测光区域的测光权重值要比关联测光区域的测光权重值高。
本实施例中,图6为本申请实施例提供的建立的高斯分布式权重表的示意图,请参见图6所示,可以为触摸测光区域分配最高测光权重值,然后以触摸测光区域为中心,按照关联测光区域与触摸测光区域的距离由近至远的规则,依次为关联测光区域按照由高至低的顺序分配对应的测光权重值。例如,为触摸测光区域分配的亮度信息的测光权重值为100%,与触摸测光区域之间的距离由近至远的关联测光区域的亮度信息的测光权重值依次为90%、80%、60%、40%、20%。
进一步地,在建立高斯分布式权重表后,可以通过测光获取触摸测光区域和关联测光区域的亮度值,可以采用内测光或者外测光的方式进行测光。其中,在外测光方式中,测光元件与镜头的光路是各自独立的,这种测光方式广泛应用于平视取景镜头快门照相机中;内测光方式是通过镜头来进行测光。
在确定触摸测光区域和关联测光区域的亮度值后,可以将高斯分布式权重表和亮度值进行加权求和处理,得到预览图像的亮度信息。该亮度信息可以是亮度值。
示例性地,例如触摸测光区域测光后得到的亮度值为X,关联测光区域可以为五个,与触摸测光区域之间的距离由近至远的五个关联测光区域的亮度值依次为Y、Z、H、G、K,且触摸测光区域的亮度信息的测光权重值为100%,与触摸测光区域之间的距离由近至远的关联测光区域的亮度信息的测光权重值依次为90%、80%、60%、40%、20%,则整个预览画面最终的亮度信息为100%*X+90%*Y+80%*Z+60%*H+40%*G+20%*K。
进一步地,在确定出亮度信息后,可以根据亮度信息进行曝光。
需要说明的是,曝光是用来计算从景物到达相机的光通量大小的物理量。图像传感器只有获得正确的曝光,才能得到高质量的照片曝光过度,图像看起来太亮;曝光不足,则图像看起来太暗。其中,到达传感器的光通量的大小主要由两方面因素决定:曝光时间的长短以及光圈的大小。
具体地,当终端设备获取到预览图像的亮度信息时,可以将亮度信息作为测光结果,基于亮度信息,采用预设的曝光控制算法计算曝光时间和曝光增益,当检测到用户的快门触发操作时,基于曝光时间和曝光增益进行曝光。可选的,上述曝光控制算法可以是AE算法。在基于曝光时间和曝光增益进行曝光的过程中,可以在感光度(InternationalStandardization Organization,简称ISO)不变的情况下,通过调整相机光圈大小或快门速度来实现对图像亮度的调整,从而进行曝光控制,并通过ISP图像传感器进行处理,使得终端设备上显示出曝光调整后的照片。
可以理解的是,上述AE算法可以包括三个步骤,分别为:第一,对当前sensor参数设置的亮度,进行亮度统计;第二,分析猜测当前亮度来确定合适亮度;第三,改变曝光设置,循环前几个步骤来保持曝光的亮度。
本实施例中通过结合卷积神经网络模型从而精确的确定出主体区域,能够在满足特殊场景对拍摄主体对象得到准确的曝光的同时,而且能够针对不同的主体对象进行对应的补偿曝光,从而获取更好的拍摄体验和拍摄效果。
请参见图7所示,以终端设备为智能手机为例,当需要对某个人物或风景进行拍摄时,终端设备运行相机功能后,通过摄像头模组采集图像信息,从而在终端设备的屏幕上形成一个图像预览区域,并在该图像预览区域中形成待拍摄对象的预览图像,可以对预览图像按照亮度进行划分处理,提取候选区域,并将候选区域输入预先训练好的CNN网络模型中进行区域划分处理,以提取主体区域,该主体区域可以包括主体轮廓和主体尺寸大小。同时当用户点击屏幕时,终端设备检测到用户的屏幕触摸操作,确定预览图像的触摸测光区域,然后通过后台算法根据触摸测光区域猜测想要拍摄的主体对象,可以通过CNN网络模型提取的主体区域对应的第二坐标位置和触摸测光区域对应的第一坐标位置,确定出相匹配位置对应的区域,并将匹配位置对应的区域确定为主体对象。然后采用动态权重法对主体对象进行测光,以得到预览图像的亮度信息,具体可以是对主体对象所在的主体区域进行分割处理,确定触摸测光区域的关联测光区域,然后以触摸测光区域为中心,分别为触摸测光区域和关联测光区域分配测光权重值,以建立高斯分布式权重表。在确定出亮度信息后,采用预设的曝光控制算法AE算法进行曝光控制调整,并通过ISP图像传感器进行处理,使得终端设备上显示出曝光调整后的照片。
本申请实施例提供的自动曝光方法,通过获取预览图像,并将预览图像输入预先训练好的神经网络模型中,提取主体区域,该神经网络模型用于对预览图像进行边缘检测和区域划分,当检测到屏幕触摸操作时,确定预览图像的触摸测光区域,基于触摸测光区域和主体区域,确定主体对象,采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。该方法能够通过神经网络模型精确地提取到主体区域,并结合触摸测光区域确定出主体对象,提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另一方面,图8为本申请实施例提供的一种自动曝光装置的结构示意图。该装置可以为终端设备内的装置,如图8所示,该装置600包括:
获取模块610,用于获取预览图像;
区域提取模块620,用于将预览图像输入预先训练好的神经网络模型中,提取主体区域,神经网络模型用于对预览图像进行边缘检测和区域划分;
区域确定模块630,用于当检测到屏幕触摸操作时,确定预览图像的触摸测光区域;
主体确定模块640,用于基于触摸测光区域和主体区域,确定主体对象;
测光模块650,用于采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。
可选的,上述区域提取模块620,包括:
第一提取单元621,用于对预览图像按照亮度划分处理,提取候选区域;
第二提取单元622,用于将候选区域输入预先训练好的神经网络模型中进行区域划分处理,以提取主体区域。
可选的,主体确定模块640,包括:
获取单元641,用于分别获取触摸测光区域在预览图像中对应的第一坐标位置和主体区域在预览图像中对应的第二坐标位置;
第一确定单元642,用于确定第一坐标位置与第二坐标位置相匹配位置对应的区域;
第二确定单元643,用于将匹配位置对应的区域确定为主体对象。
可选的,测光模块650,包括:
建立单元651,用于对主体对象所在的主体区域进行分割处理,以触摸测光区域为中心建立高斯分布式权重表;
第三确定单元652,用于基于高斯分布式权重表,确定预览图像的亮度信息。
可选的,上述建立单元651,具体用于:
确定触摸测光区域的关联测光区域,关联测光区域为主体区域中除触摸测光区域外的其他区域;
以触摸测光区域为中心,分别为触摸测光区域和关联测光区域分配测光权重值,以建立高斯分布式权重表。
可选的,上述建立单元651,还用于:
为触摸测光区域分配最高测光权重值;
以触摸测光区域为中心,按照关联测光区域与触摸测光区域的距离由近至远的规则,依次为关联测光区域由高至低分配对应的测光权重值。
可选的,上述测光模块650,具体用于:
基于亮度信息,采用预设的曝光控制算法计算曝光时间和曝光增益;
当检测到快门触发操作时,基于曝光时间和曝光增益进行曝光。
本申请实施例提供的自动曝光装置,通过获取模块获取预览图像,并通过区域提取模块将预览图像输入预先训练好的神经网络模型中,提取主体区域,然后当检测到屏幕触摸操作时,通过区域确定模块确定预览图像的触摸测光区域,并通过主体确定模块基于触摸测光区域和主体区域,确定主体对象,进而通过测光模块采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。该方法能够通过神经网络模型精确地提取到主体区域,并结合触摸测光区域确定出主体对象,提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。
关于自动曝光装置的具体限定可以参见上文中对于终端老化测试方法的限定,在此不再赘述。上述终端老化测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现一种终端老化测试方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的自动曝光装置可以实现为一种计算机程序的形式,计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该终端老化测试装置的各个程序模块,比如,图9所示的获取模块、区域提取模块、区域确定模块、主体确定模块和测光模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的自动曝光方法中的步骤。
例如,图8所示的计算机设备可以通过如图6所示的自动曝光装置中的获取模块执行步骤:获取预览图像。计算机设备可通过区域提取模块执行步骤:将所述预览图像输入预先训练好的神经网络模型中,提取主体区域。计算机设备可通过区域确定模块执行步骤:当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域。计算机设备可通过主体确定模块执行步骤:基于所述触摸测光区域和所述主体区域,确定主体对象。计算机设备可通过测光模块执行步骤:采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取预览图像;
将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
基于所述触摸测光区域和所述主体区域,确定主体对象;
采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取预览图像;
将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
基于所述触摸测光区域和所述主体区域,确定主体对象;
采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
上述计算机可读存储介质中,计算机程序通过通过获取预览图像,并将预览图像输入预先训练好的神经网络模型中,提取主体区域,该神经网络模型用于对预览图像进行边缘检测和区域划分,当检测到屏幕触摸操作时,确定预览图像的触摸测光区域,基于触摸测光区域和主体区域,确定主体对象,采用动态权重法对主体对象进行测光,得到预览图像的亮度信息,以根据亮度信息进行曝光。该方法能够通过神经网络模型精确地提取到主体区域,并结合触摸测光区域确定出主体对象,提高了主体对象确定的准确性,以及通过采用动态权重法对主体对象进行测光统计,从而保证了在主体与背景明暗差异较大的场景中对主体对象进行合适的曝光,进而避免产生拍摄画面过曝或欠曝的情况,提高了照片拍摄的清晰度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,比如静态随机存取存储器(Static Random Access Memory,SRAM)和动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动曝光方法,其特征在于,所述方法包括:
获取预览图像;
将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
基于所述触摸测光区域和所述主体区域,确定主体对象;
采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
2.根据权利要求1所述的方法,其特征在于,将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,包括:
对所述预览图像按照亮度进行划分处理,提取候选区域;
将所述候选区域输入预先训练好的神经网络模型中进行区域划分处理,以提取主体区域。
3.根据权利要求2所述的方法,其特征在于,基于所述触摸测光区域和所述主体区域,确定主体对象,包括:
分别获取所述触摸测光区域在所述预览图像中对应的第一坐标位置和所述主体区域在所述预览图像中对应的第二坐标位置;
确定所述第一坐标位置与所述第二坐标位置相匹配位置对应的区域;
将所述匹配位置对应的区域确定为主体对象。
4.根据权利要求3所述的方法,其特征在于,采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,包括:
对所述主体对象所在的主体区域进行分割处理,以所述触摸测光区域为中心建立高斯分布式权重表;
基于所述高斯分布式权重表,确定所述预览图像的亮度信息。
5.根据权利要求4所述的方法,其特征在于,对所述主体区域进行分割处理,以所述触摸测光区域为中心建立高斯分布式权重表,包括:
确定所述触摸测光区域的关联测光区域,所述关联测光区域为所述主体区域中除所述触摸测光区域外的其他区域;
以所述触摸测光区域为中心,分别为所述触摸测光区域和所述关联测光区域分配测光权重值,以建立所述高斯分布式权重表。
6.根据权利要求5所述的方法,其特征在于,分别为所述触摸测光区域和所述关联测光区域分配测光权重值,包括:
为所述触摸测光区域分配最高测光权重值;
以所述触摸测光区域为中心,按照所述关联测光区域与所述触摸测光区域的距离由近至远的规则,依次为所述关联测光区域由高至低分配对应的测光权重值。
7.根据权利要求6所述的方法,其特征在于,根据所述亮度信息进行曝光,包括:
基于所述亮度信息,采用预设的曝光控制算法计算曝光时间和曝光增益;
当检测到快门触发操作时,基于所述曝光时间和所述曝光增益进行曝光。
8.一种自动曝光装置,其特征在于,该装置包括:
获取模块,用于获取预览图像;
区域提取模块,用于将所述预览图像输入预先训练好的神经网络模型中,提取主体区域,所述神经网络模型用于对所述预览图像进行边缘检测和区域划分;
区域确定模块,用于当检测到屏幕触摸操作时,确定所述预览图像的触摸测光区域;
主体确定模块,用于基于所述触摸测光区域和所述主体区域,确定主体对象;
测光模块,用于采用动态权重法对所述主体对象进行测光,得到所述预览图像的亮度信息,以根据所述亮度信息进行曝光。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序用于被处理器执行时实现权利要求1-7中任一项所述的方法。
CN202111447995.2A 2021-11-30 2021-11-30 自动曝光方法、装置、设备及存储介质 Pending CN114257738A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111447995.2A CN114257738A (zh) 2021-11-30 2021-11-30 自动曝光方法、装置、设备及存储介质
PCT/CN2022/135546 WO2023098743A1 (zh) 2021-11-30 2022-11-30 自动曝光方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111447995.2A CN114257738A (zh) 2021-11-30 2021-11-30 自动曝光方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114257738A true CN114257738A (zh) 2022-03-29

Family

ID=80793673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111447995.2A Pending CN114257738A (zh) 2021-11-30 2021-11-30 自动曝光方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114257738A (zh)
WO (1) WO2023098743A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507570A (zh) * 2021-07-26 2021-10-15 维沃移动通信有限公司 曝光补偿方法、装置和电子设备
CN115037883A (zh) * 2022-05-05 2022-09-09 Oppo广东移动通信有限公司 一种曝光参数调整方法、装置、存储介质及电子设备
WO2023098743A1 (zh) * 2021-11-30 2023-06-08 上海闻泰信息技术有限公司 自动曝光方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN103034997A (zh) * 2012-11-30 2013-04-10 杭州易尊数字科技有限公司 一种适用于监控视频前/背景分离的前景检测方法
CN105227857A (zh) * 2015-10-08 2016-01-06 广东欧珀移动通信有限公司 一种自动曝光的方法和装置
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质
JP2020030751A (ja) * 2018-08-24 2020-02-27 セコム株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
CN113657137A (zh) * 2020-05-12 2021-11-16 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053250A (ja) * 2004-08-10 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置及び撮像装置
CN104219518B (zh) * 2014-07-31 2018-09-18 小米科技有限责任公司 测光方法及装置
CN110163076A (zh) * 2019-03-05 2019-08-23 腾讯科技(深圳)有限公司 一种图像数据处理方法和相关装置
CN114257738A (zh) * 2021-11-30 2022-03-29 上海闻泰信息技术有限公司 自动曝光方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789125A (zh) * 2010-01-26 2010-07-28 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
CN103034997A (zh) * 2012-11-30 2013-04-10 杭州易尊数字科技有限公司 一种适用于监控视频前/背景分离的前景检测方法
CN105227857A (zh) * 2015-10-08 2016-01-06 广东欧珀移动通信有限公司 一种自动曝光的方法和装置
JP2020030751A (ja) * 2018-08-24 2020-02-27 セコム株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
CN110493527A (zh) * 2019-09-24 2019-11-22 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质
CN113657137A (zh) * 2020-05-12 2021-11-16 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507570A (zh) * 2021-07-26 2021-10-15 维沃移动通信有限公司 曝光补偿方法、装置和电子设备
WO2023098743A1 (zh) * 2021-11-30 2023-06-08 上海闻泰信息技术有限公司 自动曝光方法、装置、设备及存储介质
CN115037883A (zh) * 2022-05-05 2022-09-09 Oppo广东移动通信有限公司 一种曝光参数调整方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2023098743A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
CN109005366B (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN108495050B (zh) 拍照方法、装置、终端及计算机可读存储介质
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
CN114257738A (zh) 自动曝光方法、装置、设备及存储介质
WO2019183813A1 (zh) 一种拍摄方法及设备
Battiato et al. Exposure correction for imaging devices: an overview
WO2019148978A1 (zh) 图像处理方法、装置、存储介质及电子设备
US20140056527A1 (en) Face detection using division-generated haar-like features for illumination invariance
CN107592473A (zh) 曝光参数调整方法、装置、电子设备和可读存储介质
KR20080034508A (ko) 적응형 노출 제어
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113411498B (zh) 图像拍摄方法、移动终端及存储介质
US11689822B2 (en) Dual sensor imaging system and privacy protection imaging method thereof
CN106791451B (zh) 一种智能终端的拍照方法
CN113824884B (zh) 拍摄方法与装置、摄影设备及计算机可读存储介质
US20220174222A1 (en) Method for marking focused pixel, electronic device, storage medium, and chip
CN110677592B (zh) 主体对焦方法、装置、计算机设备和存储介质
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN113438411A (zh) 图像拍摄方法、装置、计算机设备和计算机可读存储介质
CN110677557A (zh) 图像处理方法、装置、存储介质及电子设备
CN110392211A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113177886B (zh) 图像处理方法、装置、计算机设备及可读存储介质
CN114531551A (zh) 图像处理方法及装置、电子设备、存储介质
CN109961422B (zh) 数字图像的对比度值的确定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination