发明内容
本发明解决的问题是极限场景容易造成HDR图像过曝/欠曝的情况。
为解决上述问题,本发明首先提供一种HDR图像生成方法,其包括:
获取拍摄场景的待提取图像;
提取所述待提取图像的亮度特征;
根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别;
根据所述拍摄场景的光线类别,获取与该光线类别对应的选帧策略;
根据所述选帧策略获取所述拍摄场景的多个帧图像,并根据所述帧图像合成所述HDR图像。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
可选的,所述拍摄场景的光线类别包括逆光场景、正常光场景和暗光场景中的至少一种。
可选的,所述选帧策略包括:所述帧图像的数量、所述帧图像的采集时间和/或曝光度。
可选的,所述拍摄场景的所述待提取图像,为所述拍摄场景预览阶段获取的图像。
这样,在预览阶段获取待提取图像,及时处理获取对应的选帧策略,则在拍摄阶段,就可以直接执行选帧策略,无需进行其他操作,从而在时间上消除了对正常的图片拍摄的影响。
可选的,所述提取所述待提取图像的亮度特征,包括:
将所述待提取图像划分为多个区块;
分别统计所述待提取图像和各个所述区块的亮度直方图特征;
将所述待提取图像和各个所述区块的所述亮度直方图特征转换为一维数组,作为提取出的亮度特征。
这样,通过将待提取图像划分为多个区块,然后对所有的亮度直方图特征进行合并的方式,可以从细节和整体的角度对亮度直方图特征的显示内容进行优化,从而减少了单个亮度直方图特征容易存在的误差,在亮度直方图特征可以快速获取亮度特征提取的基础上,增加了提取的亮度特征的准确性,从而可以快速准确地完成亮度特征提取。
可选的,所述将所述待提取图像划分为多个区块中,将所述待提取图像均匀划分为m*n个区块。
可选的,所述将所述待提取图像划分为多个区块之前,包括:
对所述待提取图像进行缩小处理,得到更新后的所述待提取图像。
因此,在进行亮度直方图特征统计之前,获取待提取图像的缩略图,进而对缩略图进行区块划分和亮度直方图特征统计,这样,可以在不减少统计的亮度特征的准确性的情况下,大大减少需要统计的数据量,从而大大增加亮度特征提取的处理速度,极快速地完成待提取图像的亮度特征提取。
可选的,所述对所述待提取图像进行缩小处理,得到更新后的所述待提取图像中,将所述待提取图像缩小处理为预设大小的缩略图,该缩略图作为更新后的所述待提取图像。
这样,针对多个待提取图像进行亮度特征提取的情况下,可以保证这些待提取图像的缩略图大小一致,从而可以直接进行后续的区块分割,从而快速准确地完成亮度特征提取。
可选的,所述根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别中,将所述待提取图像的所述亮度特征输入分类模型,得到所述待提取图像的类别,所述待提取图像的所述类别即为所述待提取图像对应的所述拍摄场景的光线类别。
这样,通过分类模型,可以极大地增加分类的准确性,从而避免由于分类不准确造成的最终生成的HDR图像视觉效果差的问题。
可选的,所述分类模型包括两层全连接层。
两层全连接层的模型设置,其需要的计算量相较其他的机器学习模型/深度学习模型,计算量大大减少,不仅可以大大减少模型训练和模型分类需要的计算量,而且极大地增加图像处理的速度。
其次提供一种HDR图像生成装置,其包括:
场景获取单元,用于获取拍摄场景的待提取图像;
特征提取单元,用于提取所述待提取图像的亮度特征,所述亮度特征根据上述所述的特征提取方法提取得到;
场景分类单元,用于根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别;
策略获取单元,用于根据所述拍摄场景的光线类别,获取与该光线类别对应的选帧策略;
图像合成单元,用于根据所述选帧策略获取所述拍摄场景的多个帧图像,并根据所述帧图像合成所述HDR图像。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
再次提供一种电子设备,包括处理器以及存储器,所述存储器存储有控制程序,所述控制程序被处理器执行时实现上述所述的HDR图像生成方法。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
最后提供一种计算机可读存储介质,存储有指令,所述指令被处理器加载并执行时实现上述所述的HDR图像生成方法。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
显然,所说明的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动的前提下获得的所有其他实施例,都属于本发明保护的范围。
为了便于理解,在本发明中,需要对其中的技术问题进行详细阐述。
HDR图像(High-Dynamic Range,简称HDR),相比普通的图像,可以提供更多的动态范围和图像细节,根据不同的曝光时间的LDR(Low-Dynamic Range,低动态范围图像),并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。它能够更好的反映出真实环境中的视觉效果。
根据曝光时间的不同,LDR图像的名称也不同。若曝光时间不足,则得到的LDR图像为欠曝图像;若曝光时间处于正常范围,则得到的LDR图像为正常曝光图像;若曝光时间过长,则得到的LDR图像为过曝图像。
在此,需要说明的是,对于单反相机,其通过调整镜头的光圈大小来控制进光量,从而通过曝光时间来获取欠曝图像、正常曝光图像和过曝图像。但是,其他拍摄设备如手机等,其摄像头并不能调整光圈大小,所以是通过调整ISO(感光度)值和曝光时间来获取欠曝图像、正常曝光图像和过曝图像。
现有的拍摄设备,主要的发展趋势是简单化、集成化,也即是将拍摄功能集成在其他如手机、pad等手持设备上,但是这种简单、集成也带来了硬件性能较差,图像处理速度较慢的缺点。HDR图像合成方法,可以在不增加额外硬件的基础上,大幅度提高拍摄图像的质量,对提升用户的拍摄体验起到了很大的帮助。
现有的HDR图像的生成方法是,在具体拍摄前,先确定了帧选取策略(所述的帧选取策略,就是在具体执行拍摄时,在极短的时间内拍摄几帧图像,每帧图像的曝光度(曝光时间或者是ISO感光度或者是光圈大小),甚至包括每帧图像的具体获取时间等),然后在具体拍摄动作时执行该帧选取策略,获取对应的帧图像,再通过对应的帧图像合成所述HDR图像。但是,需要说明的是,现有的帧选取策略是一个固定的策略,该策略可以适应大部分情况下的HDR图像生成,但是在极限场景下,生成的HDR图像的视觉效果并不好。
比如,在光照极强的情况下,通过上述固定的帧获取策略,获取的帧图像都会具有过曝区域,即使是其中的欠曝图像也具有过曝区域,这种情况下,合成的HDR图像也会具有过曝区域,从而无法在高光部分显示细节内容;在光照极弱的情况下,通过上述固定的帧获取策略,获取的帧图像都会具有欠曝区域,即使是其中的过曝图像也具有欠曝区域,这种情况下,合成的HDR图像也会具有欠曝区域,从而无法在暗光部分显示细节内容。
本公开实施例提供了一种HDR图像生成方法,该方法可以由HDR图像生成装置来执行,该HDR图像生成装置可以集成在手机、笔记本、服务器、摄像机、照相机、PAD等电子设备中。如图1所示,其为根据本发明实施例的HDR图像生成方法的流程图;其中,所述HDR图像生成方法,包括:
步骤100,获取拍摄场景的待提取图像;
其中,所述拍摄场景的待提取图像,即为当前拍摄场景的待提取图像;该待提取图像是反映当前拍摄场景的所属光线类别的,因此需要与该拍摄场景高度相关,因此优选为当前拍摄场景的图像。
其中,所述拍摄场景的待提取图像可以为开始拍摄后的第一帧图像,也即是按下相机快门之后获取的第一张图像;或者是预先设置然后获取的标准帧图像,也即是预先设置一个帧图像的获取时间和曝光度,从而在按下快门后根据预先设置获取的标准曝光图像。
可选的,所述待提取图像为标准曝光图像,而不是欠曝或者过曝图像,这样才能够真实反映当前拍摄场景的具体情况,避免产生误导。
步骤200,提取所述待提取图像的亮度特征;
步骤300,根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别;
其中,根据所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别,可以是根据亮度特征直接计算或者判断其光线类别,比如直接将亮度特征设置为亮度超过250(250-255)的像素点的数量和占总的像素点的比例,从而在超出一定阈值后直接认为是逆光场景;也可以是将亮度特征输入预先训练好的分类模型进行分类;具体以实际情况为准,只要其可以完成准确分类即可。
其中,所述待提取图像的类别,即为所述待提取图像对应的拍摄场景的光线类别。
其中,所述光线类别包括逆光场景、正常光场景和暗光场景中的至少一种;这样,可以分别对过曝、正常曝光、欠曝场景进行分类,从而满足更好的视觉拍摄要求。
步骤400,根据所述拍摄场景的光线类别,获取与该光线类别对应的选帧策略;
其中,所述选帧策略包括:所述帧图像的数量、所述帧图像的采集时间和/或曝光度。这样,通过选帧策略即可确定该次拍摄中获取的帧图像的数量和采集时间和/或曝光度,从而直接执行后获取帧图像。
需要说明的是,每个光线类别都对应一个选帧策略;所述选帧策略,即为拍摄开始后如何选择帧图像的策略,针对不同的光线类别,可以预先通过实验或者人工经验等的方式,设置好帧图像的数量、每个帧图像的获取时间和曝光度,从而可以在确定待提取图像(拍摄场景)的光线类别后,直接读取到对应的选帧策略,从而及时在拍摄后进行选帧,进一步提高HDR图像的生成速度。
可选的,所述选帧策略为预设的选帧策略,这样可以通过光线类别直接选择对应的选帧策略。
可选的,所述选帧策略为通过预设的模型或公式等确定的策略,这样,可以通过光线类别直接进行模型或公式等的计算,得到选帧策略。
步骤500,根据所述选帧策略获取所述拍摄场景的多个帧图像,并根据所述帧图像合成所述HDR图像。
在确定选帧策略后,执行所述选帧策略从而获得帧图像,再通过帧图像合成所述HDR图像,具体方式在此不再赘述。
对拍摄场景的待提取图像进行分类,从而获得拍摄场景/待提取图像的光线类别,进而根据光线类别读取选帧策略并执行,最后合成HDR图像;这样,通过拍摄场景的待提取图像从而获得拍摄场景所述光线类别以及该光线类别的选帧策略,从而可以对不同的拍摄场景设置对应的选帧策略,避免固定的选帧策略无法适应极限场景的情况,保证了生成的HDR图像的视觉效果。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
可选的,所述拍摄场景的所述待提取图像,为所述拍摄场景预览阶段获取的图像。
在此,需要对预览阶段进行说明:现有的摄像机、照相机等拍摄工具,在拍摄时的操作一般为两个阶段,一个是打开设备对准场景阶段(有些设备是按压部分快门时的阶段),该阶段是用于(单反等的)对准、调焦或者手机的人脸框识别等的情况,该阶段称为预览阶段;一个是全部按下快门拍摄阶段,该阶段一般是根据预设的程序进行图像的获取,以及可能的图像合成等处理解决,该阶段称为拍摄阶段。需要说明的是,无论是哪些设备一般都具有所述的预览阶段和拍摄阶段,只是有些设备为了视觉效果或者性能效果等将预览阶段进行了隐藏,不在操作中体现出来而已。
这样,在预览阶段获取待提取图像,及时处理获取对应的选帧策略,则在拍摄阶段,就可以直接执行选帧策略,无需进行其他操作,从而在时间上消除了对正常的图片拍摄的影响。(也即是采用本申请中的HDR图像生成方法和现有的HDR图像生成方法所花费的时间完全相同,本申请仅是在预览阶段加入了选帧策略的获取,从而避免了时间上造成的影响)
如图2所示,其为现有的固定选帧策略的HDR图像,由图中我们可以看出,在逆光的情况下,人像背后产生了很大的过曝区域,因此视觉效果很差;如图3所示,其为本申请的选帧策略的HDR图像,通过动态选帧,选取了与逆光场景对应的策略,由图中我们可以看出,在逆光的情况下,人像背后的区域仍然没有过曝,显示了更多的细节内容,因此视觉效果很好。
需要说明的是,上述HDR图像生成方法中,由于需要在预览阶段完成选帧策略,所以其对待提取图像的亮度特征提取需要的时间,有非常高的要求;通过帧选取策略获取帧图像,是在非常短的时间内连续获取的,因此对获取的图像也要能够尽可能快的提取亮度特征,从而根据亮度特征进行进一步的判断(比如判断是过曝还是欠曝)。
可选的,如图4所示,所述步骤200,提取所述待提取图像的亮度特征,包括:
步骤220,将所述待提取图像划分为多个区块;
通过划分区块的形式,可以将待提取图像分解为多个,从而获取不同图像的亮度直方图特征。
可选的,所述将所述待提取图像划分为多个区块中,将所述待提取图像均匀划分为m*n个区块。
其中,将待提取图像均匀划分为m*n个区块,是指将待提取图像划分为m*n个大小相同的区块;比如可以是将图像均匀划分为m列和n行或者是将图像均匀划分为n列和m行,这样可以形成m*n个大小相同的区块。
如图5A、5B所示,我们将图像分别按横轴和纵轴等分m和n等份,即原图像被划分为m*n个block(区块)。
需要说明的是,对于待提取图像的像素大小无法被m和n整除的情况,可以采取重新设置m或n的具体数值的方式,也可以采取部分像素点重复划分到相邻的两个区块内的方式,也可以在不影响图像亮度特征提取的情况下,删除多余的像素点的方式,也可以采取其他可以保证图像亮度特征提取的特殊方式,只要其可以使得划分出的区块大小相同且不影响(或者影响不大)图像亮度特征的提取效果即可。
步骤230,分别统计所述待提取图像和各个所述区块的亮度直方图特征;
其中,统计图像的亮度直方图特征,也即是统计该图像中不同亮度数值的像素点的具体个数;其中,所述待提取图像的亮度直方图特征需要统计,所有区块的亮度直方图特征也需要统计;也即是说,在步骤30的基础上,要完成m*n+1个图像的亮度直方图特征。
需要说明的是,虽然进行的是亮度直方图特征的统计,但是在具体处理时,并不需要将亮度直方图特征显示出来,因此只需要统计完毕进行存储或计算处理即可。
步骤240,将所述待提取图像和各个所述区块的所述亮度直方图特征转换为一维数组,作为提取出的亮度特征。
其中,所述待提取图像和各个所述区块的所述亮度直方图特征,是对应的图像中不同亮度数值的像素点的具体个数的统计,本身即为一维数组;因此,将所述待提取图像和各个所述区块的所述亮度直方图特征转换为一维数组,即是将所述待提取图像和各个所述区块的所述亮度直方图特征(一维数组)结合为一个。在上述描述的基础上,也即是将m*n+1个一维数组结合为一个一维数组。
在此需要说明的是,结合之后的一维数组和结合之前的一维数组所包含的数据的数量并不相同。比如,上述将m*n+1个一维数组结合为一个一维数组,是直接通过数据的依次连接进行结合的,也即是将m*n+1个256位数字的一维数组结合为一个256*(m*n+1)位数字的一维数组。也可以采取其他的结合方式,只要其结合后不影响(或者影响不大)图像亮度特征的提取效果即可。
需要说明的是,如果直接对待提取图像进行亮度直方图特征的统计,由于其只统计不同亮度的像素点的数量,所以将其作为待提取图像的亮度特征,很容易存在一定的误差,比如人像区域的大小、白色/黑色衣服或装饰的大小,都会对结果有比较大的影响。
需要说明的是,m和n可以根据自己的数据集进行设置,在较小训练数据的情况下建议m和n不要取太大以避免模型过拟合。在此,我们优选将m和n分别设置为3。
这样,通过将待提取图像划分为多个区块,然后对所有的亮度直方图特征进行合并的方式,可以从细节和整体的角度对亮度直方图特征的显示内容进行优化,从而减少了单个亮度直方图特征容易存在的误差(如人像区域的大小、白色/黑色衣服或装饰的大小的影响),在亮度直方图特征可以快速获取亮度特征提取的基础上,增加了提取的亮度特征的准确性,从而可以快速准确地完成亮度特征提取。
这样,通过高效的特征提取算法,保证了动态选帧算法对实时性的要求。
可选的,如图6所示,所述步骤220,将所述待提取图像划分为多个区块之前,包括:
步骤210,对所述待提取图像进行缩小处理,得到更新后的所述待提取图像。
其中,对所述待提取图像进行缩小处理,也即是从所述待提取图像获取该图像的缩小图;在具体处理中,可以通过reset的方式获取一个待提取图像的缩小(缩略)图。
需要说明的是,待提取图像的亮度直方图特征,是图像中各个亮度值的像素点数量,在对该亮度直方图特征进行分析时,主要分析的是亮度值的分布特征,也即是说,是对各个亮度值之间的数量比例关系进行分析,而不是对某个亮度值的具体像素点数量进行分析。因此,对于一个待提取图像和该图像的缩略图而言,其各个亮度值的具体像素点数量会差别很大,但是各个亮度值之间的数量比例关系仍然会保持一致(差别不大)。
因此,在进行亮度直方图特征统计之前,获取待提取图像的缩略图,进而对缩略图进行区块划分和亮度直方图特征统计,这样,可以在不减少统计的亮度特征的准确性(或者减少很小的准确性)的情况下,大大减少需要统计的数据量,从而大大增加亮度特征提取的处理速度,极快速地完成待提取图像的亮度特征提取。
可选的,所述步骤210,对根据所述待提取图像的所述亮度特征确定所述待提取图像中,将所述待提取图像缩小处理为预设大小的缩略图,该缩略图作为更新后的所述待提取图像。。
这样,针对多个待提取图像(图像大小可能不同)进行亮度特征提取的情况下,可以保证这些待提取图像的缩略图大小一致,从而可以直接进行后续的区块分割(缩略图大小不同,那么区块的划分就需要采取不同的分割策略,增加了整个特征提取的处理时间,且会对提取后的准确度造成影响),从而快速准确地完成亮度特征提取。
需要说明的是,由于在预览阶段就需要确定选帧策略,因此对实时性要求非常高;而为了保证实时性,就需要采取不同的措施来增加处理速度,比如通过缩略图、通过亮度直方图特征的提取来大大减少计算量;比如通过设置两层全连接层来减少计算的复杂度;通过预设选帧策略,来减少确定选帧策略的时长等等。
这样,在预览阶段进行HDR动态选帧,解决了因输入动态范围不足导致HDR合成效果不佳的问题;且通过高效的特征提取算法,保证了动态选帧算法对实时性的要求。
可选的,所述步骤300,所述根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别中,将所述待提取图像的所述亮度特征输入分类模型,得到所述待提取图像的类别,所述待提取图像的类别即为所述待提取图像对应的所述拍摄场景的光线类别。
这样,通过分类模型,可以极大地增加分类的准确性,从而避免由于分类不准确造成的最终生成的HDR图像视觉效果差的问题。
其中,所述分类模型可以是预先训练得到的,这样无需增加分类模型的训练过程,而可以直接通过分类模型进行训练,从而大大增加整个HDR图像生成的处理时间,保证HDR图像生成的实时性。
可选的,所述分类模型包括两层全连接层。两层全连接层的模型设置,其需要的计算量相较其他的机器学习模型/深度学习模型,计算量大大减少,不仅可以大大减少模型训练和模型分类需要的计算量,而且极大地增加图像处理的速度。且两层全连接层可高度并行,从而可以保证实施性。
可选的,如图7所示,所述分类模型训练方法,包括:
步骤1000,获取样本图像,并对所述样本图像的类别进行标注;
其中,所述样本图像的获取方式可以是通过电子设备拍摄,也可以是通过电子设备或其他设备传输,也可以为其他获取方式。
其中,对所述样本图像的类别进行标注,也即是将样本图像划分为预先设置的类别。这其中,所述类别可以通过实际情况确定;对所述样本图像的划分,可以为人工进行划分,也可以是在获取样本图像的同时获取类别,比如选择一个逆光的场景,则在该场景下拍摄的照片,都属于逆光的类别。
可选的,所述待提取图像和所述样本图像的大小相同。这样,通过大小相同的待提取图像和样本图像,可以直接进行缩略图处理或亮度特征提取,而不需要针对图像的大小进行额外的操作,从而提高待提取图像的亮度特征提取的速度和便捷性。
其中,所述样本图像的获取方式也可以在前述的基础上,首先选取一个类别的场景,然后在该场景下拍摄多张图像,进行该类别的标注。
需要说明的是,通过样本图像对训练模型进行训练,那么优选样本图像的曝光度和待提取图像的曝光度保持一致;这样,可以进一步提高对拍摄场景分类的精准度,避免由于曝光度不同产生的分类误差。
步骤2000,根据上述所述的特征提取方法,提取所述样本图像的亮度特征;
其中,所述样本图像的亮度特征,是根据上述所述的特征提取方法,也即是步骤210-240(220-240)所述的特征提取方法进行特征提取的;将所述样本图像当做所述待提取图像,执行步骤210-240(220-240),从而得到样本图像(待提取图像)的一维数组形式的亮度特征。其中,步骤210-240(220-240)的执行过程,以及可选的更优措施,按照上述的记载执行即可,在此不再赘述。
需要说明的是,本步骤中,所述样本图像有多个,对每个样本图像分别执行所述的特征提取方法,从而提取每个样本图像的亮度特征。
在此,由于样本图像为多个,每个样本图像的亮度特征在后期还需要共同结合进行模型训练,所以对每个样本图像的亮度特征需要保持一致,在此,一般可以通过步骤210中设置共同大小的缩略图、步骤220中均划分为m*n个等大的区块、步骤240中转换相同位数字的一维数组来保持一致。
可选的,所述样本图像的大小相同。这样,通过大小相同的样本图像,可以直接进行缩略图处理或亮度特征提取,而不需要针对图像的大小进行额外的操作,从而提高样本图像的亮度特征提取的速度和便捷性。
步骤3000,获取预设的初始模型;
其中,所述预设的初始模型,即为待训练模型,该初始模型包括一些预设参数,训练过程即为调整预设参数的过程,直到满足要求为止,此时的参数放入初始模型后即为训练好的分类模型。
其中,需要说明的是,对初始模型的选择,优选为复杂度较低的模型结构。本申请中,实质上是通过对图片中的亮度特征确定其是否为极端场景下拍摄的图像,因此,对初始模型的精准度和特殊要求很低,可以适用各种机器学习模型或者深度学习模型;在此基础上,选择复杂度较低的模型,可以进一步减少计算量,从而增加处理速度。
步骤4000,根据所述样本图像的亮度特征和标注,对所述初始模型进行训练,得到分类模型。
其中,所述初始模型的训练过程,可以为将样本图像的亮度特征输入初始模型,得到分类结果,对分类结果和标注计算其损失函数,然后返回调整初始模型的对应参数后重新进行循环,直至所述损失函数收敛为止。所述初始模型的训练过程,也可以为,将样本图像的亮度特征输入初始模型,得到分类结果,通过人工或者其他方式对分类结果和标注进行比对,并通过比对调整初始模型的对应参数,然后重新循环,直至所有分类结果均和标注相同为止。也可以为其他可执行的训练过程,具体实施过程,在此不再赘述。
这样,通过上述特征提取方法,对样本图像的亮度特征进行提取,并通过提取的亮度特征训练出分类模型,在快速准确地提取亮度特征的基础上,可以快速准确地训练出分类模型,从而进一步降低了整个图像处理耗费的时间。
本公开实施例提供了一种HDR图像生成装置,用于执行本发明上述内容所述的HDR图像生成方法,以下对所述HDR图像生成装置进行详细描述。
如图8所示,一种HDR图像生成装置,包括:
场景获取单元1,用于获取拍摄场景的待提取图像;
特征提取单元2,用于提取所述待提取图像的亮度特征;
场景分类单元3,用于根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别;
策略获取单元4,用于根据所述拍摄场景的光线类别,获取与该光线类别对应的选帧策略;
图像合成单元5,用于根据所述选帧策略获取所述拍摄场景的多个帧图像,并根据所述帧图像合成所述HDR图像。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
可选的,所述拍摄场景的光线类别包括逆光场景、正常光场景和暗光场景中的至少一种。
可选的,所述选帧策略包括:所述帧图像的数量、所述帧图像的采集时间和/或曝光度。
可选的,所述拍摄场景的所述待提取图像,为所述拍摄场景预览阶段获取的图像。
可选的,所述特征提取单元2,还用于:将所述待提取图像划分为多个区块;分别统计所述待提取图像和各个所述区块的亮度直方图特征;将所述待提取图像和各个所述区块的所述亮度直方图特征转换为一维数组,作为提取出的亮度特征。
可选的,所述将所述待提取图像划分为多个区块中,将所述待提取图像均匀划分为m*n个区块。
可选的,所述特征提取单元2,还用于:对所述待提取图像进行缩小处理,得到更新后的所述待提取图像。
可选的,所述对所述待提取图像进行缩小处理,得到更新后的所述待提取图像中,将所述待提取图像缩小处理为预设大小的缩略图,该缩略图作为更新后的所述待提取图像。
可选的,所述根据所述待提取图像的所述亮度特征确定所述待提取图像对应的所述拍摄场景的光线类别中,将所述待提取图像的所述亮度特征输入分类模型,得到所述待提取图像的类别,所述待提取图像的所述类别即为所述待提取图像对应的所述拍摄场景的光线类别。
可选的,所述分类模型包括两层全连接层。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上描述了特征提取装置的内部功能和结构,如图9所示,实际中,该特征提取装置可实现为电子设备,包括:处理器以及存储器,所述存储器存储有控制程序,所述控制程序被处理器执行时实现上述所述的特征提取方法。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
图10是根据本发明实施例示出的另一种电子设备的框图。图10显示的电子设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,电子设备12可以通用电子设备的形式实现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图中未显示,通常称为“硬盘驱动器”)。尽管图10中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信,和/或与使得该计算机系统/服务器12能与一个或多个其它电子设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。要说明的是,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
本发明的电子设备可以是服务器,也可以有限算力的终端设备,本发明的轻量级网络结构尤其适用于后者。所述终端设备的基体实现包括但不限于:智能移动通信终端、无人机、机器人、便携式图像处理设备、安防设备等等。本公开实施例提供了一种计算机可读存储介质,存储有指令,所述指令被处理器加载并执行时实现上述所述的特征提取方法。
这样,通过拍摄场景首先获取待提取图像,通过待提取图像确定选帧策略并执行,最终得到合成的HDR图像,整个过程避开了固定的选帧策略无法适应极端场景的情况,从而避免了极端场景对HDR图像的动态范围和视觉效果的削弱,使得生产的HDR图像具有更好的动态范围和更好的视觉效果。
本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤S。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。