CN109903248B - 一种生成自动白平衡模型的方法和图像处理方法 - Google Patents
一种生成自动白平衡模型的方法和图像处理方法 Download PDFInfo
- Publication number
- CN109903248B CN109903248B CN201910134994.9A CN201910134994A CN109903248B CN 109903248 B CN109903248 B CN 109903248B CN 201910134994 A CN201910134994 A CN 201910134994A CN 109903248 B CN109903248 B CN 109903248B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution processing
- processing layer
- layer
- white balance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明公开了一种生成自动白平衡模型的方法,自动白平衡模型适于输出图像的颜色矫正值,包括第一卷积处理层、第二卷积处理层和全连接层,包括:采集不同光源环境下的原始图像,并标注出每个图像的目标颜色值,原始图像包括人脸图像和非人脸图像;对原始图像进行预处理,以提取图像的特征信息;基于非人脸图像的特征信息,将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练;以及基于人脸图像的特征信息,将经标注的人脸图像输入第二卷积处理层进行训练,以生成训练后的自动白平衡模型。本方案能够提高图像自动白平衡处理的效率和精度,能够根据不同光源环境,将肤色调整到理想值范围。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种生成自动白平衡模型的方法、图像处理方法、计算设备及存储介质。
背景技术
随着手机芯片的发展,越来越多的功能得以在手机平台上实现,尤其是手机自带相机的功能也越来越丰富和专业化。目前越来越多的手机生产商主打自拍功能,对于手机相机的自动白平衡功能都会自带面部自动白平衡,但是目前的面部自动白平衡功能一般锁定肤色,无论在任何光照条件下,都将肤色矫正在固定的值。但是由于不同光源下肤色矫正的目标值并不固定,这种调整肤色的方法无法达到最优的效果。
因此,需要一种基于自动白平衡的图像处理方法,能够根据光照条件调整图像颜色的目标矫正值,以适应不同场景的需求。
发明内容
为此,本发明提供了一种生成自动白平衡模型的方法、图像处理方法、计算设备及存储介质,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种生成自动白平衡模型的方法,自动白平衡模型包括第一卷积处理层、第二卷积处理层和全连接层,适于输出图像的颜色矫正值。该方法适于在计算设备中执行,首先,采集不同光照环境下的原始图像,并标注出每个图像的目标颜色值,其中原始图像包括人脸图像和非人脸图像。然后,对原始图像进行预处理,以提取图像的特征信息。随后,基于非人脸图像的特征信息,将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练。并基于人脸图像的特征信息,将经标注的人脸图像输入第二卷积处理层进行训练,以便生成训练后的自动白平衡模型。
可选地,在上述方法中,第一卷积处理层适于处理非人脸图像的特征信息。第二卷积处理层适于处理人脸图像的特征信息。全连接层适于综合第一卷积处理层和第二卷积处理层的输出结果。
可选地,在上述方法中,可以采集不同场景、不同色温、不同光线下的原始图像数据。
可选地,在上述方法中,对原始图像进行降采样,以获得压缩后的图像数据。并对压缩后的图像数据提取直方图特征,以获得图像的颜色分布。
可选地,在上述方法中,可以将原始图像分割成预定数量的区域。然后,对每个区域进行像素统计,以得到每个区域对应的像素值。最后,基于每个区域的像素值,将原始图像缩小到预定尺寸。
可选地,在上述方法中,对原始图像进行特征检测,特征检测包括曝光检测、场景检测和/或人脸检测。
可选地,在上述方法中,提取人脸图像的色相、亮度、饱和度、皮肤区域的像素值均值和方差中任意一项或多项,作为人脸图像的特征信息。
可选地,在上述方法中,调整原始图像中人脸图像与非人脸图像的权重,以便基于不同的权重训练自动白平衡模型。
可选地,在上述方法中,基于第一卷积处理层和全连接层预测的目标颜色值和标注的目标颜色值,计算第一损失函数的损失值。基于第一损失函数的损失值,调整第一卷积处理层和全连接层的参数,以得到训练后的第一卷积处理层和全连接层。
可选地,在上述方法中,基于第二卷积层预测的目标颜色值和标注的目标颜色值,计算第二损失函数的损失值。基于第二损失函数的损失值,调整第二卷积处理层的参数,以得到训练后的第二卷积处理层。
根据本发明另一个方面,提供了一种图像处理方法,适于在计算设备中执行,包括:将待处理图像输入自动白平衡模型,以输出图像的颜色矫正值;以及基于模型输出的颜色矫正值,调整待处理图像的颜色值,其中自动白平衡模型利用上述生成自动白平衡模型的方法来生成。
根据本发明的又一方面,提供了一种计算设备,包括:一个或多个处理器;和存储器;一个或多个程序,其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的再一方面,提供了一种存储一个或多个程序的计算机可读存储介质,一个或多个程序包括指令,指令当计算设备执行时,使得计算设备执行如上所述的方法中的任一方法。
根据本发明的方案,首先,通过采集大量的不同光照条件下的原始图像数据,使用于训练自动白平衡模型的数据集的分布和覆盖范围更加全面,一定程度上能够提高模型的泛化能力。其次,通过对采集的图像进行预处理和多维度特征信息的提取,能够增强数据的表达能力,提高模型运行的速度。最后,通过对训练数据分开单独进行训练,保证后续的训练不影响前期训练的结果,能够使训练后的模型具有较好的精度。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的计算设备100的构造示意图;
图2示出了根据本发明的一个实施例的生成自动白平衡模型的方法200的示意性流程图;
图3示出了根据本发明的一个实施例的图像降采样的示意图;
图4示出了根据本发明的一个实施例的图像直方图统计的示意图;
图5示出了根据本发明的一个实施例的自动白平衡模型500的结构示意图;
图6示出了根据本发明的一个实施例的图像处理方法600的示意性流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
自动白平衡可以解决图像的色彩还原和色调处理的一系列问题。普通摄像机可根据镜头和白平衡探测器的光线情况,自动探测出被拍摄物体的色温值,并选择最接近的色调设置。但是在光线不足条件下拍摄时,图像自动白平衡效果较差。本方案采用训练式的自动白平衡方法,以解决不同光照条件对白平衡调整的影响,适应不同场景的要求。
图1是示例计算设备100的框图。在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理器,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中,计算设备100被配置为执行生成自动白平衡模型的方法200和/或基于生成的自动白平衡模型进行图像处理的方法,程序数据124中就包含了用于执行上述各方法的指令。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中,计算机可读介质中存储一个或多个程序,这一个或多个程序中包括执行某些方法的指令。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。当然,计算设备100也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机,或者是具有上述配置的服务器。本发明的实施方式对此均不作限制。
本方案通过基于卷积神经网络的自动白平衡模型,对已标注目标颜色值的原始图像进行分析处理并提取特征,然后输入模型进行训练,利用训练后的模型能够得到各个场景下自动白平衡调整后的理想肤色。
图2示出了根据本发明的一个实施例的生成自动白平衡模型的方法200的示意性流程图。所生成的自动白平衡模型适于对图像的颜色值进行调整,以输出颜色矫正值。由于本发明方案对数据的分布和覆盖范围要求较严格,如果数据分布存在缺陷容易造成模型的过拟合或欠拟合现象,影响模型的泛化程度,因此需要分光源进行数据的采集。如图2所示,该方法200始于步骤S210。
在步骤S210中,采集不同光源环境下的原始图像,并标注出每个图像的目标颜色值,其中原始图像包括人脸图像和非人脸图像。
其中,原始图像就是CMOS或者CCD图像传感器、扫描仪、数码相机等将捕捉到的光源信号转化为数字信号的未经处理的数据。RAW原始数据有宽色域的内部色彩,可以进行精确的调整。为了使数据的覆盖范围更加全面,可以对图像进行不同光源环境下的采集。例如,根据光源的场景分为室外晴天、室外阴天、室内明亮、室内昏暗、钨丝灯光照、荧光环境等,根据光源的色温分为D65(6500K色温)、D50(5000K色温)等,色温越高光色越偏蓝,色温越低则偏红。例如钨丝灯所发出的光由于色温较低表现为黄色调,不同的路灯也会发出不同颜色的光,天然气的火焰是蓝色的,色温较高。正午阳光直射下的色温约为5600K,阴天更接近室内色温3200K。日出或日落时的色温约为2000K,烛光的色温约为1000K。根据光源的方向分为顺光、逆光、侧光、顶光、脚光、混合光源、面部光源异常(面部光源与背景光源不一致)等。
根据以上不同的光照条件或光源类型,收集大量的原始图像数据,并对原始图像进行标注,以使每个原始图像都具有对应的标注的目标颜色值。原始数据可以由图像处理效果的需求方来标注,根据自动白平衡算法,如动态阈值算法,标注出不同光源下的理想目标值或者理想目标值范围。
获得大量的经过标注的原始图像数据后,每张图像都对应一个理想的自动白平衡目标颜色值。由于原始数据是未经处理、也未经压缩的格式,数据量较大。如果直接使用原始图像进行训练,模型的参数往往是巨大的,导致模型运行速度很慢,且功耗较高,达不到移动终端对于实时性的需求。为了提高模型的运算速度和泛化能力,可以对原始数据进行一些预处理,如通过提取特征来降维,以降低模型学习难度。本领域技术人员应当了解,模型的泛化能力就是指学习到的模型对未知数据的预测能力。在实际情况中,通常通过测试误差来评价模型的泛化能力。
随后在步骤S220中,对原始图像进行预处理,以提取图像的特征信息。首先可以对原始图像进行降采样,得到压缩后的图像数据。根据本发明的一个实施例,可以将原始图像分割成预定数量的区域,对每个区域进行像素统计,以得到每个区域对应的像素值。最后基于每个区域的像素值,将原始图像缩小到预定尺寸。
图3示出了根据本发明的一个实施例的图像降采样的示意图。如图3所示,将分辨率为4000x3000的原始图像分为128x128的区域,得到128x128的统计数据,且每个区域在原始图像中的位置与在压缩后图像中的位置是对应的,图像特征的位置信息并未丢失。在统计数据的同时,可以做一些额外的特征检测,例如曝光检测、场景检测和/或人脸检测。其中,场景信息可以由图像的颜色来判断,例如天空、草地等场景信息。当检测到特殊场景,进行特殊处理。原始数据文件记录了图像传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据,如快门速度、光圈值、白平衡等)的文件。曝光信息(过曝或欠曝)可以直接从摄像机的设定参数中获取到。
然后可以对压缩后的图像数据提取直方图特征,以获得图像的颜色分布。图像的直方图特征可以有效地表征图像的颜色分布,但是缺点是直方图无法描述图像的位置信息。因此,仅仅只可以作为统计图像的辅助手段,辅助网络的训练。在统计直方图时,由于涉及到RGB三通道的数据,因此统计出来的直方图是一个三维的RGB空间。
图4示出了根据本发明的一个实施例的图像直方图统计的示意图。直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是RGB颜色空间。目前,一些自动白平衡算法也会使用Histogram柱状图进行一些信息的提取与操作,但是基本采用的二维的颜色空间,比如:
这样做可以有效的压缩特征数据的维度,但是这样的空间的是有歧义的,比如对于两个颜色不同的rgb像素点:a=(150,50,100),b=(75,25,50),在上述二维空间下,X与Y的值完全相等。因此,这样的压缩处理存在了歧义,因此,本方案可以直接在RGB空间下进行特征的提取,用于消除歧义性。
此外,本方案对于人脸图像的特征提取部分还进行了优化,根据本发明的一个实施例,可以提取人脸图像的色相、亮度、饱和度、皮肤区域的像素值方差和均值中任意一项或多项,作为人脸图像的特征信息。例如,在图像处理的各种颜色模型中,HSB模型以人类对颜色的感觉为基础,描述了颜色的色相、亮度、饱和度。像素值均值反映了皮肤区域的亮度,均值越大说明肤色越亮,反之越小;像素值方差反映了图像像素值与均值的离散程度,方差越大说明图像的质量越好。
经过数据的标注与特征提取两个阶段,训练数据集具有了较强的表现力与其对应的期望输出值。本方案对模型的训练分为两个部分,对于人脸图像和非人脸图像分开输入模型进行训练。
图5示出了根据本发明的一个实施例的自动白平衡模型500的结构示意图。如图5所示,自动白平衡模型500可以包括第一卷积处理层、第二卷积处理层和全连接层。第一卷积处理层适于处理非人脸图像的特征信息。第二卷积处理层适于处理人脸图像的特征信息。全连接层适于综合第一卷积处理层和第二卷积处理层的输出结果。其中,非人脸图像即不包含人脸的图像,人脸图像即包含全部或部分人脸的图像。
第一卷积处理层和第二卷积处理层可以包括多个卷积层、激活层和池化层。全连接层的每一个节点都与上一层的所有节点相连,用来将提取到的特征综合起来。在前向计算过程中,是一个线性加权求和的过程,全连接层的每一个输出都可以看成前一层的每一个节点乘以一个权重系数,最后加上一个偏置值得到。
首先使用不包含人脸的一般图像数据对模型的第一卷积处理层和全连接层进行训练。在步骤S230中,基于非人脸图像的特征信息,将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练。
根据本发明的一个实施例,可以基于第一卷积处理层和全连接层预测的目标颜色值和标注的目标颜色值,计算第一损失函数的损失值。基于第一损失函数的损失值,调整第一卷积处理层和全连接层的参数,以得到训练后的第一卷积处理层和全连接层。在一些实施例中,模型的训练过程使用梯度下降法和反向传播算法调整参数,在此不再赘述。
然后使用包含人脸的图像数据仅对第二卷积处理层进行训练。最后在步骤S240中,基于人脸图像的特征信息,对第二卷积处理层进行训练。此时,可以锁住经步骤S230训练好的第一卷积处理层和全连接层,只训练第二卷积处理层。
最后,综合经步骤S230和S240训练所得的第一卷积处理层、第二卷积处理层、全连接层,即得到训练后的自动白平衡模型。这样,能在保证不影响一般数据的输出结果下,对人脸特征进行训练。
根据本发明的一个实施例,还可以调整原始图像中人脸图像与非人脸图像的权重,以便基于不同的权重训练所述自动白平衡模型。例如,在图像预处理阶段提取特征的时候,可以更加关注人脸图像特征,或者更加关注一般图像特征。人脸图像和非人脸图像权重的改变会造成最终提取出来的特征有改变,所以需要重新训练,来进行一些个性化的调整。
在通过上述方法生成自动白平衡模型之后,就可以用于对图像进行处理。图6示出了根据本发明的一个实施例的图像处理方法600的示意性流程图。如图6所示,在步骤S610中,将待处理图像输入自动白平衡模型,以输出图像的颜色矫正值。随后在步骤S620中,基于模型输出的颜色矫正值,调整待处理图像的颜色值。这样调整后的图像的颜色值更接近理想的肤色值。
A8、如A1所述的方法,其中,所述第一卷积处理层适于处理非人脸图像的特征信息;所述第二卷积处理层适于处理人脸图像的特征信息;所述全连接层适于综合第一卷积处理层和第二卷积处理层的输出结果。
A9、如A1所述的方法,其中,所述将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练的步骤包括:基于第一卷积处理层和全连接层预测的目标颜色值和标注的目标颜色值,计算第一损失函数的损失值;以及基于第一损失函数的损失值,调整第一卷积处理层和全连接层的参数,以得到训练后的第一卷积处理层和全连接层。
A10、如A1所述的方法,其中,所述将经标注的人脸图像输入第二卷积处理层进行训练的步骤包括:基于第二卷积层预测的目标颜色值和标注的目标颜色值,计算第二损失函数的损失值;以及基于第二损失函数的损失值,调整第二卷积处理层的参数,以得到训练后的第二卷积处理层。
根据本发明的方案,通过采集不同光源环境下的原始图像数据,对图像数据进行目标值的标注,并提取原始数据的特征进行模型的分层训练,实现了基于肤色进行自动白平衡。在训练的数据集分布合理覆盖场景全的情况下,本方案提供的自动白平衡模型能够得到每个场景下的理想肤色值。相比于传统的自动白平衡方法,本方案具有更高的精度,能够有效缩短白平衡调整的时间。而且,能够单独对基于面部肤色的白平衡进行控制,从而得到较理想的图像处理效果。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明所述的方法。
以示例而非限制的方式,计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (11)
1.一种生成自动白平衡模型的方法,所述自动白平衡模型适于输出图像的颜色矫正值,包括第一卷积处理层、第二卷积处理层和全连接层,其中,所述第一卷积处理层适于处理非人脸图像的特征信息,所述第二卷积处理层适于处理人脸图像的特征信息,所述全连接层适于综合第一卷积处理层和第二卷积处理层的输出结果;所述方法适于在计算设备中执行,包括:
采集不同光源环境下的原始图像,并标注出每个图像的目标颜色值,其中所述原始图像包括人脸图像和非人脸图像;
对所述原始图像进行预处理,并调整原始图像中人脸图像与非人脸图像的权重,以提取图像的特征信息,基于不同的权重训练所述自动白平衡模型;
基于非人脸图像的特征信息,将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练;
基于人脸图像的特征信息,将经标注的人脸图像输入所述第二卷积处理层进行训练,以生成训练后的自动白平衡模型,其中,在对第二卷积处理层进行训练时,锁定所述第一卷积处理层和全连接层。
2.如权利要求1所述的方法,其中,所述采集不同光照环境下的原始图像的步骤包括:
采集不同场景、不同色温、不同光线下的原始图像数据。
3.如权利要求1所述的方法,其中,所述对原始图像进行预处理的步骤包括:
对所述原始图像进行降采样,以获得压缩后的图像数据;
对压缩后的图像数据提取直方图特征,以获得图像的颜色分布。
4.如权利要求3所述的方法,其中,所述对原始图像进行降采样的步骤包括:
将原始图像分割成预定数量的区域;
对每个区域进行像素统计,以得到每个区域对应的像素值;
基于每个区域的像素值,将原始图像缩小到预定尺寸。
5.如权利要求1所述的方法,其中,所述对原始图像进行预处理的步骤包括:
对原始图像进行特征检测,所述特征检测包括曝光检测、场景检测和/或人脸检测。
6.如权利要求1所述的方法,其中,所述对原始图像进行预处理的步骤包括:
提取人脸图像的色相、亮度、饱和度、皮肤区域的像素值方差和均值中任意一项或多项,以作为人脸图像的特征信息。
7.如权利要求1所述的方法,其中,所述将经标注的非人脸图像输入第一卷积处理层和全连接层进行训练的步骤包括:
基于第一卷积处理层和全连接层预测的目标颜色值和标注的目标颜色值,计算第一损失函数的损失值;以及
基于第一损失函数的损失值,调整第一卷积处理层和全连接层的参数,以得到训练后的第一卷积处理层和全连接层。
8.如权利要求1所述的方法,其中,所述将经标注的人脸图像输入第二卷积处理层进行训练的步骤包括:
基于第二卷积层预测的目标颜色值和标注的目标颜色值,计算第二损失函数的损失值;以及
基于第二损失函数的损失值,调整第二卷积处理层的参数,以得到训练后的第二卷积处理层。
9.一种图像处理方法,适于在计算设备中执行,所述方法包括:
将待处理图像输入自动白平衡模型,以输出图像的颜色矫正值;以及
基于模型输出的颜色矫正值,调整待处理图像的颜色值,
其中所述自动白平衡模型利用如权利要求1-8中任一项所述的方法来生成。
10.一种计算设备,包括:
一个或多个处理器;和
存储器;
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1-9所述方法中的任一方法的指令。
11.一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当计算设备执行时,使得所述计算设备执行根据权利要求1-9所述的方法中的任一方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910134994.9A CN109903248B (zh) | 2019-02-20 | 2019-02-20 | 一种生成自动白平衡模型的方法和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910134994.9A CN109903248B (zh) | 2019-02-20 | 2019-02-20 | 一种生成自动白平衡模型的方法和图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109903248A CN109903248A (zh) | 2019-06-18 |
CN109903248B true CN109903248B (zh) | 2021-04-16 |
Family
ID=66945297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910134994.9A Active CN109903248B (zh) | 2019-02-20 | 2019-02-20 | 一种生成自动白平衡模型的方法和图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109903248B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677291B (zh) * | 2022-02-25 | 2023-05-12 | 荣耀终端有限公司 | 一种图像处理方法、装置及相关设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103826059A (zh) * | 2012-11-19 | 2014-05-28 | 三星电子株式会社 | 拍摄装置及其控制方法 |
CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
CN107396079A (zh) * | 2017-08-31 | 2017-11-24 | 广东欧珀移动通信有限公司 | 白平衡调整方法和装置 |
CN107767333A (zh) * | 2017-10-27 | 2018-03-06 | 努比亚技术有限公司 | 美颜拍照的方法、设备及计算机可存储介质 |
CN108182658A (zh) * | 2018-01-30 | 2018-06-19 | 北京小米移动软件有限公司 | 图像美化方法及装置 |
CN108615219A (zh) * | 2018-04-28 | 2018-10-02 | 东莞市华睿电子科技有限公司 | 一种智能终端的图像美化处理方法 |
CN108848312A (zh) * | 2018-08-02 | 2018-11-20 | 北京奇虎科技有限公司 | 拍照预览方法、装置及电子设备 |
CN108959429A (zh) * | 2018-06-11 | 2018-12-07 | 苏州大学 | 一种融合视觉特征端对端训练的电影推荐的方法及系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005774B (zh) * | 2015-07-28 | 2019-02-19 | 中国科学院自动化研究所 | 一种基于卷积神经网络的人脸亲属关系识别方法及装置 |
CN105574550B (zh) * | 2016-02-02 | 2019-04-12 | 北京格灵深瞳信息技术有限公司 | 一种车辆识别方法及装置 |
CN105898263B (zh) * | 2016-05-24 | 2017-08-25 | 厦门美图之家科技有限公司 | 一种图像白平衡方法、装置和计算设备 |
CN106412547B (zh) * | 2016-08-29 | 2019-01-22 | 厦门美图之家科技有限公司 | 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 |
US10602111B2 (en) * | 2016-09-06 | 2020-03-24 | Apple Inc. | Auto white balance control algorithm based upon flicker frequency detection |
JP6904788B2 (ja) * | 2017-05-25 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108052861A (zh) * | 2017-11-08 | 2018-05-18 | 北京卓视智通科技有限责任公司 | 一种神经网络系统及基于该神经网络系统的车型识别方法 |
CN108376404A (zh) * | 2018-02-11 | 2018-08-07 | 广东欧珀移动通信有限公司 | 图像处理方法和装置、电子设备、存储介质 |
CN109191371A (zh) * | 2018-08-15 | 2019-01-11 | 广州二元科技有限公司 | 一种自动判断景物类型进行图像滤镜处理的方法 |
-
2019
- 2019-02-20 CN CN201910134994.9A patent/CN109903248B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103826059A (zh) * | 2012-11-19 | 2014-05-28 | 三星电子株式会社 | 拍摄装置及其控制方法 |
CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
CN107396079A (zh) * | 2017-08-31 | 2017-11-24 | 广东欧珀移动通信有限公司 | 白平衡调整方法和装置 |
CN107767333A (zh) * | 2017-10-27 | 2018-03-06 | 努比亚技术有限公司 | 美颜拍照的方法、设备及计算机可存储介质 |
CN108182658A (zh) * | 2018-01-30 | 2018-06-19 | 北京小米移动软件有限公司 | 图像美化方法及装置 |
CN108615219A (zh) * | 2018-04-28 | 2018-10-02 | 东莞市华睿电子科技有限公司 | 一种智能终端的图像美化处理方法 |
CN108959429A (zh) * | 2018-06-11 | 2018-12-07 | 苏州大学 | 一种融合视觉特征端对端训练的电影推荐的方法及系统 |
CN108848312A (zh) * | 2018-08-02 | 2018-11-20 | 北京奇虎科技有限公司 | 拍照预览方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109903248A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10074165B2 (en) | Image composition device, image composition method, and recording medium | |
US8175385B2 (en) | Foreground/background segmentation in digital images with differential exposure calculations | |
CN108764370A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
US10120267B2 (en) | System and method for re-configuring a lighting arrangement | |
US20110268359A1 (en) | Foreground/Background Segmentation in Digital Images | |
US20030052978A1 (en) | Automatic white balancing via illuminant scoring autoexposure by neural network mapping | |
WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112565636B (zh) | 图像处理方法、装置、设备和存储介质 | |
JP5693271B2 (ja) | 画像処理装置及び方法 | |
WO2021115419A1 (zh) | 图像处理方法、终端及存储介质 | |
US20150131902A1 (en) | Digital Image Analysis | |
CN113452980B (zh) | 图像处理方法、终端及存储介质 | |
Shutova et al. | NTIRE 2023 challenge on night photography rendering | |
CN109903248B (zh) | 一种生成自动白平衡模型的方法和图像处理方法 | |
CN113329217A (zh) | 自动白平衡参数处理方法及装置、计算机可读存储介质 | |
US20150186373A1 (en) | Method for sorting a group of images of a database and method for color correcting an image, corresponding devices, computer program and non-transitory computer readable medium | |
Kehtarnavaz et al. | Development and real-time implementation of auto white balancing scoring algorithm | |
JP6570311B2 (ja) | 画像処理装置及び画像処理方法 | |
CN116668838B (zh) | 图像处理方法与电子设备 | |
Kehtarnavaz et al. | New approach to auto-white-balancing and auto-exposure for digital still cameras | |
CN112995634B (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 | |
CN114630095B (zh) | 目标场景图像的自动白平衡方法及装置、终端 | |
US11924555B2 (en) | Intelligent auto-exposure control for RGB-IR sensor | |
JP2004048740A (ja) | ニューラル・ネットワーク・マッピングによる輝度得点自動露出を通しての自動白色バランシング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |