CN106412547A - 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 - Google Patents

一种基于卷积神经网络的图像白平衡方法、装置和计算设备 Download PDF

Info

Publication number
CN106412547A
CN106412547A CN201610754445.8A CN201610754445A CN106412547A CN 106412547 A CN106412547 A CN 106412547A CN 201610754445 A CN201610754445 A CN 201610754445A CN 106412547 A CN106412547 A CN 106412547A
Authority
CN
China
Prior art keywords
image
convolutional neural
neural networks
outdoor scene
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610754445.8A
Other languages
English (en)
Other versions
CN106412547B (zh
Inventor
周凡
张长定
张伟
陈星�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201610754445.8A priority Critical patent/CN106412547B/zh
Publication of CN106412547A publication Critical patent/CN106412547A/zh
Application granted granted Critical
Publication of CN106412547B publication Critical patent/CN106412547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种基于卷积神经网络的图像白平衡方法,适于在计算设备中执行,该方法包括:采集多张不同场景下的带有基准色的实景原始图像提取实景原始图像和待处理图像的二维色度值直方图,其中色度值包括R增益、B增益和G增益中的其中两个;获取用户对实景原始图像进行校正时所设定的理想校正参数;设计用于进行图像白平衡校正的卷积神经网络;根据实景原始图像的二维色度值直方图及其理想校正参数对卷积神经网络进行训练;将待处理图像的二维色度值直方图输入到述训练后的卷积神经网络中,得到该图像的理想校正参数,并根据该理想校正参数对图像进行校正。本发明还公开了一种基于卷积神经网络的图像白平衡装置和计算设备。

Description

一种基于卷积神经网络的图像白平衡方法、装置和计算设备
技术领域
本发明涉及图像处理领域,尤其涉及一种基于卷积神经网络的图像白平衡方法、装置和计算设备。
背景技术
由于相机传感器硬件上的缺陷,通过传感器获得的图像通常与我们人眼所看到的景象有一定的区别。例如,由于不同色温的光源影响,导致了通过传感器获得的图像的色调与实际场景的色调并不一致。为了获得色调与实际场景一致的图像,通常需要进行自动白平衡(AWB,Auto While Balance)校正。
现有的自动白平衡方案中可以参考图像中的中性点进行矫正,但若图像中没有中性点(或者寻找中性点错误),则会直接影响矫正的效果。即使存在中性点,这种矫正方式也仅仅是将图像完全的消除色温的影响,而并未考虑实际场景,制造出一副“看似正常”的图像。而且,这类算法通常需要一定的检测时间,还会出现误检/漏检等问题。
另一种算法是基于推测待处理原始图像的相关色温(CCT,Correlated ColorTemperature),根据相关色温特性曲线,可以推测出待处理原始图像的相关色温值,进而计算出其相应的矫正参数,即可准确的矫正图像的色彩平衡。但这种方法存在一定的限制,一般在原始图像中有中性色时才会推测准确。
因此,需要一种更准确更通用便捷的图像白平衡方法。
发明内容
为此,本发明提供一种基于卷积神经网络的图像白平衡方法、装置和计算设备,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供一种基于卷积神经网络的图像白平衡方法,适于在计算设备中执行,该方法包括:采集多张不同场景下的带有基准色的实景原始图像;提取实景原始图像和待处理图像的二维色度值直方图,其中色度值包括R增益、B增益和G增益中的其中两个;获取用户对实景原始图像进行校正时所设定的理想校正参数;设计用于进行图像白平衡校正的卷积神经网络;根据实景原始图像的二维色度值直方图及其对应的理想校正参数对卷积神经网络进行训练;将待处理图像的二维色度值直方图输入到训练后的卷积神经网络中,得到该图像的理想校正参数;以及根据待处理图像的理想校正参数对其进行白平衡校正处理。
可选地,在根据本发明的图像白平衡方法中,提取图像的二维色度值直方图的步骤包括:将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中。
可选地,在根据本发明的图像白平衡方法中,对卷积神经网络进行训练的步骤包括:将实景原始图像的二维色度值直方图输入到卷积神经网络中,得到该实景原始图像的训练校正参数;将训练校正参数和用户设定的理想校正参数作差值;以及根据差值对卷积神经网络进行调整,直至该差值达到最小。
可选地,在根据本发明的图像白平衡方法中,还包括:新采集多张用于校验训练后的卷积神经网络的实景原始图像;获取新实景原始图像的二维色度值直方图;将新实景原始图像的二维色度值直方图输入到训练后的卷积神经网络中,得到该新实景原始图像的理想校正参数;根据该理想校正参数对新实景原始图像进行白平衡校正处理;判断新实景原始待处理图像的白平衡校正结果是否良好;若否,则提示对所述训练后的卷积神经网络进行调整。
可选地,在根据本发明的图像白平衡方法中,不同场景至少包括室内场景、室外场景和夜间场景中的一种。
可选地,在根据本发明的图像白平衡方法中,卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。
根据本发明的另一方面,提供一种基于卷积神经网络的图像白平衡装置,适于驻留在计算设备中,该装置包括:图像采集单元,适于采集多张不同场景下的带有基准色的实景原始图像;特征提取单元,适于提取实景原始图像和待处理图像的二维色度值直方图,其中色度值包括R增益、B增益和G增益中的其中两个;第一获取单元,适于获取用户对实景原始图像进行校正时所设定的理想校正参数;卷积神经网络单元,适于设计用于进行图像白平衡校正的卷积神经网络;模型训练单元,适于根据实景原始图像的二维色度值直方图及其对应的理想校正参数对卷积神经网络进行训练;第二获取单元,适于将待处理图像的二维色度值直方图输入到训练后的卷积神经网络中,得到该图像的理想校正参数;图像校正单元,适于根据待处理图像的理想校正参数对其进行白平衡校正处理。
可选地,在根据本发明的图像白平衡装置中,特征提取单元适于根据以下方法提取图像的二维色度值直方图:将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中。
可选地,在根据本发明的图像白平衡装置中,模型训练单元适于根据以下方法对卷积神经网络进行训练:将实景原始图像的二维色度值直方图输入到卷积神经网络中,得到该实景原始图像的训练校正参数;将训练校正参数和用户设定的理想校正参数作差值;以及根据所述差值对卷积神经网络进行调整,直至该差值达到最小。
可选地,在根据本发明的图像白平衡装置中,还包括模型校验单元,适于根据以下方法对训练后的卷积神经网络进行校验:新采集多张用于校验训练后的卷积神经网络的实景原始图像;获取所述新实景原始图像的二维色度值直方图;将新实景原始图像的二维色度值直方图输入到训练后的卷积神经网络中,得到该新实景原始图像的理想校正参数;根据该理想校正参数对所述新实景原始图像进行白平衡校正处理;判断新实景原始图像的白平衡校正结果是否良好;若否,则提示对训练后的卷积神经网络进行调整。
可选地,在根据本发明的图像白平衡装置中,不同场景至少包括室内场景、室外场景和夜间场景中的一种。
可选地,在根据本发明的图像白平衡装置中,卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。
根据本发明的又一个方面,提供一种计算设备,包括如上所述的基于卷积神经网络的图像白平衡装置。
根据本发明的技术方案,通过采集大量的不同场景下的实景原始图像作为素材,对这些实景原始图像进行特征统计后得到其的Rg和Bg的色度值直方图。通过对这些实景原始图像进行手动调参,得到其白平衡校正时的理想校正参数作为Ground Truth。之后,根据实景原始图像的Rg和Bg色度值直方图及其对应的理想校正参数对设计好的卷积神经网络进行训练。这样,只需获取到待处理图像的色度值直方图,将其输入到训练好的卷积神经网络中,即可得到待处理图像进行白平衡校正时需要的校正参数。
因为输入的是已经降维的直方图数据,其已经有效的提取了特性,因此模型能够很快的训练好,有效提高了算法的计算速度。而且,采集的素材图像覆盖了不同的使用场景,有效保证了算法的精度,不会出现某些场景产生固定偏色的现象,如室外场景统一偏蓝,室内场景统一偏红的现象,从而明显提高了图像白平衡的处理效果。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的结构框图;
图2示出了根据本发明一个实施例的基于卷积神经网络的图像白平衡方法200的流程图;
图3示出了根据本发明一个实施例的基于卷积神经网络的图像白平衡装置300的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明的一个实施例的计算设备100的结构图。图1布置为实现根据本发明的基于卷积神经网络的图像白平衡装置300的示例计算设备100的框图。在基本的配置102中,计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置,处理器104可以是任何类型的处理,包括但不限于:微处理器((μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用,或者在一些实现中,存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置,系统存储器106可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中,应用122可以布置为在操作系统上利用程序数据124进行操作。
计算设备100还可以包括有助于从各种接口设备(例如,输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156,它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160,其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中,计算设备100被配置为执行根据本发明的基于卷积神经网络的图像白平衡方法200,其中应用122包括根据本发明的基于卷积神经网络的图像白平衡装置300。
图2示出了根据本发明一个实施例的基于卷积神经网络的图像白平衡方法200,适于在计算设备100中执行,该方法始于步骤S210。
在步骤S210中,采集多张不同场景下的带有基准色的实景原始图像。其中,带有基准色的图片可以选用灰卡或24色卡等,不同场景至少包括室内场景、室外场景和夜间场景中的一种,尽量保证数据的覆盖面要广。另外,还可以采集不同色温环境下的实景原始图像,其中,色温环境下可以由色温箱提供,也可以由其他已知的色温光源提供,本发明对此不作限制。
随后,在步骤S220中,提取所述实景原始图像和待处理图像的二维色度值直方图。因为通常采集到的图像包含图像的所有信息,如位置信息、亮度信息与颜色信息,一般这样的图都比较大,直接使用这种图像来训练模型通常都很缓慢。因此,本发明中将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中作为该图像的特征。使用二维直方图作为模型训练的输入数据,保留了对自动白平衡影响最大的颜色与亮度信息,丢弃了位置信息,实现了对数据直接有效的降维,提高了模型训练的速度。
其中,色度值通常包括三基色的R增益(Rg)、B增益(Bg)和G增益中,本发明选择其中两个进行统计即可。为了便于理解,本发明以Rg和Bg参数为例进行说明。具体地,统计图像中RGB三通道中的各分量值,并根据Rg=G/R和Bg=G/B计算得到各增益值。
随后,在步骤S230中,获取用户对所述实景原始图像进行校正时所设定的理想校正参数。具体地,对上述实景原始图像进行手动调参,即使用工具对实景原始图像进行解析,确定执行图像白平衡时所需的理想校正参数,进行调参时可以观察校正结果,以便随时修改校正参数,直到将实景原始图像调整到最优状态,此时的校正参数即为理想校正参数,其可作为图像白平衡的Ground Truth,即标定过的真实数据。
此时,已经得到了每张实景原始图像的图像特征,即二维色度值直方图,以及与该特征相对应的期望输出值Ground Truth,即理想校正参数。另外,在调参过程中误差在所难免,但相近的环境中,Ground Truth应该是接近的。因此,这一步骤中还可以包括:若获取到相近环境下的图像的理想校正参数过大,则提示用户重新调整变动过大的实景原始图像的校正参数。
随后,在步骤S240中,设计用于进行图像白平衡校正的卷积神经网络。具体地,卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。根据一个实施例,可以选择输入层→卷积层→非线性激活层→下采样层→卷积层→非线性激活层→下采样层→全连接层→输出层。当然,也可以设计其他网络结构,本发明对此不作限制。
随后,在步骤S250中,根据所述实景原始图像的二维色度值直方图及其对应的理想校正参数对所述卷积神经网络进行训练。这里,在构建网络模型时需要考虑到方图数据的合理性,即理论上设计出来的网络模型对所输入的所有数据都应有解;若无解,则说明设计的卷积神经网络存在不合理之处,需要进行调整。因此,这一步骤中还可以包括:将所述实景原始图像的二维色度值直方图及其对应的理想校正参数输入到卷积神经网络后,若某个图像的结果无解,则提示用户进行卷积神经网络的调整。具体地,可以分析无解的原因,调整卷积网络神经的卷积核、池化区间、特征图等参数及网络层结构。
在训练阶段,通过对比同一幅原始图像在卷积神经网络的输出值与标定好的理想校正参数之间的差距,将其作为评价模型的标准,差距越小则说明模型拟合的越好。通过不断对模型进行调整,直到这个差值达到最小。具体地,将实景原始图像的二维色度值直方图输入到卷积神经网络中,得到该实景原始图像的训练校正参数;将所述训练校正参数和用户设定的理想校正参数作对比差值。最后,根据所述差值对所述卷积神经网络进行调整,直至所述差值达到最小。此时,可以认为卷积神经网络已经训练完成。
此外,还可以对训练后的卷积神经网络进行校验,判断其结果的合理性及误差,主要就是看不同场景下的训练数据表现如何。
具体地,可以采集些新的用于校验训练后的卷积神经网络的实景原始图像,获取得到这些图像的二维色度值直方图;将其输入到训练后的卷积神经网络中,得到这些新实景原始图像的理想校正参数;根据该理想校正参数对这些新实景原始图像进行校正处理;判断图像处理结果是否良好,若否,则提示对所述训练后的卷积神经网络进行调整;反之,则说明训练后的卷积神经网络鲁棒性非常好,不用再进行调整。另外,也可以通过手动调参将该新实景原始图像调整到最佳状态,获取其实际的理想校正参数。将通过卷积神经网络获得的理想校正参数与实际调参获得的理想校正参数作对比,如作差值,即能校验出训练后的卷积神经网络模型是否优良。当然,差距越小说明该卷积神经网络模型训练的越成功。
随后,在步骤S260中,将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该图像的理想校正参数。
随后,在步骤S270中,根据待处理图像的理想校正参数对其进行偏色处理。通常,将图像的原始各通道值乘以对应矫正参数即可完成了白平衡调整功能;当然,也可以采取其他算法公式,本发明对此不作限制。
图3示出了根据本发明的一个实施例的基于卷积神经网络的图像白平衡装置300,适于驻留在计算设备中,该装置包括图像采集单元310、特征提取单元320、第一获取单元330、卷积神经网络340、模型训练单元350、第二获取单元360和图像校正单元370。
图像采集单元310适于采集多张不同场景下的带有基准色的实景原始图像。其中,不同场景至少包括室内场景、室外场景和夜间场景中的一种。
特征提取单元320适于提取所述实景原始图像和待处理图像的二维色度值直方图,其中所述色度值包括R增益、B增益和G增益中的其中两个。具体地,特征提取单元320将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中。
第一获取单元330适于获取用户对所述实景原始图像进行校正时所设定的理想校正参数。
卷积神经网络单元340适于设计用于进行图像白平衡校正的卷积神经网络。具体地,卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。
模型训练单元340适于根据实景原始图像的二维色度值直方图及其对应的理想校正参数对卷积神经网络进行训练。具体地,模型训练单元340将实景原始图像的二维色度值直方图输入到设计好的卷积神经网络中,得到该实景原始图像的训练校正参数;将训练校正参数和用户设定的理想校正参数作差值;并根据该差值对卷积神经网络进行调整,直至差值达到最低。
第二获取单元350适于将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该图像的理想校正参数。
图像校正单元360适于根据待处理图像的理想校正参数对其进行白平衡校正处理。
根据一个实施例,该装置300还可以包括模型校验单元(图中未示出),适于根据以下方法对训练后的卷积神经网络进行校验:新采集多张用于检验所述训练后的卷积神经网络的实景原始图像;获取新实景原始图像的二维色度值直方图;将新实景原始图像的二维色度值直方图输入到训练后的卷积神经网络中,得到该新实景原始图像的理想校正参数;根据该理想校正参数对新实景原始图像进行白平衡校正处理;判断新实景原始图像的白平衡校正结果是否良好;若否,则提示对训练后的卷积神经网络进行调整。
根据本发明的基于卷积神经网络的图像白平衡装置300,其具体细节已在基于图1和图2的描述中详细公开,在此不再进行详细赘述。
根据本发明的技术方案,以卷积神经网络为基础,根据预先获取到的素材图像的二维色度值直方图和理想的校正参数,对设计好的卷积神经网络进行训练。这样,只要获取到待处理图像的二维色度值直方图,将其输入到训练好的卷积神经网络中,即可得到该图像进行白平衡处理时所需的校正参数。而另外,还可以对训练好的模型进行一定的校验,并根据校验结果对该模型进行调整。本算法不仅在纯色场景下有良好的表现,也解决了模型能力不足导致的在某类场景下模型输出偏向一致的问题(比如室内固定偏红,室外固定偏蓝),在提升算法的精度的同时也提高了运算速度。
B10、如B7所述的装置,还包括模型校验单元,适于根据以下方法对所述训练后的卷积神经网络进行校验:
新采集多张用于校验所述训练后的卷积神经网络的实景原始图像;
获取所述新实景原始图像的二维色度值直方图;
将所述新实景原始图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该新实景原始图像的理想校正参数;
根据该理想校正参数对所述新实景原始图像进行白平衡校正处理;
判断所述新实景原始图像的白平衡校正结果是否良好;若否,则提示对所述训练后的卷积神经网络进行调整。
B11、如B7所述的装置,所述不同场景至少包括室内场景、室外场景和夜间场景中的一种。
B12、如B7所述的装置,所述卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于卷积神经网络的图像白平衡方法,适于在计算设备中执行,该方法包括:
采集多张不同场景下的带有基准色的实景原始图像;
提取所述实景原始图像和待处理图像的二维色度值直方图,其中所述色度值包括R增益、B增益和G增益中的其中两个;
获取用户对所述实景原始图像进行校正时所设定的理想校正参数;
设计用于进行图像白平衡校正的卷积神经网络;
根据所述实景原始图像的二维色度值直方图及其对应的理想校正参数对所述卷积神经网络进行训练;
将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该图像的理想校正参数;以及
根据所述待处理图像的理想校正参数对其进行白平衡校正处理。
2.如权利要求1所述的方法,提取图像的二维色度值直方图的步骤包括:
将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中。
3.如权利要求1所述的方法,对所述卷积神经网络进行训练的步骤包括:
将所述实景原始图像的二维色度值直方图输入到所述卷积神经网络中,得到该实景原始图像的训练校正参数;
将所述训练校正参数和用户设定的理想校正参数作差值;以及
根据所述差值对所述卷积神经网络进行调整,直至所述差值达到最小。
4.如权利要求1所述的方法,还包括:
新采集多张用于校验所述训练后的卷积神经网络的实景原始图像;
获取所述新实景原始图像的二维色度值直方图;
将所述新实景原始图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该新实景原始图像的理想校正参数;
根据该理想校正参数对所述新实景原始图像进行白平衡校正处理;
判断所述新实景原始图像的白平衡校正结果是否良好;
若否,则提示对所述训练后的卷积神经网络进行调整。
5.如权利要求1所述的方法,所述不同场景至少包括室内场景、室外场景和夜间场景中的一种。
6.如权利要求1所述的方法,所述卷积神经网络包括:输入层;至少循环重复一次的卷积层、非线性激活层和下采样层;至少一层全连接层;以及输出层。
7.一种基于卷积神经网络的图像白平衡装置,适于驻留在计算设备中,该装置包括:
图像采集单元,适于采集多张不同场景下的带有基准色的实景原始图像;
特征提取单元,适于提取所述实景原始图像和待处理图像的二维色度值直方图,其中所述色度值包括R增益、B增益和G增益中的其中两个;
第一获取单元,适于获取用户对所述实景原始图像进行校正时所设定的理想校正参数;
卷积神经网络单元,适于设计用于进行图像白平衡校正的卷积神经网络;
模型训练单元,适于根据所述实景原始图像的二维色度值直方图及其对应的理想校正参数对所述卷积神经网络进行训练;
第二获取单元,适于将所述待处理图像的二维色度值直方图输入到所述训练后的卷积神经网络中,得到该图像的理想校正参数;
图像校正单元,适于根据所述待处理图像的理想校正参数对其进行白平衡校正处理。
8.如权利要求7所述的装置,所述特征提取单元适于根据以下方法提取图像的二维色度值直方图:
将图像进行栅格化处理,计算每个栅格的色度值,并选择其中两个色度值统计在二维直方图中。
9.如权利要求7所述的装置,所述模型训练单元适于根据以下方法对卷积神经网络进行训练:
将所述实景原始图像的二维色度值直方图输入到所述卷积神经网络中,得到该实景原始图像的训练校正参数;
将所述训练校正参数和用户设定的理想校正参数作差值;以及
根据所述差值对所述卷积神经网络进行调整,直至所述差值达到最小。
10.一种计算设备,包括如权利要求7-9中任一项所述的基于卷积神经网络的图像白平衡装置。
CN201610754445.8A 2016-08-29 2016-08-29 一种基于卷积神经网络的图像白平衡方法、装置和计算设备 Active CN106412547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610754445.8A CN106412547B (zh) 2016-08-29 2016-08-29 一种基于卷积神经网络的图像白平衡方法、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610754445.8A CN106412547B (zh) 2016-08-29 2016-08-29 一种基于卷积神经网络的图像白平衡方法、装置和计算设备

Publications (2)

Publication Number Publication Date
CN106412547A true CN106412547A (zh) 2017-02-15
CN106412547B CN106412547B (zh) 2019-01-22

Family

ID=58002847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610754445.8A Active CN106412547B (zh) 2016-08-29 2016-08-29 一种基于卷积神经网络的图像白平衡方法、装置和计算设备

Country Status (1)

Country Link
CN (1) CN106412547B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578390A (zh) * 2017-09-14 2018-01-12 长沙全度影像科技有限公司 一种使用神经网络进行图像白平衡校正的方法及装置
CN109191386A (zh) * 2018-07-18 2019-01-11 武汉精测电子集团股份有限公司 一种基于BPNN的快速Gamma校正方法及装置
CN109242792A (zh) * 2018-08-23 2019-01-18 广东数相智能科技有限公司 一种基于白色物体的白平衡校对方法
CN109348206A (zh) * 2018-11-19 2019-02-15 Oppo广东移动通信有限公司 图像白平衡处理方法、装置、存储介质及移动终端
CN109618146A (zh) * 2018-12-05 2019-04-12 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109618145A (zh) * 2018-12-13 2019-04-12 深圳美图创新科技有限公司 色彩恒常性校正方法、装置及图像处理设备
CN109729332A (zh) * 2018-12-12 2019-05-07 珠海亿智电子科技有限公司 一种自动白平衡矫正方法和系统
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110267024A (zh) * 2019-07-26 2019-09-20 惠州视维新技术有限公司 调整电视白平衡值的方法、装置和计算机可读存储介质
CN111064860A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 图像校正方法、图像校正装置和电子设备
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
WO2020098953A1 (en) 2018-11-16 2020-05-22 Huawei Technologies Co., Ltd. Meta-learning for camera adaptive color constancy
CN111507905A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种白平衡处理方法、白平衡处理装置以及存储介质
WO2020215180A1 (zh) * 2019-04-22 2020-10-29 华为技术有限公司 图像处理方法、装置和电子设备
CN111898449A (zh) * 2020-06-30 2020-11-06 北京大学 一种基于监控视频的行人属性识别方法和系统
CN112118388A (zh) * 2020-08-04 2020-12-22 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112333437A (zh) * 2020-09-21 2021-02-05 宁波萨瑞通讯有限公司 AI camera调试参数生成仪
CN112399162A (zh) * 2019-08-16 2021-02-23 浙江宇视科技有限公司 一种白平衡校正方法、装置、设备和存储介质
CN113379611A (zh) * 2020-03-10 2021-09-10 Tcl科技集团股份有限公司 图像处理模型的生成方法、处理方法、存储介质及终端
CN113518210A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 图像自动白平衡的方法及装置
WO2021244295A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 拍摄视频的方法和装置
CN113900605A (zh) * 2021-07-30 2022-01-07 武汉精测电子集团股份有限公司 一种电子设备的显示方法、显示系统及应用
TWI768282B (zh) * 2020-01-15 2022-06-21 宏碁股份有限公司 光源資訊預測模型建立方法與系統
CN115209114A (zh) * 2021-06-08 2022-10-18 黑芝麻智能科技有限公司 自动白平衡的方法
CN116709003A (zh) * 2022-10-09 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
CN105898263A (zh) * 2016-05-24 2016-08-24 厦门美图之家科技有限公司 一种图像白平衡方法、装置和计算设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
CN105898263A (zh) * 2016-05-24 2016-08-24 厦门美图之家科技有限公司 一种图像白平衡方法、装置和计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIH-YUNG CHEN ET AL.: "Automatic White Balancing by Using NN Module", 《INNOVATIVE COMPUTING, INFORMATION AND CONTROL, 2007. ICICIC "07. SECOND INTERNATIONAL CONFERENCE ON》 *
SIMONE BIANCO ET AL.: "Color constancy using CNNs", 《COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2015 IEEE CONFERENCE ON》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578390B (zh) * 2017-09-14 2020-08-07 长沙全度影像科技有限公司 一种使用神经网络进行图像白平衡校正的方法及装置
CN107578390A (zh) * 2017-09-14 2018-01-12 长沙全度影像科技有限公司 一种使用神经网络进行图像白平衡校正的方法及装置
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109191386A (zh) * 2018-07-18 2019-01-11 武汉精测电子集团股份有限公司 一种基于BPNN的快速Gamma校正方法及装置
CN109191386B (zh) * 2018-07-18 2020-11-06 武汉精测电子集团股份有限公司 一种基于BPNN的快速Gamma校正方法及装置
CN109242792A (zh) * 2018-08-23 2019-01-18 广东数相智能科技有限公司 一种基于白色物体的白平衡校对方法
CN109242792B (zh) * 2018-08-23 2020-11-17 广东数相智能科技有限公司 一种基于白色物体的白平衡校对方法
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN111062876B (zh) * 2018-10-17 2023-08-08 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN111064860A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 图像校正方法、图像校正装置和电子设备
WO2020098953A1 (en) 2018-11-16 2020-05-22 Huawei Technologies Co., Ltd. Meta-learning for camera adaptive color constancy
CN109348206A (zh) * 2018-11-19 2019-02-15 Oppo广东移动通信有限公司 图像白平衡处理方法、装置、存储介质及移动终端
CN109618146A (zh) * 2018-12-05 2019-04-12 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109729332A (zh) * 2018-12-12 2019-05-07 珠海亿智电子科技有限公司 一种自动白平衡矫正方法和系统
CN109729332B (zh) * 2018-12-12 2021-06-15 珠海亿智电子科技有限公司 一种自动白平衡矫正方法和系统
CN109618145A (zh) * 2018-12-13 2019-04-12 深圳美图创新科技有限公司 色彩恒常性校正方法、装置及图像处理设备
CN109618145B (zh) * 2018-12-13 2020-11-10 深圳美图创新科技有限公司 色彩恒常性校正方法、装置及图像处理设备
CN111507905A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种白平衡处理方法、白平衡处理装置以及存储介质
CN109903248A (zh) * 2019-02-20 2019-06-18 厦门美图之家科技有限公司 一种生成自动白平衡模型的方法和图像处理方法
WO2020215180A1 (zh) * 2019-04-22 2020-10-29 华为技术有限公司 图像处理方法、装置和电子设备
CN110267024A (zh) * 2019-07-26 2019-09-20 惠州视维新技术有限公司 调整电视白平衡值的方法、装置和计算机可读存储介质
WO2021018001A1 (zh) * 2019-07-26 2021-02-04 惠州视维新技术有限公司 调整电视白平衡值的方法、装置和计算机可读存储介质
CN112399162A (zh) * 2019-08-16 2021-02-23 浙江宇视科技有限公司 一种白平衡校正方法、装置、设备和存储介质
TWI768282B (zh) * 2020-01-15 2022-06-21 宏碁股份有限公司 光源資訊預測模型建立方法與系統
US11494585B2 (en) 2020-01-15 2022-11-08 Acer Incorporated Method and system for establishing light source information prediction model
CN113379611A (zh) * 2020-03-10 2021-09-10 Tcl科技集团股份有限公司 图像处理模型的生成方法、处理方法、存储介质及终端
CN113518210A (zh) * 2020-04-10 2021-10-19 华为技术有限公司 图像自动白平衡的方法及装置
CN113518210B (zh) * 2020-04-10 2024-05-24 华为技术有限公司 图像自动白平衡的方法及装置
WO2021244295A1 (zh) * 2020-05-30 2021-12-09 华为技术有限公司 拍摄视频的方法和装置
CN111898449A (zh) * 2020-06-30 2020-11-06 北京大学 一种基于监控视频的行人属性识别方法和系统
CN112118388A (zh) * 2020-08-04 2020-12-22 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112118388B (zh) * 2020-08-04 2022-07-26 绍兴埃瓦科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112333437A (zh) * 2020-09-21 2021-02-05 宁波萨瑞通讯有限公司 AI camera调试参数生成仪
CN112333437B (zh) * 2020-09-21 2022-05-31 宁波萨瑞通讯有限公司 AI camera调试参数生成仪
CN115209114B (zh) * 2021-06-08 2023-05-16 黑芝麻智能科技有限公司 自动白平衡的方法
US11606544B2 (en) * 2021-06-08 2023-03-14 Black Sesame Technologies Inc. Neural network based auto-white-balancing
US20220394223A1 (en) * 2021-06-08 2022-12-08 Black Sesame International Holding Limited Neural network based auto-white-balancing
CN115209114A (zh) * 2021-06-08 2022-10-18 黑芝麻智能科技有限公司 自动白平衡的方法
CN113900605A (zh) * 2021-07-30 2022-01-07 武汉精测电子集团股份有限公司 一种电子设备的显示方法、显示系统及应用
CN116709003A (zh) * 2022-10-09 2023-09-05 荣耀终端有限公司 一种图像处理方法和电子设备

Also Published As

Publication number Publication date
CN106412547B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN106412547B (zh) 一种基于卷积神经网络的图像白平衡方法、装置和计算设备
Wang et al. An optimized tongue image color correction scheme
EP3542347B1 (en) Fast fourier color constancy
US9077942B2 (en) Spectral synthesis for image capture device processing
CN105898263B (zh) 一种图像白平衡方法、装置和计算设备
US11044450B2 (en) Image white balancing
US8290259B2 (en) Device adaptively switching color emphasis processing for image
CN102473293B (zh) 图像处理设备和图像处理方法
CN110248170B (zh) 图像色彩调整方法及装置
CN103118219A (zh) 图像处理装置、图像处理方法以及程序产品
US11962917B2 (en) Color adjustment method, color adjustment device, electronic device and computer-readable storage medium
CN108024105A (zh) 图像色彩调节方法、装置、电子设备及存储介质
WO2019152534A1 (en) Systems and methods for image signal processor tuning
CN112399163A (zh) 图像感测装置以及自动白平衡方法
CN104702941A (zh) 一种白点区域表示及判定方法
CN111587573A (zh) 一种图像处理方法及装置
CN110751607A (zh) 一种肤色的校正方法、装置、存储介质以及电子装置
WO2022120799A9 (zh) 图像处理方法、装置、电子设备及存储介质
Bianco et al. Error-tolerant color rendering for digital cameras
Andersen et al. Weighted constrained hue-plane preserving camera characterization
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
WO2019152481A1 (en) Systems and methods for image signal processor tuning
US8345972B2 (en) Method for processing color component values of pixel
CN109417616B (zh) 用于图像处理的方法和装置
TWI436650B (zh) 用以處理畫素之色彩成份值的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant