CN118018863A - 对图像进行白平衡的方法及装置、计算机系统及存储介质 - Google Patents
对图像进行白平衡的方法及装置、计算机系统及存储介质 Download PDFInfo
- Publication number
- CN118018863A CN118018863A CN202410224270.4A CN202410224270A CN118018863A CN 118018863 A CN118018863 A CN 118018863A CN 202410224270 A CN202410224270 A CN 202410224270A CN 118018863 A CN118018863 A CN 118018863A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- meta
- model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 139
- 238000009966 trimming Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000005286 illumination Methods 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供对图像进行白平衡的方法及装置、计算机系统及存储介质。在操作过程中,获取由多个相机拍摄的被标记的多个红、绿和蓝(RGB)图像样本,并生成多个训练任务。相应的训练任务与由对应的相机拍摄的多个RGB图像样本相关联。对多个训练任务执行元训练,以得到元模型,基于全局损失函数,优化该元模型的参数。获取由第一相机拍摄的图像,利用由第一相机拍摄的被标记的多个RGB图像样本,微调元模型,以得到第一相机特有的微调模型,并实现微调模型,以对图像进行白平衡。
Description
技术领域
本申请实施例通常涉及图像处理中的颜色恒常性。更具体地,本申请实施例涉及对图像进行白平衡的方法及装置、计算机系统及存储介质。
背景技术
图像处理中的颜色恒常性指的是在不考虑拍摄图片时的照明条件的情况下,确保图像中的对象的颜色看起来一致且准确的挑战。颜色恒常性的计算也称为自动白平衡,并且能够用于消除由数字相机拍摄的原始图像的色彩偏置。颜色恒常性对于计算机视觉应用是必不可少的,因为它能够便于识别和分析图像中的对象,而不受照明变化的影响。
已经有许多不同的方法解决颜色恒常性问题。一种简单的方法称为“灰度世界”算法,其假设光源的颜色是所有图像像素的平均颜色,从而假设物体反射率(即,场景中的表面的涂层颜色)大体上是灰色的。这种简单的思想也能够推广到假定一些颜色分布的其他统计模型。在各种方法中,诸如深度神经网络之类的机器学习技术已经用来提高颜色恒常性的准确性。
基于学习的颜色恒常性方法旨在学习输入图像和照度之间的复杂非线性映射函数。现有方法通常涉及使用由相同相机拍摄的多个图像,训练神经网络,以学习图像-照度的映射,并不能解决跨相机颜色恒常性问题。因为不同的图像传感器(即,不同的相机)具有不同的光谱灵敏度,所以图像-照度的映射对于不同的图像传感器是不同的。为了学习跨多个图像传感器的图像-照度的映射,训练模型(例如,深度神经网络)需要来自不同图像传感器的大量标记数据,而获取这样的数据是具有挑战性的。此外,在不同的图像传感器之间传递学习模型是一个复杂且繁琐的过程。
发明内容
本申请实施例提供一种对图像进行白平衡的方法及装置、计算机系统及存储介质。在操作期间,系统能够获取由多个相机拍摄的被标记的多个红、绿和蓝(RGB)图像样本,并生成多个训练任务。相应的训练任务与由对应的相机拍摄的多个RGB图像样本相关联。该系统能够对多个训练任务执行元训练,以得到元模型,基于全局损失函数,优化该元模型的参数。该系统能够获取由第一相机拍摄的图像,利用由第一相机拍摄的被标记的多个RGB图像样本,微调元模型,以得到第一相机特有的微调模型,并实现微调模型,以对图像进行白平衡。
在本实施例的一个变体中,该系统能够通过计算二维(2D)对数色度直方图,从每个RGB图像样本中提取多个特征。
在进一步的变体中,计算二维对数色度直方图,包括:基于像素的RGB值,计算RBG图像样本中每个像素的色度分量。
在本实施例的变体中,相应的训练任务包括基于相机特有的损失函数的回归任务。
在进一步的变体中,每个图像样本标记有真实照度,并且相机特有的损失函数测量真实照度和预估照度之间的角度损失。
在本实施例的变体中,第一相机包括不属于多个相机的新相机。
在本实施例的变体中,执行元训练包括批量训练,并且相应的批次包括多个随机选择的训练任务。
附图说明
图1示出了本申请一实施例提供的从多个单独的图像传感器的训练样本,生成元训练批次的示例性场景。
图2示出了本申请一实施例提供的使用模型无关的元学习(MAML)技术,训练神经网络的示例性场景。
图3示出了本申请一实施例提供的示例性模型训练过程的流程图。
图4示出了本申请一实施例提供的示例性白平衡过程的流程图。
图5示出了本申请一实施例提供的对图像进行白平衡的示例性装置。
图6示出了本申请一实施例提供的促进图像的白平衡的示例性计算机系统。
在附图中,相同的附图标记指代相同的附图元件。
具体实施方式
提出以下描述以使本领域的任何技术人员能够制造和使用本申请的实施例,并且在一个或多个特定应用及其要求的上下文中提供以下描述。对于本领域技术人员来说,对本申请的实施例的各种修改将是显而易见的,在不脱离所公开的那些实施例的范围的情况下,本文中所界定的一般原理可以应用于其他实施例以及其他应用。因此,本发明并不旨在局限于所示的实施例,而是应被赋予与本申请一致的最宽范围。
概述
本申请实施例提供了一种跨相机颜色恒常性的实现系统和方法,即,跨相机颜色恒常性的快速适配。更具体地,模型无关的元学习(MAML)方法能够用于使用来自不同图像传感器的被标记的训练数据,训练神经网络。训练过程包括元训练阶段和微调阶段。在元训练阶段,能够产生多个批次的训练任务,并且每个批次包括与多个(例如,两个)图像传感器相关联的多个训练任务。每个训练任务包括回归任务,以学习由特定相机拍摄的多个RGB图像与对应的照度之间的非线性映射。基于全局损失函数,训练元模型,该全局损失函数是多个域的域特有的损失函数的总和。基于特定图像传感器,通过使用来自这个特定传感器的被标记的多个样本执行训练,微调该元模型。
特征提取
在本申请中,由相机拍摄的图像表示为I,其中,I(x,y)表示空间位置(x,y)中的红、绿和蓝(RGB)像素值。如等式(1)所示,I(x,y)是照度的光谱功率分布(Lx,y(λ))、图像传感器的光谱敏感函数(Cx,y(λ))和点的光谱反射率(Rx,y(λ))的函数:
I(x,y)=∫λLx,y(λ)Cx,y(λ)Rx,y(λ)dλ (1)
注意,图像传感器的光谱灵敏度对于不同波长是不同的。此外,等式(1)指示由不同相机或在不同照度条件下拍摄的相同对象的原始图像数据(即,像素值)能表现出不同的分布。换句话说,对于相同的Rx,y(λ)、不同的Cx,y(λ)或不同的Lx,y(λ)能导致不同的I(x,y)。计算颜色恒常性的目标是去除Lx,y(λ)对I(x,y)的影响,以模仿人类颜色感知系统,其确保对象的颜色在变化的照度条件下保持恒定。
根据图像形成的简化模型,图像的像素值(表示为I)也能表示为“真”白平衡RGB值(表示为W)和照度值(表示为L)的乘积:
解决颜色恒常性问题的目标是通过估计L,从I中恢复W,然后计算W=I/L。在一些实施例中,根据下式,从I和W的RGB值,定义色度u和v的两个度量:
Iu=log(Ig/Ir) Iv=log(Ig/Ib)
Wu=log(Wg/Wr) Wv=log(Wg/Wb) (3)
在替代实施例中,根据下式,定义色度u和v的两个度量:
还能将I的亮度度量y定义为考虑到W的绝对标度不重要,估计L的问题能进一步简化为仅估计L的色度,这能够表示为:
Lu=log(Lg/Lr) Lv=log(Lg/Lb) (5)
问题公式能够在对数色度空间中重写为:
Wu=Iu―Lu Wv=Iv―Lv (6)
因此,能够减少颜色恒常性问题,以恢复两个量:(Lu,Lv)。为了训练机器学习模型(例如,神经网络),以从被拍摄的多个图像中学习(Lu,Lv),应当首先从多个输入图像中提取有意义的多个特征,并使用提取的多个特征作为多个训练样本。注意,尽管能够将整个图像视为训练样本,但是这种方法在计算上更昂贵。在一些实施例中,代表图像的多个特征包括图像的二维(2D)对数色度直方图。
考虑输入图像I及其真实照度L,基于图像的对数色度,构造2D直方图H(u,v),其中,H(u,v)是色度接近(u,v)的I中的像素的数量。在一个实例中,H(u,v)能够表示为:
其中,和/>是像素i的u值和v值,η是u-v分量的间隔宽度。在该示例中,直方图计数不被加权。在替代实施例中,直方图计数也能由每个像素的亮度加权。例如,H(u,v)也能表示为:
其中,是第i个像素处的亮度。根据一些实施例,收集多个训练样本包括计算每个图像的2D直方图。这些训练样本用真实照度来标记。
模型训练
在机器学习的上下文中,给定一组输入X(来自特征空间χ,例如,X={x1,...,xn}∈χ)及其对应的标签Y,域D由X和边际概率分布P(X)定义,任务T由Y和条件概率分布P(Y│X)定义。由于不同的相机具有不同的光谱灵敏度,所以不同相机的域彼此不同。此外,由不同相机拍摄的同一场景的实测真实照度能够映射到对数色度坐标平面中的不同区域。注意,对数色度坐标平面是笛卡尔坐标平面,其中,Iu是水平轴(即,x轴),Iv是垂直轴(即,y轴)。单相机颜色恒常性问题能够看作是回归问题,以找出输入信息(例如,对数色度直方图)和真实照度之间的非线性映射。然而,解决跨相机颜色恒常性问题需要大量被标记的训练数据。现有的基于迁移学习的方法需要传感器校准,且倾向于降低离群图像传感器(例如,具有非常不同光谱灵敏度的传感器)的白平衡的准确性。
为了解决跨相机颜色恒常性问题,在一些实施例中,即时相机能够实施模型无关的元学习(MAML)技术,以训练神经网络,该神经网络能够使用多域训练数据(即,由不同相机拍摄的多个图像),学习图像与照度之间的映射(即,模型参数)。经训练的神经网络能够快速适应新的图像传感器。
MAML过程包括元训练过程,在该过程期间,基于多个域特有的任务,训练元模型。在本申请的一些实施例中,多个任务中的每一个包括学习特定图像传感器或相机的图像-照度的映射。在进一步的实施例中,元训练过程能够批量地执行,每个批次包括多个随机选择的任务(例如,学习针对一组随机选择的传感器的图像-照度的映射)。因此,将从大量图像传感器获取的训练样本组织为多个批次,每个批次包括来自多个不同传感器的训练数据。
图1示出了本申请一实施例提供的从多个单独的图像传感器的训练样本,生成元训练批次的示例性场景。在图1中,多域任务100包括多个域特有的任务,诸如任务102和104。每个任务与特定图像传感器相关联。例如,任务102与图像传感器A相关联,任务104与图像传感器B相关联。更具体地,每个学习任务包括训练神经网络,以基于从对应的图像传感器获取的被标记的训练样本,学习图像-照度的映射。在一个实施例中,被标记的训练样本包括支持集合(用于训练域特有的模型)和查询集合(用于评估任务性能)。
元训练批次110包括多个训练批次,例如,批次112、114和116。每个训练批次包括从多域任务100中随机选择的多个任务。例如,批次112包括与传感器A和C相关联的任务,批次114包括与传感器E和B相关联的任务,批次116包括与传感器A和K相关联的任务。在图1所示的示例中,每个批次包括两个任务。在实践中,每个批次包括任意数量的任务。总批次的数量取决于训练要求。
图2示出了本申请一实施例提供的使用模型无关的元学习(MAML)技术,训练神经网络的示例性场景。如图2所示,模型训练过程200包括元训练阶段202和微调阶段204。
在元训练阶段202中,向神经网络208发送多个元训练批次206(其类似于图1中所示的元训练批次110)。神经网络208由具有随机初始化参数θ的函数f(θ)表示。通过元训练过程210,训练神经网络(或学习f(θ))。
元训练过程210的目标是最小化全局损失函数(即,),其能够是多个域特有的任务Ti的损失函数的总和。根据一些实施例,当使f(θ)适应新任务Ti时,模型参数θ变为θ′i,并且使用一个或多个梯度下降,更新任务Ti,能够计算更新后的参数向量θ′i,使得/>注意,超参数α表示执行更新的步长。
每个域特有的任务的损失函数能够表示真实照度(ugt,vgt)与预估照度(ugt,vgt)之间的角度损失:
注意,通过优化fθ′的性能,训练模型参数θ,意味着使用更新后的模型参数,计算目标:
根据一些实施例,元训练过程210能够批量地执行。对于一个批次中的每个任务(例如,批次k中的任务i),保存与该任务相关联的模型参数,以预测对应的查询集合中的训练样本的照度。然后根据公式(9)中定义的角度损失函数,更新模型参数。如前面所讨论的,通过调整超参数α,调整更新的速率(即,)。
在每个批次中,MAML旨在通过根据以下参数,更新函数优化模型参数θ,学习该批次中的多个任务(例如,批次112中的传感器A和C的任务)上的全局参数:
其中,β是用来调整参数更新步长的超参数,且等式(10)是训练任务i的查询集合的角度损失。
在微调阶段204中,在元训练阶段202中学习到的元或全局模型(即,)能够被微调或适应于与目标传感器相关联的新任务。更具体地,在微调阶段204中,向具有初始化参数/>的神经网络214发送与目标传感器相关联的被标记的训练数据212(其包括支持集合和查询集合),训练数据212是由元训练过程210输出的模型参数。通过训练过程216,微调神经网络214,以最小化目标损失函数(即,/>),其中,目标损失函数为:
在一些实施例中,训练过程216也能够批量地执行,使用梯度下降,计算每个批次中的参数更新,使得
如从图1和2中能够看到的,提出的颜色恒常性解决方案能够将多域任务分割成许多域特有的任务,每个任务是回归学习过程。使用MAML训练过程,学习元模型参数,并使用与目标传感器相关联的训练数据,微调元模型,以适应特定目标传感器。该技术能够减少针对新传感器重新训练模型的工作量。
图3示出了本申请一实施例提供的示例性模型训练过程的流程图。在一个或多个实施例中,图3中的一个或多个步骤可以重复和/或以不同的顺序执行。因此,图3中所示的步骤的具体安排不应被解释为限制该技术的范围。
在操作期间,获取在已知照度条件下,由多个相机拍摄的多个RGB图像(即,多域RGB图像)(操作302)。已知的照度条件也称为真实照度,并且使用RGB值(例如,L=(Lr,Lg,Lb)),记录已知的照度条件。将RGB图像转换为色度或u-v图像(操作304)。将RGB图像转换为色度图像包括去除全局黑电平。在一些实施例中,通过计算Iu=log(Ig/Ir)和Iv=log(Ig/Ib),系统能够从图像的RGB值生成u-v图像。在可替换的实施例中,从RGB值生成u-v图像包括计算和/>
然后,从每个u-v图像中提取2D对数色度直方图(操作306)。在一个示例中,根据等式(8),计算直方图。2D对数色度直方图能够形成图像的多个特征。在一些实施例中,向机器学习模型(例如,深度学习神经网络)发送的一组被标记的训练样本包括标记有相应的真实照度的图像的2D对数色度直方图。在一些实施例中,还能够使用真实照度的色度度量表示真实照度(例如,根据式(5))。
然后,基于多域训练数据,系统能够生成多个元训练任务(操作308)。在一些实施例中,多域训练数据(即,来自多个传感器的图像的直方图)能够分组为不同的单独任务的训练数据的不同集合,每个任务是与特定图像传感器相关联的回归任务。更具体地,任务的训练数据包括由相应的图像传感器产生的图像的被标记的直方图。该标记能够指示真实照度。在一些实施例中,被标记的训练数据包括支持集合和查询集合。回归任务的目标是最小化损失函数(例如,真实照度与预估照度之间的角度损失)。在一些实施例中,将多域训练数据组织成批次,每个批次包括多个(例如,两个、三个等)单独的域特有的任务的训练数据。
然后,系统能够执行元训练过程,以优化元模型的参数(操作310)。在一些实施例中,元训练过程包括内循环,该内循环使用梯度下降技术,更新每个单独任务的模型参数。例如,根据更新任务i的模型参数,其中,f(θ)是将图像直方图映射到照度的模型,α是可调节的超参数。元训练过程还包括外循环,该外循环使用梯度下降技术,更新基于元目标的全局参数(例如,最小化全局损失函数)。在一个示例中,根据/> 更新元模型的参数,其中,β是可调节的超参数。在进一步的实施例中,使用批次训练技术,执行元训练过程。该批次的规模能够由用户定义。
在训练元模型之后,系统能够确定目标域(操作312)。在一些实施例中,目标域是感兴趣的图像传感器,诸如拍摄需要白平衡的图像的相机。目标域是新的传感器或在多域训练数据的集合中使用的现有传感器。获取与目标域相关联的被标记的训练样本(操作314)。更具体地,在已知照度条件下,收集由目标相机拍摄的多个RGB图像,并计算与那些图像相关联的2D对数色度直方图。如果目标域是现有传感器,则与目标域相关联的训练样本是多域训练数据的一部分。如果目标域是新的图像传感器,则需要从新的图像传感器收集多个附加的RGB图像。
然后,基于与目标域相关联的被标记的训练样本,系统对元模型(例如,)执行微调,以获取针对目标域的训练后的模型(操作316)。换句话说,元模型适合于新任务(即,找到目标域中的图像和照度之间的映射的任务)。在一些实施例中,微调元模型的参数,以最小化目标损失函数。根据/>并使用梯度下降技术,更新模型参数。
图4示出了本申请一实施例提供的示例性白平衡过程的流程图。在操作期间,获取待处理的RGB图像(操作402)。通过特定相机拍摄RGB图像,并获取与该特定相机相关联的预训练机器学习模型(操作404)。根据一些实施例,通过使用类似于图3所示的过程,训练机器学习模型(例如,深度学习神经网络)。
将RGB图像转换为色度图像(操作406),并且基于色度图像,生成2D对数色度直方图(操作408)。向预训练机器学习模型发送直方图作为输入(操作410)。然后获取对应于RGB图像的白平衡图像(操作412)。更具体地,机器学习模型能够输出与RGB图像相关联的预估照度,并基于W=I/L,生成白平衡图像。
图5示出了本申请一实施例提供的白平衡图像的示例性装置。白平衡设备500能够包括第一图像获取单元501、图像数据库502、特征提取单元504、训练任务生成单元506、元训练单元508、微调单元510、第二图像获取单元511和模型实现单元512。
第一图像获取单元501用于获取诸如在不同已知照度条件下,由多个相机拍摄的RGB图像,图像数据库502能够存储多域RGB图像。特征提取单元504能够负责提取对白平衡多个RGB图像有用的多个特征。在一些实施例中,图像特征提取单元504能够为每个RGB图像生成2D对数色度直方图。更具体地,将每个RGB图像转换成色度图像,基于多个像素RGB值,定义色度图像的两个色度分量u和v。在一个实施例中,根据Iu=log(Ig/Ir)和Iv=log(Ig/Ib),计算像素的对数色度值。在替代实施例中,根据 和/>计算像素的对数色度值。
训练任务生成单元506能够负责基于多域训练样本,生成域特有的训练任务。在一些实施例中,训练任务生成单元506能够将来自不同图像传感器的多域训练样本(例如,直方图)分成用于训练多个单独任务的多个样本集,每个任务是特定的图像传感器特有的。在进一步的实施例中,训练任务生成单元506能够生成多个批次,每个批次包括多个(例如,两个、三个或更多个)单独的任务。从多个单独的训练任务中随机地选择每个批次中的多个任务。在一个示例中,一个批次包括被标记的多个训练样本的两个集合,每一集合对应于特定的图像传感器。每个训练集还包括用于元学习目的的支持集合和查询集合。
元训练单元508能够负责执行元训练操作。在一些实施例中,元训练操作包括训练元模型。更具体地,训练元模型包括基于任务特有的损失函数,优化每个单独任务的参数,以及基于全局损失函数,优化全局参数。元训练操作的输出是训练后的元模型。
第二图像获取单元511用于获取与目标域相关联的训练样本以及特定图像传感器的图像,图像数据库502还能够存储与目标域相关联的训练样本以及特定图像传感器的图像。微调单元510能够负责微调元模型,以使其适应目标域。微调元模型包括基于与目标域相关联的训练样本,优化模型参数。模型实现单元512能够负责基于与特定图像传感器相关联的微调模型,白平衡来自特定图像传感器的图像。与传统的单任务学习过程相比,所提出的多任务学习(例如,MAML)技术能够提供快速学习并减少所需的训练样本的数量。
图6示出了本申请一实施例提供的促进图像的白平衡的示例性计算机系统。计算机系统600包括处理器602、存储器604以及存储设备606。此外,计算机系统600能够耦合到外围输入/输出(I/O)用户设备610,例如,显示设备612、键盘614以及定位设备616。存储设备606能够存储操作系统620、白平衡系统622和数据640。
白平衡系统622包括多个指令,这些指令在由计算机系统600执行时,能够使得计算机系统600或处理器602执行本申请所描述的方法和/或过程。具体地,白平衡系统622包括用于将样本RGB图像转换为色度图像的指令(图像转换指令624)、用于计算样本图像的2D对数色度直方图的指令(直方图计算指令626)、用于生成训练任务的指令(任务生成指令628)、用于执行元训练以获取元模型的指令(元训练指令630)、用于确定目标图像传感器的域的指令(目标域确定指令632)、用于执行微调以使元模型适应目标图像传感器的域的指令(模型微调指令634)以及用于实现微调模型以对目标域中的图像执行白平衡的指令(模型实现指令636)。数据640包括被标记的多域训练数据642。
本申请提供了高效地训练机器学习模型(例如,深度学习神经网络)的各种技术,以实现跨相机颜色恒定性。更具体地,通过提供被标记的多域训练数据(例如,由不同相机拍摄的RGB图像),系统能够应用MAML技术,训练元模型。每个训练实例是图像传感器特有的单独的训练任务,训练输出是元模型。元模型的训练能够分批执行,每个批次包括与随机选择的图像传感器相关联的多个训练任务。每个训练任务包括基于域特有的损失函数,更新模型参数,基于全局损失函数,优化元模型的参数。通过使用新域中的训练数据,微调模型参数,元模型能够适配到任何新域(即,图像传感器)。与针对不同相机训练不同模型的传统方法相比,元模型的微调或适配更快且需要更少的训练样本。
本具体实施方式中描述的数据结构和程序代码通常存储在计算机可读存储介质上,例如,非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。非暂时性计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、电、磁和光存储设备、固态驱动器和/或现在已知或以后开发的其他非暂时性计算机可读介质。
在具体实施方式中描述的方法和过程能够体现为代码和/或数据,其可以存储在计算机可读存储介质中,例如,如上所述的非暂时性计算机可读存储介质。当处理器或计算机系统读取并执行代码,并且操纵存储在介质上的数据时,处理器或计算机系统执行体现为代码和数据结构并存储在介质内的方法和过程。
此外,来自方法和过程的优化后的参数可以被编程到硬件模块中,诸如但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGAs)以及现在已知或以后开发的其他可编程逻辑设备。当这样的硬件模块激活时,它执行包括在模块内的方法和过程。
以上实施例仅用于说明和描述目的。它们并不旨在穷举或将本申请限制为所公开的形式。因此,许多修改和变化对于本领域技术人员将是显而易见的。本发明的范围由所附权利要求而不是前面的公开来限定。
Claims (10)
1.一种对图像进行白平衡的方法,包括:
获取由多个相机拍摄的被标记的多个红、绿和蓝RGB图像样本;
生成多个训练任务,其中,相应的训练任务与由对应的相机拍摄的多个RGB图像样本相关联;
对所述多个训练任务执行元训练,以得到元模型,其中,基于全局损失函数优化所述元模型的参数;
获取由第一相机拍摄的图像;
利用由所述第一相机拍摄的被标记的多个RGB图像样本,微调所述元模型,以得到所述第一相机特有的微调模型;以及
实现所述微调模型,以对所述图像进行白平衡。
2.根据权利要求1所述的方法,还包括:通过计算二维2D对数色度直方图,从每个RGB图像样本提取多个特征。
3.根据权利要求2所述的方法,其中,所述计算2D对数色度直方图,包括:基于像素的RGB值,计算所述RBG图像样本中每个像素的色度分量。
4.根据权利要求1至3中任一项所述的方法,其中,所述相应的训练任务包括基于相机特有的损失函数的回归任务。
5.根据权利要求4所述的方法,其中,每个图像样本标记有真实照度,其中,所述相机特有的损失函数测量所述真实照度和预估照度之间的角度损失。
6.根据权利要求1至3中任一项所述的方法,其中,所述第一相机包括新相机,所述新相机不包括在所述多个相机中。
7.根据权利要求1至3中任一项所述的方法,其中,所述执行所述元训练包括批量训练,其中,相应的批次包括多个随机选择的训练任务。
8.一种计算机可读存储介质,用于存储指令,其中,所述指令在由处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的对图像进行白平衡的方法。
9.一种计算机系统,包括:
处理器;以及
耦合到所述处理器的存储设备,其中所述存储设备存储指令,所述指令在由所述处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的对图像进行白平衡的方法。
10.一种对图像进行白平衡的装置,包括:
第一图像获取单元,用于获取由多个相机拍摄的被标记的多个红、绿和蓝RGB图像样本;
训练任务生成单元,用于生成多个训练任务,其中,相应的训练任务与由对应的相机拍摄的多个RGB图像样本相关联;
元训练单元,用于对所述多个训练任务执行元训练,以得到元模型,其中,基于全局损失函数优化所述元模型的参数;
第二图像获取单元,用于获取由第一相机拍摄的图像;
微调单元,用于利用由所述第一相机拍摄的被标记的多个RGB图像样本,微调所述元模型,以得到所述第一相机特有的微调模型;以及
模型实现单元,用于实现所述微调模型,以对所述图像进行白平衡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410224270.4A CN118018863A (zh) | 2024-02-28 | 2024-02-28 | 对图像进行白平衡的方法及装置、计算机系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410224270.4A CN118018863A (zh) | 2024-02-28 | 2024-02-28 | 对图像进行白平衡的方法及装置、计算机系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118018863A true CN118018863A (zh) | 2024-05-10 |
Family
ID=90959252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410224270.4A Pending CN118018863A (zh) | 2024-02-28 | 2024-02-28 | 对图像进行白平衡的方法及装置、计算机系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118018863A (zh) |
-
2024
- 2024-02-28 CN CN202410224270.4A patent/CN118018863A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10666873B2 (en) | Exposure-related intensity transformation | |
JP7043191B2 (ja) | 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム | |
CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
US8855412B2 (en) | Systems, methods, and apparatus for image processing, for color classification, and for skin color detection | |
CN112703509A (zh) | 用于图像增强的人工智能技术 | |
JP2004357277A (ja) | デジタル画像処理方法 | |
EP1583033A2 (en) | Digital cameras with luminance correction | |
US20210006760A1 (en) | Meta-learning for camera adaptive color constancy | |
JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US10417772B2 (en) | Process to isolate object of interest in image | |
AU2017443986B2 (en) | Color adaptation using adversarial training networks | |
JP5740147B2 (ja) | 光源推定装置及び光源推定方法 | |
US20230059499A1 (en) | Image processing system, image processing method, and non-transitory computer readable medium | |
Banić et al. | Using the red chromaticity for illumination estimation | |
CN113297977A (zh) | 活体检测方法、装置及电子设备 | |
CN113132693B (zh) | 一种色彩校正方法 | |
Sari et al. | Color correction using improved linear regression algorithm | |
WO2024079532A1 (en) | Temporally consistent neural network processing system | |
CN118018863A (zh) | 对图像进行白平衡的方法及装置、计算机系统及存储介质 | |
CN111064860A (zh) | 图像校正方法、图像校正装置和电子设备 | |
JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
CN112422841A (zh) | 图像补偿方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |