CN113259634A - 光源信息预测模型建立方法与系统 - Google Patents

Abstract

本发明提出一种光源信息预测模型建立方法与光源信息预测模型建立系统。朝目标物获取多张训练图像，其中一白色对象贴附于目标物上。依据各训练图像中白色对象的色彩，获取训练图像的真实光源信息。依据训练图像以及真实光源信息训练神经网络模型，并于训练过程依据神经网络模型产生多个预测光源信息。其中，用以训练神经网络模型的学习率基于预测光源信息而适应性调整。

Description

光源信息预测模型建立方法与系统

技术领域

本发明涉及一种白平衡处理技术，尤其涉及一种光源信息预测模型建立方法与系统。

背景技术

随着科技的发展，各式各样的智能图像捕获设备，举凡平板电脑、个人数字化助理、及智能手机等，已成为现代人不可或缺的工具。其中，高阶款的智能图像捕获设备所搭载的相机镜头已经与传统消费型相机不相上下，甚至可以取而代之，少数高阶款更具有接近数字单眼的像素和画质或者是提供更为进阶的功能和效果。

拍摄者可能使用图像捕获设备在不同的地点或时间进行拍摄，因而图像捕获设备将于不同的光源环境下拍摄图像。拍摄环境里的光源将直接影响获取图像中被拍摄目标的呈现颜色。于一应用情境中，伤者可能对伤口或患部拍摄图像并将拍摄图像提供给医疗单位进行诊断，倘若图像中的色彩信息反应于拍摄环境的光源而发生失真，则将可能无法依据拍摄图像进行正确诊断。白平衡处理的基本步骤就是先估计光源信息，再使用估测的光源信息进行图像校正使得图像如同被标准光源照射一般。因此，如何准确地估测出光源信息实乃本领域技术人员所努力的方向之一。

发明内容

有鉴于此，本发明提出一种光源信息预测模型建立方法与光源信息预测模型建立系统，其可有效率地建立出准确的光源信息预测模型，从而可依据此光源信息预测模型进行效果良好的图像白平衡调整。

本发明提供一种光源信息预测模型建立方法。所述方法包括下列步骤。朝目标物获取多张训练图像，其中一白色对象贴附于目标物上。依据各训练图像中白色对象的色彩，获取训练图像的真实光源信息。依据训练图像以及真实光源信息训练神经网络模型，并于训练过程依据神经网络模型产生多个预测光源信息。其中，用以训练神经网络模型的学习率(learning rate)基于预测光源信息而适应性调整。

本发明提供一种光源信息预测模型建立系统，其包括图像传感器、存储装置以及处理器。存储装置存储有多个模块。图像传感器朝目标物获取多张训练图像，其中一白色对象贴附于目标物上。处理器耦接存储装置与图像传感器，经配置而执行所述模块以执行下列步骤。依据各训练图像中白色对象的色彩，获取训练图像的真实光源信息。依据训练图像以及真实光源信息训练神经网络模型，并于训练过程依据神经网络模型产生多个预测光源信息。其中，用以训练神经网络模型的学习率(learning rate)基于预测光源信息而适应性调整。

基于上述，于本发明的实施例中，通过将白色对象贴附于目标物上，可直接依据训练图像中白色对象的色彩获取真实光源信息，以利神经网络模型的训练。此外，于本发明的实施例中，于神经网络模型的训练过程中，用以训练神经网络模型的学习率会基于预测光源信息而适应性调整，以提升训练效率与提升神经网络模型预测环境光源的准确度。

为让本发明的上述特征和优点能更明显易懂，下文特举具体实施方式，并配合附图作详细说明如下。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1是根据本发明一实施例的光源信息预测模型建立系统的方块图；

图2是依照本发明一实施例的光源信息预测模型建立方法的流程图；

图3是依照本发明一实施例的获取训练图像的示意图；

图4是依照本发明一实施例的光源信息预测模型建立方法的示意图；

图5是依照本发明一实施例的调整学习率的流程图。

附图标号说明

100：光源信息预测模型建立系统

110：图像传感器

120：电子装置

122：存储装置

124：处理器

31：伤口

32：白色贴纸

Img1：第一训练图像

Img2：第二训练图像

Img3：第三训练图像

M1：神经网络模型

W1、W2、W3：权重信息

L1：输入层

L2：隐藏层

L3：输出层

T1、T2、T3：时间

Img_wb1：第一调整图像

Img_wb2：第二调整图像

Img_wb3：第三调整图像

41：白平衡校正程序

S201～S203、S501～S507：步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1是根据本发明一实施例所示出的光源信息预测模型建立系统的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍光源信息预测模型建立系统的所有构件以及配置关系，详细功能将配合图2一并揭露。

请参照图1，光源信息预测模型建立系统100包括图像传感器110以及电子装置120，其中电子装置120包括存储装置122以及处理器124。在本实施例中，电子装置120可以是个人计算机、笔记本电脑、平板电脑等具有运算功能的电子装置，并且经由通讯接口(未示出)以有线或无线的方式接收图像传感器110所拍摄到的图像。

图像传感器110可设置于数字相机、单眼相机、数字摄影机、智能手机、平板电脑等等。在本实施例中，图像传感器110为包括透镜以及感光组件的摄像镜头。感光组件用以感测进入透镜的光线强度，进而产生图像。感光组件可以例如是电荷耦合组件(chargecoupled device，CCD)、互补性氧化金属半导体(complementary metal-oxidesemiconductor，CMOS)组件或其他组件。镜头所获取到的图像将成像于感测组件并且转换成数字信号，以输出至处理器124。

存储装置122用以存储图像、程序代码等数据，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘或其他类似装置、集成电路及其组合。

处理器124用以控制图像处理系统100的构件之间的作动，其可以例如是中央处理单元(central processing unit，CPU)、图形处理单元(graphic processing unit，GPU)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、图像信号处理器(image signal processor，ISP)、可程序化控制器、特殊应用集成电路(application specific integrated circuits，ASIC)、可程序化逻辑设备(programmable logic device，PLD)或其他类似装置或这些装置的组合。

以下即列举实施例说明针对光源信息预测模型建立系统100调整白平衡的方法的详细步骤。图2为根据本发明一实施例所示出的光源信息预测模型建立方法的流程图。本实施例的方法适用于图1中的光源信息预测模型建立系统100，以下即搭配光源信息预测模型建立系统100中的各项组件说明本实施例方法的详细流程。

请同时参照图1以及图2，首先，于步骤S201，图像传感器110朝目标物获取多张训练图像。值得一提的是，白色对象贴附于此目标物上，而上述白色对象例如是白色贴纸或其他类型的对象，本发明对此不限制。目标物例如是伤口或其他对象。举例而言，图3是依照本发明一实施例的获取训练图像的示意图。请参照图3，假设拍摄目标物为一伤口31，则操作者可于伤口31附近贴上白色贴纸32。接着，图像传感器110可朝伤口31与白色贴纸32获取多张训练图像。于一实施例中，这些训练图像可以是同一拍摄场景中对应于不同拍摄时间点的连拍图像。当操作者需要多次按压快门来拍摄这些训练图像时，白色贴纸更可用来作为定位点，使得操作者可在每次拍摄时大致固定拍摄位置。

于步骤S202，处理器124依据各训练图像中白色对象的色彩，获取训练图像的真实光源信息。具体而言，于一实施例中，处理器124可依据各式图像对象检测技术自训练图像中辨识出白色对象，并依据此白色对象于训练图像中所呈现的色彩而拍摄当下的真实光源信息。详细而言，白色对象于训练图像中所呈现的色彩取决于拍摄当下的真实光源信息而呈现出非白色色彩，而此非白色色彩可用以估测出拍摄当下的真实光源信息。于一实施例中，真实光源信息可包括对应至RGB通道的RGB成分比例(例如，RGB三色光的光强度比例)。表1为依据三张训练图像获取三组真实光源信息的范例，但本发明对于训练图像的张数并不加以限制。第一训练图像的真实光源信息可为对应至RGB通道的(R1’,G1’,B1’)，依此类推。

表1

拍摄时间	训练图像	真实光源信息
			T1	第一训练图像	(R1’,G1’,B1’)
T2	第二训练图像	(R2’,G2’,B2’)
			T3	第三训练图像	(R3’,G3’,B3’)

于步骤S203，处理器124可依据训练图像以及真实光源信息训练神经网络模型，并于训练过程依据神经网络模型产生多个预测光源信息。此神经网络模型例如是递归神经网络(Recurrent Neural Networks，RNN)模型。详细而言，处理器124将依据作为训练数据集的这些训练图像与其对应的真实光源信息进行机器学习而建构出一个神经网络模型。于训练神经网络模型时，处理器124可依据每次的预测结果(即预测光源信息)与真实结果(即真实光源信息)来训练神经网络模型中各神经网络层的权重信息。

需注意的是，用以训练神经网络模型的学习率(learning rate)将基于预测光源信息而适应性调整。于训练过程中，处理器124可依据训练图像以及训练中的神经网络模型产生对应的预测光源信息，并依据预测光源信息与真实光源信息进行学习而决定如何调整各神经网络层的权重信息。于此，用以训练神经网络模型的学习率即每次调整权重信息的调整幅度。学习率掌握神经网络模型的学习进度，如何调整学习率是训练出好模型的关键要素。于本发明的实施例中，学习率将依据预测出来的预测光源信息而适应性调整。换言之，于神经网络模型的训练过程中，学习率是动态变化的，并非为一固定值。藉此，本发明实施例可更有效率地训练出用以依据图像来预测光源信息的一个神经网络模型。

于一实施例中，在训练完神经网络模型之后，此神经网络模型的模型参数(例如神经网络层数目与各神经网络层的权重等等)可存储于存储装置122中以供实际预测光源信息时使用。基此，处理器124可依据神经网络模型所预测的光源信息来进行图像白平衡校正，像是依据神经网络模型所预测的光源信息进行查表而获取白平衡增益参数等等。藉此，在本实施例中，由于可准确地估测出光源信息，而使得处理器124所产生并且输出后的白平衡图像图像可达到更为精准的白平衡表现。

为了更清楚明了说明，以下将以神经网络模型为递归神经网络(RecurrentNeural Networks，RNN)模型进行说明。于一实施例中，此递归神经网络模型例如是长短期存储模型(Long Short Term Memory，LSTM)模型。图4是依照本发明一实施例的光源信息预测模型建立方法的示意图。请参照图4，图像传感器110可于时间序列上获取多张训练图像，其分别为于时间T1所获取的第一训练图像Img1；于时间T2所获取的第二训练图像Img2；以及于时间T3所获取的第三训练图像Img3。

于此，神经网络模型M1包括输入层L1、隐藏层L2，以及输出层L3。对应于时间序列中的时间T1，输入层L1用于接收第一训练图像Img1。隐藏层L2依据第一训练图像Img1与时间T1的权重信息W1产生输出层L3中的第一预测光源信息(R1,G1,B1)。对应于时间序列中的时间T2，输入层L1用于接收第二训练图像Img2。隐藏层L2依据第二训练图像Img2、时间T1的权重信息W1以及时间T2的权重信息W2产生输出层L3中的第二预测光源信息(R2,G2,B2)。对应于时间序列中的时间T3，输入层L1用于接收第三训练图像Img3。隐藏层L2依据第三训练图像Img3、时间T2的权重信息W2以及时间T3的权重信息W3产生输出层L3中的第三预测光源信息(R3,G3,B3)。也就是说，神经网络模型M1的隐藏层L2依序基于时间序列上的多张训练图像而产生多个预测光源信息。

于一实施例中，处理器124可将预测光源信息其中至少一与真实光源信息输入至损失函数而产生损失值。举例而言，处理器124可依据第一预测光源信息(R1,G1,B1)、第二预测光源信息(R2,G2,B2)第三预测光源信息(R3,G3,B3)与对应的三组真实光源信息，处理器124可基于一损失函数(Loss function)计算出损失值。损失函数例如是平方差或Softmax等等。随后处理器124可依据此损失值，以反向传递的方式，由后往前，来调整神经网络模型M1中的权重信息。

此外，于一实施例中，处理器124可依据预测光源信息分别对这些训练图像进行白平衡处理而获取多张调整图像。请参照图4，依据一白平衡校正程序41，处理器124可依据第一预测光源信息(R1,G1,B1)对第一训练图像Img1进行白平衡处理而获取第一调整图像Img_wb1。依此类推，处理器124可依据第二预测光源信息(R2,G2,B2)对第二训练图像Img2进行白平衡处理而获取第二调整图像Img_wb2。处理器124可依据第三预测光源信息(R3,G3,B3)对第三训练图像Img3进行白平衡处理而获取第三调整图像Img_wb3。于一实施例中，白平衡校正程序41例如是一转换层，即处理器124可利用将训练图像输入至转换层(conversion layer)来进行白平衡处理。

于一实施例中，处理器124可依据调整图像决定用以训练神经网络模型的学习率。请参照图4，处理器124可通过比较这些调整图像的像素值来判断训练中的模型预测结果是否越来越准确，以适应性调整训练神经网络模型M1的学习率。

图5是依照本发明一实施例的调整学习率的流程图。以下将以图5来针对上述流程的一种实施细节加以说明。本实施例的方法将搭配图4实施例一并说明本实施例方法的详细流程。亦即，在产生第一调整图像Img_wb1、第二调整图像Img_wb2以及第一调整图像Img_wb3之后，通过比较第一调整图像Img_wb1、第二调整图像Img_wb2以及第一调整图像Img_wb3，处理器124可决定调升或调降用以更新权重信息的学习率。

于步骤S501，处理器124通过比较第二调整图像Img_wb2中多个像素值与第一调整图像Img_wb1中对应的多个像素值，产生第一调整图像Img_wb1与第二调整图像Img_wb1之间的第一差距参数Δd1。详细而言，于一实施例中，处理器124将第二调整图像Img_wb2中各像素的像素值(即RGB通道像素值)对应减去第一调整图像Img_wb1中对应像素的像素值(即RGB通道像素值)，以获取对应于各像素位置的像素差(即R通道像素差、G通道像素差、B通道像素差)。接着，对这些像素差取绝对值后，处理器124先将各像素位置上的对应至RGB通道的像素绝对差值取平均而获取对应至各像素位置的像素差统计值。最后，处理器124再对各像素位置的像素差统计值进行平均运算就可获取第一调整图像Img_wb1与第二调整图像Img_wb1之间的第一差距参数Δd1。

基于与步骤S501相似的计算方式，于步骤S502，处理器124通过比较第三调整图像Img_wb3中多个像素值与第二调整图像Img_wb2中对应的多个像素值，产生第二调整图像Img_wb2与第三调整图像Img_wb3之间的第二差距参数Δd2。接着，处理器124将依据第一差距参数Δd1与第二差距参数Δd2调升或调降学习率。于本实施例中，处理器124通过比较第一差距参数Δd1与第二差距参数Δd2，而依据损失值调升或调降学习率。

于是，于步骤S503，处理器124判断损失值上升或降低。详细而言，处理器124可在利用第一训练图像Img1、第二训练图像Img2以及第三训练图像Img3进行模型训练时获取对应的当前损失值，处理器124将比对此当前损失值与前一次依据另外三张训练图像进行训练所产生的先前损失值而得知损失值上升或降低。由此可知，除了真实光源信息与预测光源信息之间损失值之外，本发明实施例更依据白平衡校正后的调整图像之间的差异来调整用以训练神经网络模型的学习率。具体而言，当第二差距参数Δd2大于第一差距参数Δd1，代表预测光源信息并不准确，因而可一并用以作为调整学习率的参考因素。

于步骤S504，当损失值降低且第二差距参数Δd2大于第一差距参数Δd1，处理器124依据第一增加参数调升学习率。于一实施例中，处理器124可依据一第一倍数来调升学习率。例如，假设第一倍数为2，则处理器124可将学习率自0.005乘以2而调升为0.01。于一实施例中，处理器124可依据一第一递增数来调升学习率。例如，假设第一递增数为0.003，则处理器124可将学习率自0.005加上0.003而调升为0.008。于步骤S505，当损失值降低且第二差距参数Δd2小于第一差距参数Δd1，处理器124依据第一减少参数调降学习率。于一实施例中，处理器124可依据一第一除数来调降学习率。例如，假设第一除数为2，则处理器124可将学习率自0.005除以2而调降为0.0025。于一实施例中，处理器124可依据一第一递减数来调升学习率。例如，假设第一递减数为0.003，则处理器124可将学习率自0.005减掉0.003而调升为0.002。

于步骤S506，当损失值上升且第二差距参数Δd2大于第一差距参数Δd1，处理器124依据第二增加参数调升学习率。于步骤S507，当损失值上升且第二差距参数Δd2小于第一差距参数Δd1，处理器124依据第二减少参数调降学习率。其中，处理器124系以相同的算法而依据第一增加参数与第二增加参数来调升学习率，但第一增加参数相异于第二增加参数。处理器124系以相同的算法而依据第一减少参数与第二减少参数来调降学习率，但第一减少参数相异于第二减少参数。值得一提的是，于一实施例中，第一增加参数大于第二增加参数，且第一减少参数大于第二减少参数。换言之，在损失值降低的情况中，处理器124将以较大幅度调整学习率。在损失值上升的情况中，处理器124将以较小幅度调整学习率。藉此，不仅可加快神经网络模型的学习效率，也避免于训练过程中发生神经网络模型无法收敛的现象。

综上所述，于本发明的实施例中，通过将白色对象贴附于目标物上，可直接依据训练图像中白色对象的色彩获取真实光源信息，以利神经网络模型的训练。此外，于本发明的实施例中，于神经网络模型的训练过程中，用以训练神经网络模型的学习率会基于预测光源信息而适应性调整，以提升训练效率与提升神经网络模型预测环境光源的准确度。藉此，本发明实施例可基于准确的光源信息来执行更精准的图像白平衡校正。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种光源信息预测模型建立方法，其特征在于，所述方法包括：

朝目标物获取多张训练图像，其中白色对象贴附于所述目标物上；

依据各所述多个训练图像中所述白色对象的色彩，获取所述多个训练图像的真实光源信息：以及

依据所述多个训练图像以及所述真实光源信息训练神经网络模型，且于训练过程依据所述神经网络模型产生多个预测光源信息，

其中，用以训练所述神经网络模型的学习率基于所述多个预测光源信息而适应性调整。

2.根据权利要求1所述的光源信息预测模型建立方法，其中依据所述多个训练图像以及所述真实光源信息训练所述神经网络模型，并于训练过程依据所述神经网络模型产生所述多个预测光源信息的步骤还包括：

依据所述多个预测光源信息分别对所述多个训练图像进行白平衡处理而获取多张调整图像：以及

依据所述多个调整图像决定用以训练所述神经网络模型的所述学习率。

3.根据权利要求2所述的光源信息预测模型建立方法，其中所述多个调整图像包括第一调整图像、第二调整图像以及第三调整图像，而依据所述多个调整图像决定用以训练所述神经网络模型的所述学习率的步骤包括：

通过比较所述第二调整图像中多个像素值与所述第一调整图像中对应的多个像素值，产生所述第一调整图像与所述第二调整图像之间的第一差距参数；

通过比较所述第三调整图像中多个像素值与所述第二调整图像中对应的所述多个像素值，产生所述第二调整图像与所述第三调整图像之间的第二差距参数；以及

依据所述第一差距参数与所述第二差距参数调升或调降所述学习率。

4.根据权利要求3所述的光源信息预测模型建立方法，其中依据所述多个训练图像以及所述真实光源信息训练所述神经网络模型，并于训练过程依据所述神经网络模型产生所述多个预测光源信息的步骤还包括：

将所述多个预测光源信息与对应的所述真实光源信息输入至损失函数而产生损失值，

其中依据所述第一差距参数与所述第二差距参数调升或调降所述学习率的步骤包括：

通过比较所述第一差距参数与所述第二差距参数，而依据所述损失值调升或调降所述学习率。

5.根据权利要求4所述的光源信息预测模型建立方法，其中通过比较所述第一差距参数与所述第二差距参数，而依据所述损失值调升或调降所述学习率的步骤包括：

当所述损失值下降且所述第二差距参数大于所述第一差距参数，依据第一增加参数调升所述学习率；以及

当所述损失值下降且所述第二差距参数小于所述第一差距参数，依据第一减少参数调降所述学习率。

6.根据权利要求5所述的光源信息预测模型建立方法，其中通过比较所述第一差距参数与所述第二差距参数，而依据所述损失值调升或调降所述学习率的步骤还包括：

当所述损失值上升且所述第二差距参数大于所述第一差距参数，依据一第二增加参数调升所述学习率；以及

当所述损失值上升且所述第二差距参数小于所述第一差距参数，依据一第二减少参数调降所述学习率。

7.根据权利要求6所述的光源信息预测模型建立方法，其中所述第一增加参数大于所述第二增加参数，且所述第一减少参数大于所述第二减少参数。

8.根据权利要求3所述的光源信息预测模型建立方法，其中所述神经网络模型的隐藏层依序基于时间序列上的所述多个训练图像而产生所述多个预测光源信息。

9.根据权利要求1所述的光源信息预测模型建立方法，其中所述神经网络模型为递归神经网络模型。

10.一种光源信息预测模型建立系统，其特征在于，包括：

图像传感器，朝目标物获取多张训练图像，其中白色对象贴附于所述目标物上；

存储装置，存储有多个模块；以及

处理器，耦接所述存储装置，经配置而执行所述多个模块以：

依据各所述多个训练图像中所述白色对象的色彩，获取所述多个训练图像的真实光源信息：以及

依据所述多个训练图像以及所述真实光源信息训练神经网络模型，且于训练过程依据所述神经网络模型产生多个预测光源信息，

其中，用以训练所述神经网络模型的学习率基于所述多个预测光源信息而适应性调整。

Images