CN111818318B - 图像处理器的白平衡调谐方法、装置、设备及存储介质 - Google Patents
图像处理器的白平衡调谐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111818318B CN111818318B CN202010534123.9A CN202010534123A CN111818318B CN 111818318 B CN111818318 B CN 111818318B CN 202010534123 A CN202010534123 A CN 202010534123A CN 111818318 B CN111818318 B CN 111818318B
- Authority
- CN
- China
- Prior art keywords
- white balance
- raw image
- neural network
- convolutional neural
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明实施例提供了一种图像处理器的白平衡调谐方法、装置、设备及存储介质。该图像处理器的白平衡调谐方法,包括:将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值;将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值;基于第一白平衡预测值和第二白平衡预测值,确定损失函数值;基于损失函数值,修正预设的深度强化学习网络;将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。根据本发明实施例,能够高效率地提高白平衡调谐的精度。
Description
技术领域
本发明属于白平衡调谐技术领域,尤其涉及一种图像处理器的白平衡调谐方法、装置、设备及计算机存储介质。
背景技术
白平衡是描述成像中红绿蓝混合色中,白色(灰色)精确度的指标。根据不同SOC芯片内的图像处理器(Image Signal Processor,ISP)不同,会有不同的白平衡处理方法,其中每种方法又会有不同的参数需要调谐,并且由于不同摄像头所用的光学模组与传感器不同,最优参数也不尽相同。调谐这些参数使得针对不同场景的白平衡误差最小即是白平衡调谐的工作。
传统的白平衡调谐方法,是利用人工依据经验花费大量时间去对不同ISP内白平衡处理方法的参数进行调谐,不仅花费了大量的时间和人工成本,而且白平衡调谐的精度较差。
因此,如何高效率地提高白平衡调谐的精度是本领域技术人员亟需解决的技术问题。
发明内容
本发明实施例提供一种图像处理器的白平衡调谐方法、装置、设备及计算机存储介质,能够高效率地提高白平衡调谐的精度。
第一方面,本发明实施例提供一种图像处理器的白平衡调谐方法,包括:
将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值;
将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值;其中,白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的;
基于第一白平衡预测值和第二白平衡预测值,确定损失函数值;
基于损失函数值,修正预设的深度强化学习网络;
将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。
可选的,训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和样本RAW图像的标准白平衡值;在将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值之前,方法还包括:
针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值;
基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件;
若不满足,则调整白平衡校正卷积神经网络的模型参数,并利用训练样本集训练调整后的白平衡校正卷积神经网络,直至满足预设训练停止条件,得到白平衡校正卷积神经网络模型。
可选的,基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件,包括:
基于第三白平衡预测值和标准白平衡值,得到白平衡校正卷积神经网络的距离度量函数值;
判断距离度量函数值是否满足预设训练停止条件。
可选的,在针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值之前,方法还包括:
基于迁移学习,将历史白平衡校正卷积神经网络模型的模型参数,确定为白平衡校正卷积神经网络的初始模型参数。
可选的,在将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值之前,方法还包括:
获取历史RAW图像数据集;
从历史RAW图像数据集中获取RAW图像。
可选的,在基于损失函数值,修正预设的深度强化学习网络之前,方法还包括:
基于价值Q学习算法或者基于策略的A3C算法进行建模,得到深度强化学习网络。
第二方面,本发明实施例提供一种图像处理器的白平衡调谐装置,包括:
第一输出模块,用于将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值;
第二输出模块,用于将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值;其中,白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的;
确定模块,用于基于第一白平衡预测值和第二白平衡预测值,确定损失函数值;
修正模块,用于基于损失函数值,修正预设的深度强化学习网络;
第三输出模块,用于将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。
可选的,训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和样本RAW图像的标准白平衡值;装置还包括:
模型训练模块,用于在将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值之前,针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值;基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件;若不满足,则调整白平衡校正卷积神经网络的模型参数,并利用训练样本集训练调整后的白平衡校正卷积神经网络,直至满足预设训练停止条件,得到白平衡校正卷积神经网络模型。
可选的,模型训练模块,用于基于第三白平衡预测值和标准白平衡值,得到白平衡校正卷积神经网络的距离度量函数值;判断距离度量函数值是否满足预设训练停止条件。
可选的,模型训练模块,还用于基于迁移学习,将历史白平衡校正卷积神经网络模型的模型参数,确定为白平衡校正卷积神经网络的初始模型参数。
可选的,第一输出模块,还用于获取历史RAW图像数据集;从历史RAW图像数据集中获取RAW图像。
可选的,修正模块,还用于基于价值Q学习算法或者基于策略的A3C算法进行建模,得到深度强化学习网络。
第三方面,本发明实施例提供了一种电子设备,电子设备包括:
处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现第一方面或者第一方面任一可选的实现方式中的图像处理器的白平衡调谐方法。
第四方面,本发明实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面或者第一方面任一可选的实现方式中的图像处理器的白平衡调谐方法。
本发明实施例的图像处理器的白平衡调谐方法、装置、设备及计算机存储介质,能够高效率地提高白平衡调谐的精度。该图像处理器的白平衡调谐方法,针对同一个RAW图像,利用待白平衡调谐的图像处理器和白平衡校正卷积神经网络模型,分别输出第一白平衡预测值和第二白平衡预测值,并基于两者确定损失函数值以修正深度强化学习网络;再将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将该目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。基于深度强化学习网络的目标参数反馈机制,相比于传统的白平衡调谐方法,能够高效率地提高白平衡调谐的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理器的白平衡调谐方法的流程示意图;
图2是本发明实施例提供的另一种图像处理器的白平衡调谐方法的流程示意图;
图3是本发明实施例提供的一种图像处理器的白平衡调谐装置的结构示意图;
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
基于背景技术内容可知,传统的白平衡调谐方法,是利用人工依据经验花费大量时间去对不同ISP内白平衡处理方法的参数进行调谐,不仅花费了大量的时间和人工成本,而且白平衡调谐的精度较差。
为了解决现有技术问题,本发明实施例提供了一种图像处理器的白平衡调谐方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的图像处理器的白平衡调谐方法进行介绍。
图1示出了本发明实施例提供的一种图像处理器的白平衡调谐方法的流程示意图。如图1所示,该图像处理器的白平衡调谐方法可以包括以下步骤:
S101、将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值。
S102、将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值;其中,白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的。
S103、基于第一白平衡预测值和第二白平衡预测值,确定损失函数值。
S104、基于损失函数值,修正预设的深度强化学习网络。
S105、将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。
该图像处理器的白平衡调谐方法,针对同一个RAW图像,利用待白平衡调谐的图像处理器和白平衡校正卷积神经网络模型,分别输出第一白平衡预测值和第二白平衡预测值,并基于两者确定损失函数值以修正深度强化学习网络;再将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将该目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。基于深度强化学习网络的目标参数反馈机制,相比于传统的白平衡调谐方法,能够高效率地提高白平衡调谐的精度。
为了得到精度更高的白平衡校正卷积神经网络模型,在一个实施例中,训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和样本RAW图像的标准白平衡值;在将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值之前,方法还包括:
针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值;
基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件;
若不满足,则调整白平衡校正卷积神经网络的模型参数,并利用训练样本集训练调整后的白平衡校正卷积神经网络,直至满足预设训练停止条件,得到白平衡校正卷积神经网络模型。
为了得到精度更高的白平衡校正卷积神经网络模型,在一个实施例中,基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件,包括:
基于第三白平衡预测值和标准白平衡值,得到白平衡校正卷积神经网络的距离度量函数值;
判断距离度量函数值是否满足预设训练停止条件。
为了极大简化训练过程,在一个实施例中,在针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值之前,方法还包括:
基于迁移学习,将历史白平衡校正卷积神经网络模型的模型参数,确定为白平衡校正卷积神经网络的初始模型参数。
在一个实施例中,在将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值之前,方法还包括:
获取历史RAW图像数据集;
从历史RAW图像数据集中获取RAW图像。
为了得到精度更高的深度强化学习网络,在一个实施例中,在基于损失函数值,修正预设的深度强化学习网络之前,方法还包括:
基于价值Q学习算法或者基于策略的A3C算法进行建模,得到深度强化学习网络。
下面以一个具体实施例对上述内容进行说明,具体如下:
整体技术方案由两部分构成:一是利用卷积神经网络对RAW图的白平衡纠正进行建模,二是利用强化学习对ISP内白平衡方法的参数进行拟合。在两个流程中,都可以利用迁移学习或历史数据(即使这些数据不属于同一个摄像头)减少所需的样本。方法的概略图如图2所示:
基于迁移学习,利用历史白平衡校正卷积网络对白平衡校正卷积网络进行初始化,并利用带色卡的RAW图像训练该白平衡校正卷积网络,得到训练好的白平衡校正卷积网络模型;对于普通的RAW图像,将其输入ISP(相当于一个黑盒)中,基于ISP的白平衡方法,输出第一白平衡预测值;将该普通的RAW图像也输入训练好的白平衡校正卷积网络模型中,输出白平衡校正值,也即第二白平衡预测值;基于该第一白平衡预测值、第二白平衡预测值,对深度强化学习网络进行修正;将该普通的RAW图像输入修正后的深度强化学习网络,输出ISP需调谐的目标参数,并将目标参数反馈至ISP,以使ISP依据目标参数进行调谐。其中,带色卡的RAW图像和普通的RAW图像均可以为历史RAW图像。
基于该图2,下面对白平衡校正卷积神经网络和深度强化学习网络分别进行说明。
一、白平衡校正卷积神经网络:
假定已有收集到的带色卡的RAW图像xi,i∈{1,...,N},由色卡可以得知标准白平衡为yi,i∈{1,...,N}。这里,假定要学习的卷积神经网络为F(x),那么学习目标即为min∑il(F(xi),yi)
其中,l为符合定义的距离度量函数,可用的选项包括L2距离、L1距离、cos距离等;从实验结果来看,cos距离在所有度量方式中表现效果最好。除此之外,虽然训练数据是来自不同的摄像头拍摄的数据,但白平衡校正具有很强的可迁移性,也就是说利用历史训练的网络进行初始化,可以极大简化训练过程,降低训练样本需求量。同时,对于未标注的RAW图像以及历史RAW图像,使用半监督的方式也可以很好的提升训练效果。
二、深度强化学习网络:
在有了第一阶段的白平衡校正神经网络后,就可以利用该网络对所有的RAW图像(不论有无色卡)进行预测,这样就有了大量的RAW图像的预测值,这是生成用于训练强化网络反馈的重要数据。
在强化学习中,通过与环境交互获取反馈来修正网络参数,间接学习目标。由于不同厂商的ISP中所用白平衡方法不尽相同,也很难得知内部的细节,可以把整个ISP的白平衡模块当场黑盒来处理,也就是我们需要交互的“环境”。同时,在拿到输出的结果后,通过和第一阶段中卷积神经网络输出结果对比,即可得到反馈值,即最小化输出结果与目标白平衡值的修正梯度方向,并由此来修正强化学习网络。
在建模强化学习网络中,与卷积神经网络一样,把摄像头直接输出的RAW图像作为输入,输出则为所有ISP内白平衡方法需要调谐的参数。经测试,常见的基于价值Q学习方法或者基于策略的A3C方法都能很好的对本问题进行建模。
同时,发明人也在实验中发现,对于不同摄像头输出的图像,在训练中也会有很好的辅助作用;这样的话,历史数据的积累对于新模型的训练也十分重要。实验表明该方案具有较强的可行性,可大幅降低需求的数据量;同时,由于使用强化学习来调整参数,不仅提升了效率,还节省了人工成本。
如图3所示,本申请还提供一种图像处理器的白平衡调谐装置,其特征在于,包括:
第一输出模块301,用于将RAW图像输入待白平衡调谐的图像处理器,输出RAW图像对应的第一白平衡预测值;
第二输出模块302,用于将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值;其中,白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的;
确定模块303,用于基于第一白平衡预测值和第二白平衡预测值,确定损失函数值;
修正模块304,用于基于损失函数值,修正预设的深度强化学习网络;
第三输出模块305,用于将RAW图像输入修正后的深度强化学习网络,输出图像处理器需调谐的目标参数,并将目标参数反馈至图像处理器,以使图像处理器依据目标参数进行调谐,直至损失函数值达到损失函数阈值。
可选的,在一个实施例中,训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和样本RAW图像的标准白平衡值;装置还包括:模型训练模块,用于在将RAW图像输入预设的白平衡校正卷积神经网络模型,输出RAW图像对应的第二白平衡预测值之前,针对每个训练样本,将样本RAW图像和标准白平衡值输入白平衡校正卷积神经网络,得到样本RAW图像对应的第三白平衡预测值;基于第三白平衡预测值和标准白平衡值,判断白平衡校正卷积神经网络是否满足预设训练停止条件;若不满足,则调整白平衡校正卷积神经网络的模型参数,并利用训练样本集训练调整后的白平衡校正卷积神经网络,直至满足预设训练停止条件,得到白平衡校正卷积神经网络模型。
可选的,在一个实施例中,模型训练模块,用于基于第三白平衡预测值和标准白平衡值,得到白平衡校正卷积神经网络的距离度量函数值;判断距离度量函数值是否满足预设训练停止条件。
可选的,在一个实施例中,模型训练模块,还用于基于迁移学习,将历史白平衡校正卷积神经网络模型的模型参数,确定为白平衡校正卷积神经网络的初始模型参数。
可选的,在一个实施例中,第一输出模块301,还用于获取历史RAW图像数据集;从历史RAW图像数据集中获取RAW图像。
可选的,在一个实施例中,修正模块304,还用于基于价值Q学习算法或者基于策略的A3C算法进行建模,得到深度强化学习网络。
图3所示装置中的各个模块具有实现图1中各个步骤的功能,并能达到其相应的技术效果,为简洁描述,在此不再赘述。
图4示出了本发明实施例提供的一种电子设备的结构示意图。
电子设备可以包括处理器401以及存储有计算机程序指令的存储器402。
具体地,上述处理器401可以包括中央处理器(Central Processing Unit,CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器402可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在一个实例中,存储器402可以包括可移除或不可移除(或固定)的介质,或者存储器402是非易失性固态存储器。存储器402可在电子设备的内部或外部。
在一个实例中,存储器402可以是只读存储器(Read Only Memory,ROM)。在一个实例中,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令,以实现图1所示实施例中的方法,并达到图1所示实例执行其方法达到的相应技术效果,为简洁描述在此不再赘述。
在一个示例中,电子设备还可包括通信接口403和总线410。其中,如图4所示,处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,EISA)总线、前端总线(Front Side Bus,FSB)、超传输(Hyper Transport,HT)互连、工业标准架构(IndustryStandard Architecture,ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现图1所示的图像处理器的白平衡调谐方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency,RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种图像处理器的白平衡调谐方法,其特征在于,包括:
将RAW图像输入待白平衡调谐的图像处理器,输出所述RAW图像对应的第一白平衡预测值;
将所述RAW图像输入预设的白平衡校正卷积神经网络模型,输出所述RAW图像对应的第二白平衡预测值;其中,所述白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的;
基于所述第一白平衡预测值和所述第二白平衡预测值,确定损失函数值;
基于所述损失函数值,修正预设的深度强化学习网络;
将所述RAW图像输入修正后的深度强化学习网络,输出所述图像处理器需调谐的目标参数,并将所述目标参数反馈至所述图像处理器,以使所述图像处理器依据所述目标参数进行调谐,直至所述损失函数值达到损失函数阈值;
所述训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和所述样本RAW图像的标准白平衡值。
2.根据权利要求1所述的图像处理器的白平衡调谐方法,其特征在于,在所述将所述RAW图像输入预设的白平衡校正卷积神经网络模型,输出所述RAW图像对应的第二白平衡预测值之前,所述方法还包括:
针对每个所述训练样本,将所述样本RAW图像和所述标准白平衡值输入所述白平衡校正卷积神经网络,得到所述样本RAW图像对应的第三白平衡预测值;
基于所述第三白平衡预测值和所述标准白平衡值,判断所述白平衡校正卷积神经网络是否满足预设训练停止条件;
若不满足,则调整所述白平衡校正卷积神经网络的模型参数,并利用所述训练样本集训练调整后的白平衡校正卷积神经网络,直至满足所述预设训练停止条件,得到所述白平衡校正卷积神经网络模型。
3.根据权利要求2所述的图像处理器的白平衡调谐方法,其特征在于,所述基于所述第三白平衡预测值和所述标准白平衡值,判断所述白平衡校正卷积神经网络是否满足预设训练停止条件,包括:
基于所述第三白平衡预测值和所述标准白平衡值,得到所述白平衡校正卷积神经网络的距离度量函数值;
判断所述距离度量函数值是否满足所述预设训练停止条件。
4.根据权利要求2所述的图像处理器的白平衡调谐方法,其特征在于,在所述针对每个所述训练样本,将所述样本RAW图像和所述标准白平衡值输入所述白平衡校正卷积神经网络,得到所述样本RAW图像对应的第三白平衡预测值之前,所述方法还包括:
基于迁移学习,将历史白平衡校正卷积神经网络模型的模型参数,确定为所述白平衡校正卷积神经网络的初始模型参数。
5.根据权利要求1所述的图像处理器的白平衡调谐方法,其特征在于,在所述将RAW图像输入待白平衡调谐的图像处理器,输出所述RAW图像对应的第一白平衡预测值之前,所述方法还包括:
获取历史RAW图像数据集;
从所述历史RAW图像数据集中获取所述RAW图像。
6.根据权利要求1所述的图像处理器的白平衡调谐方法,其特征在于,在所述基于所述损失函数值,修正预设的深度强化学习网络之前,所述方法还包括:
基于价值Q学习算法或者基于策略的A3C算法进行建模,得到所述深度强化学习网络。
7.一种图像处理器的白平衡调谐装置,其特征在于,包括:
第一输出模块,用于将RAW图像输入待白平衡调谐的图像处理器,输出所述RAW图像对应的第一白平衡预测值;
第二输出模块,用于将所述RAW图像输入预设的白平衡校正卷积神经网络模型,输出所述RAW图像对应的第二白平衡预测值;其中,所述白平衡校正卷积神经网络模型是利用训练样本集对白平衡校正卷积神经网络进行模型训练得到的;
确定模块,用于基于所述第一白平衡预测值和所述第二白平衡预测值,确定损失函数值;
修正模块,用于基于所述损失函数值,修正预设的深度强化学习网络;
第三输出模块,用于将所述RAW图像输入修正后的深度强化学习网络,输出所述图像处理器需调谐的目标参数,并将所述目标参数反馈至所述图像处理器,以使所述图像处理器依据所述目标参数进行调谐,直至所述损失函数值达到损失函数阈值;
所述训练样本集包括多个训练样本,每个训练样本包括样本RAW图像和所述样本RAW图像的标准白平衡值。
8.根据权利要求7所述的图像处理器的白平衡调谐装置,其特征在于,所述装置还包括:
模型训练模块,用于在所述将所述RAW图像输入预设的白平衡校正卷积神经网络模型,输出所述RAW图像对应的第二白平衡预测值之前,针对每个所述训练样本,将所述样本RAW图像和所述标准白平衡值输入所述白平衡校正卷积神经网络,得到所述样本RAW图像对应的第三白平衡预测值;基于所述第三白平衡预测值和所述标准白平衡值,判断所述白平衡校正卷积神经网络是否满足预设训练停止条件;若不满足,则调整所述白平衡校正卷积神经网络的模型参数,并利用所述训练样本集训练调整后的白平衡校正卷积神经网络,直至满足所述预设训练停止条件,得到所述白平衡校正卷积神经网络模型。
9.一种电子设备,其特征在于,所述电子设备包括:处理器,以及存储有计算机程序指令的存储器;
所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-6任意一项所述的图像处理器的白平衡调谐方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的图像处理器的白平衡调谐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010534123.9A CN111818318B (zh) | 2020-06-12 | 2020-06-12 | 图像处理器的白平衡调谐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010534123.9A CN111818318B (zh) | 2020-06-12 | 2020-06-12 | 图像处理器的白平衡调谐方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111818318A CN111818318A (zh) | 2020-10-23 |
CN111818318B true CN111818318B (zh) | 2022-01-11 |
Family
ID=72844974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010534123.9A Active CN111818318B (zh) | 2020-06-12 | 2020-06-12 | 图像处理器的白平衡调谐方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111818318B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052772A (zh) * | 2021-03-23 | 2021-06-29 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113112428A (zh) * | 2021-04-16 | 2021-07-13 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
CN115514948B (zh) * | 2021-06-07 | 2023-08-08 | 荣耀终端有限公司 | 图像调节方法以及电子设备 |
CN116744125B (zh) * | 2023-08-14 | 2023-10-24 | 北京邮电大学 | 图像颜色数据处理方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100830040B1 (ko) * | 2006-12-01 | 2008-05-15 | 주식회사 대우일렉트로닉스 | 카메라를 포함하는 텔레비젼 및 카메라를 포함하는 텔레비젼의 화이트 밸런스 보정 방법 |
CN110267024A (zh) * | 2019-07-26 | 2019-09-20 | 惠州视维新技术有限公司 | 调整电视白平衡值的方法、装置和计算机可读存储介质 |
CN110612549A (zh) * | 2017-12-15 | 2019-12-24 | 谷歌有限责任公司 | 用于快速图像增强的基于机器学习的技术 |
CN110647930A (zh) * | 2019-09-20 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置及电子设备 |
-
2020
- 2020-06-12 CN CN202010534123.9A patent/CN111818318B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100830040B1 (ko) * | 2006-12-01 | 2008-05-15 | 주식회사 대우일렉트로닉스 | 카메라를 포함하는 텔레비젼 및 카메라를 포함하는 텔레비젼의 화이트 밸런스 보정 방법 |
CN110612549A (zh) * | 2017-12-15 | 2019-12-24 | 谷歌有限责任公司 | 用于快速图像增强的基于机器学习的技术 |
CN110267024A (zh) * | 2019-07-26 | 2019-09-20 | 惠州视维新技术有限公司 | 调整电视白平衡值的方法、装置和计算机可读存储介质 |
CN110647930A (zh) * | 2019-09-20 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111818318A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111818318B (zh) | 图像处理器的白平衡调谐方法、装置、设备及存储介质 | |
CN108124487B (zh) | 云端抄表方法及装置 | |
JP7074460B2 (ja) | 画像検査装置および方法 | |
CN109451304B (zh) | 一种摄像头模组批量对焦测试方法及系统 | |
CN111798414A (zh) | 显微图像的清晰度确定方法、装置、设备及存储介质 | |
CN107408522B (zh) | 使用高维变量选择模型确定关键参数 | |
CN108596398B (zh) | 基于条件随机场与Stacking算法的时间序列预测方法和装置 | |
CN111813618A (zh) | 数据异常检测方法、装置、设备及存储介质 | |
CN114661010B (zh) | 一种基于人工智能的驱动侦测处理方法及云平台 | |
CN109362092B (zh) | 网络参数调整方法、装置、设备及介质 | |
CN117058063A (zh) | 电池缺陷检测方法、装置和电子设备 | |
CN108377508B (zh) | 基于测量报告数据的用户感知分类方法和装置 | |
CN116310713B (zh) | 红外图像识别方法、装置、电子设备及存储介质 | |
CN115953652B (zh) | 目标检测网络批归一化层剪枝方法、装置、设备及介质 | |
WO2024021590A1 (zh) | 允许位置偏差的图形分组方法、装置、设备及存储介质 | |
CN115546736B (zh) | 基于图像采集的河道采砂监控处理方法及系统 | |
CN115587545A (zh) | 一种用于光刻胶的参数优化方法、装置、设备及存储介质 | |
CN109996274B (zh) | Lte小区参数的调整方法、装置、设备及介质 | |
CN113673570A (zh) | 电子器件图片分类模型的训练方法、装置及设备 | |
CN108064069B (zh) | 一种WiFi子网络的唯一标识确定方法、介质及设备 | |
CN117636079A (zh) | 图像分类方法、装置及电子设备 | |
CN115151832A (zh) | 电池状态估算方法、装置、设备、电池系统及存储介质 | |
JPH1075218A (ja) | データ群の特性境界識別方法及び装置 | |
CN116086497B (zh) | 基于神经网络的光纤陀螺仪低角速率下的输出校正方法、装置、介质 | |
CN110490875B (zh) | 一种屏缺陷过滤方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |