CN112164005A - 图像颜色校正方法、装置、设备及存储介质 - Google Patents
图像颜色校正方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112164005A CN112164005A CN202011017586.4A CN202011017586A CN112164005A CN 112164005 A CN112164005 A CN 112164005A CN 202011017586 A CN202011017586 A CN 202011017586A CN 112164005 A CN112164005 A CN 112164005A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- color correction
- model
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims description 148
- 238000004590 computer program Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 22
- 230000000712 assembly Effects 0.000 claims description 13
- 238000000429 assembly Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 abstract description 25
- 238000010586 diagram Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- 230000036211 photosensitivity Effects 0.000 description 4
- 101100532856 Arabidopsis thaliana SDRA gene Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本申请公开了一种图像颜色校正方法、装置、设备及存储介质，属于图像处理技术领域。所述方法包括：获取目标采集组件采集的原始图像；获取所述目标采集组件的目标感光特性数据；将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。本申请实施例提供的技术方案能够提高原始图像的颜色校正效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像颜色校正方法、装置、设备及存储介质。
背景技术
随着图像处理技术的快速发展，人们对图像的质量要求也越来越高了。在实际应用中，电子设备拍摄得到原始图像后，一般会对原始图像进行颜色校正，以还原该原始图像中目标物的真实颜色。
相关技术中，在拍摄得到原始图像后，一般需要对原始图像进行白平衡(Automatic white balance，AWB)处理、伽马校正(Gamma correction)处理以及采用颜色校正矩阵(Coior Correction Matrix，CCM)进行校正处理，等等，通过上述一系列的处理可以实现对原始图像的颜色校正。
然而，这样的颜色校正方法，需要对原始图像进行多种不同方式的处理，导致颜色校正的效率较低。
发明内容
基于此，本申请实施例提供了一种图像颜色校正方法、装置、设备及存储介质，可以提高原始图像的颜色校正效率。
第一方面，提供了一种图像颜色校正方法，该方法包括：
获取目标采集组件采集的原始图像；
获取所述目标采集组件的目标感光特性数据；
将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；
其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
第二方面，提供了一种图像颜色校正装置，该装置包括：
第一获取模块，用于获取目标采集组件采集的原始图像；
第二获取模块，用于获取所述目标采集组件的目标感光特性数据；
校正模块，用于将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；
其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
第三方面，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现如上述第一方面所述的图像颜色校正方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的图像颜色校正方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过获取目标采集组件采集的原始图像和目标采集组件的目标感光特性数据，而后，将该原始图像和该目标感光特性数据输入至颜色校正生成模型中，由于该颜色校正生成模型是根据样本采集组件采集的样本原始图像、样本采集组件的样本感光特性数据以及样本原始图像对应的样本标准图像训练得到的，这样，通过颜色校正生成模型能够根据该原始图像和目标感光特性数据生成原始图像对应的标准图像，即颜色校正后的图像。这样，在需要对原始图像进行颜色校正时，不必再对原始图像进行白平衡处理、伽马校正以及颜色校正矩阵校正等一系列繁琐的处理，直接将原始图像和目标感光特性数据输入至颜色校正生成模型中即可得到颜色校正后的图像，实现对原始图像的快速颜色校正，从而提高了原始图像的颜色校正效率。
附图说明
图1为本申请实施例提供的一种图像颜色校正方法的流程图；
图2为本申请实施例提供的一种通过颜色校正生成模型获取颜色校正后的图像的方法流程图；
图3为本申请实施例提供的一种示例性地感光特性曲线的示意图；
图4为本申请实施例提供的一种示例性地颜色校正生成模型的网络结构示意图；
图5为本申请实施例提供的一种步骤202的流程示意图；
图6为本申请实施例提供的一种颜色校正生成模型的训练过程流程图；
图7为本申请实施例提供的一种示例性地生成对抗模型的网络结构示图；
图8为本申请实施例提供的一种图像颜色校正方法的流程图；
图9为本申请实施例提供的一种图像颜色校正装置的框图；
图10为本申请实施例提供的一种电子设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
传统技术中，电子设备拍摄得到原始图像后，一般会对原始图像进行白平衡处理、伽马校正(Gamma correction)处理以及采用颜色校正矩阵(Coior Correction Matrix,CCM)进行校正处理，等等，通过上述一系列的处理可以实现对原始图像的颜色校正。
其中，白平衡处理是指在不同色温的光源条件下，原始图像中的白色会偏蓝或者偏红，白平衡算法通过调整原始图像中R、G、B三个颜色通道的强度，使白色真实呈现；伽马校正是指对原始图像进行全局的非线性矫正；颜色校正矩阵处理是指采集组件对光谱的响应，在RGB各分量上与人眼对光谱的响应通常是有偏差的，通过颜色校正矩阵来校正光谱响应的交叉效应和响应强度，使颜色校正后的图像与人眼视觉在色彩上保持一致，从而实现对原始图像的颜色校正。
然而，这样的颜色校正方法，需要对原始图像进行多种不同方式的处理，导致颜色校正的效率较低。
鉴于此，本申请实施例提出了一种图像颜色校正方法，在该方法中，通过获取目标采集组件采集的原始图像和目标采集组件的目标感光特性数据，而后，将该原始图像和该目标感光特性数据输入至颜色校正生成模型中，由于该颜色校正生成模型是根据样本采集组件采集的样本原始图像、样本采集组件的样本感光特性数据以及样本原始图像对应的样本标准图像训练得到的，这样，通过颜色校正生成模型能够根据原始图像和目标感光特性数据生成原始图像对应的标准图像，即得到颜色校正生成模型输出的颜色校正后的图像。这样，需要对原始图像进行颜色校正时，不必再对原始图像进行白平衡处理、伽马校正以及颜色校正矩阵校正等一系列繁琐的处理，直接将原始图像和目标感光特性数据输入至颜色校正生成模型中即可得到颜色校正后的图像，实现对原始图像的颜色校正，从而提高了原始图像的颜色校正效率。
需要说明的是，本申请实施例提供的图像颜色校正方法，其执行主体还可以是图像颜色校正装置，该图像颜色校正装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部。下述方法实施例中，均以执行主体是电子设备为例来进行说明。
图1为一个实施例中图像颜色校正方法的流程图。如图1所示，该图像颜色校正方法包括步骤101、步骤102和步骤103：
步骤101，电子设备获取目标采集组件采集的原始图像。
本申请实施例中，电子设备可以是智能手机、笔记本电脑、平板电脑、智能相机等需要对原始图像进行颜色校正的电子设备，在此对电子设备的类型不做具体限制。
目标采集组件可以是电子设备中用于图像采集的组件，例如摄像头，电子设备通过目标采集组件采集得到原始图像，该原始图像即为需要进行颜色校正的图像。
在另一种可能的实施方式中，也可以是由其它设备的目标采集组件采集原始图像，电子设备若需要对该原始图像进行颜色校正，电子设备则从该其它设备获取该原始图像，在此对电子设备获取原始图像的方式不做具体限制。
步骤102，电子设备获取目标采集组件的目标感光特性数据。
本申请实施例中，目标感光特性数据为目标采集组件对光谱的响应数据，在一种可能的实施方式中，该目标感光特性数据可以是通过光电探测器测量目标采集组件的光谱响应函数，然后进行离散化表示得到的。
不同的采集组件对光谱的响应是不同的，而不同的采集组件从原始图像到颜色校正后的图像的映射不一致的原因，正是由于不同的采集组件的感光特性数据不同。因此，将目标感光特性数据作为目标采集组件对光谱响应的特征，有利于颜色校正生成模型生成颜色校正更为准确的颜色校正后的图像。
步骤103，电子设备将原始图像和目标感光特性数据输入至颜色校正生成模型中，得到颜色校正生成模型输出的颜色校正后的图像。
本申请实施例中，颜色校正生成模型是根据样本采集组件采集的样本原始图像、样本采集组件的样本感光特性数据以及样本原始图像对应的样本标准图像训练得到的。样本标准图像可以是颜色校正后的样本原始图像，样本标准图像还可以是由其它专业拍摄设备，在样本原始图像相同的采集条件下采集的图像颜色标准的样本图像。
如上文所述，由于不同的采集组件的感光特性数据不同，本申请实施例中，根据样本采集组件采集的样本原始图像、样本采集组件的样本感光特性数据以及样本原始图像对应的样本标准图像训练训练颜色校正生成模型，这样，在颜色校正生成模型的训练过程中，颜色校正生成模型能够充分学习从不同的样本原始图像和不同的样本感光特性数据至对应样本标准图像之间的映射关系。作为一种实施方式，颜色校正生成模型可以是卷积神经网络，如U-Net卷积神经网络，或者，颜色校正生成模型也可以是自编码器网络等等。
模型训练完成后，电子设备将原始图像和目标感光特性数据输入至颜色校正生成模型中，颜色校正生成模型即可根据学习到的映射关系，输出该原始图像和该目标感光特性数据对应的标准图像，即得到颜色校正后的图像。
上述实施例通过获取目标采集组件采集的原始图像和目标采集组件的目标感光特性数据，而后，将该原始图像和该目标感光特性数据输入至颜色校正生成模型中，由于该颜色校正生成模型是根据样本采集组件采集的样本原始图像、样本采集组件的样本感光特性数据以及样本原始图像对应的样本标准图像训练得到的，这样，通过颜色校正生成模型能够根据该原始图像和目标感光特性数据生成原始图像对应的标准图像，即得到颜色校正生成模型输出的颜色校正后的图像。这样，在需要对原始图像进行颜色校正时，不必再对原始图像进行白平衡处理、伽马校正以及颜色校正矩阵校正等一系列繁琐的处理，直接将原始图像和目标感光特性数据输入至颜色校正生成模型中即可得到颜色校正后的图像，实现对原始图像的快速颜色校正，从而提高了原始图像的颜色校正效率。
在上述图1所示实施例的基础上，参见图2，本实施例涉及的是电子设备如何通过颜色校正生成模型得到颜色校正后的图像的过程。如图2所示，该过程包括步骤201和步骤202：
步骤201，电子设备将目标感光特性数据转换为目标感光特征向量。
本申请实施例中，电子设备获取到目标采集组件的目标感光特性数据后，将目标感光特性数据转换为目标感光特征向量，即目标感光特性数据以特征向量的形式输入颜色校正生成模型。
在一种可能的实施方式中，目标感光特性数据为感光特性曲线，感光特性曲线由光波的多个波长值和各波长值对应的目标采集组件的感光响应值拟合得到。
参见图3，图3为一种示例性地感光特性曲线的示意图。
如图3所示，图3中坐标轴的横坐标即为波长值，波长值可以处于人眼可见光范围内(380nm-770nm)，波长值可以是380nm、395nm、......、755nm、770nm，等等。坐标轴的纵坐标即为各个波长值对应的目标采集组件的感光响应值。每个波长值可以对应三个颜色通道(R、G或者B)的感光响应值，多个波长值和各波长值对应的目标采集组件的感光响应值拟合得到感光特性曲线。
目标感光特征向量可以是感光特性曲线的离散化表示，作为一种实施方式，电子设备可以通过执行如下步骤A实现步骤201的过程：
步骤A，电子设备将感光特性曲线中各波长值对应的感光响应值作为目标感光特征向量的各个向量元素，得到目标感光特征向量。
在一种可能的实施方式中，每个颜色通道可以对应一个多维特征向量，目标感光特征向量则包括三个颜色通道的多维特征向量。
例如，感光特性曲线的波长值范围为380nm-770nm，感光特性曲线中波长值间隔为15nm，则感光特性曲线共包括26个波长值。对于每个颜色通道，每个波长值均对应一个感光响应值，则每个颜色通道对应一个26维的特征向量。目标感光特征向量则包括三个颜色通道的26维特征向量。
步骤202，电子设备将原始图像和目标感光特征向量输入至颜色校正生成模型中，通过颜色校正生成模型提取原始图像的图像特征向量，对图像特征向量和目标感光特征向量进行拼接，并基于拼接后的特征向量输出颜色校正后的图像。
电子设备获取到目标感光特征向量后，将原始图像和目标感光特征向量输入至颜色校正生成模型中，颜色校正生成模型根据该原始图像和目标感光特征向量输出的颜色校正后的图像。
参见图4，图4为一种示例性地颜色校正生成模型的网络结构示意图。如图4所示，颜色校正生成模型可以是卷积神经网络，例如U-Net卷积神经网络。电子设备将原始图像输入至颜色校正生成模型中，通过颜色校正生成模型提取原始图像的图像特征向量，电子设备将目标感光特征向量输入至颜色校正生成模型中，通过颜色校正生成模型对图像特征向量和目标感光特征向量进行拼接，并基于拼接后的特征向量输出颜色校正后的图像。
在步骤202一种可能的实施方式中，颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层。参见图5，步骤202可以包括如图5所示的步骤2021、步骤2022和步骤2023：
步骤2021，电子设备将原始图像输入至图像特征提取层中，通过图像特征提取层对原始图像进行特征提取，得到图像特征向量。
步骤2022，电子设备将图像特征向量和目标感光特征向量输入至特征拼接层中，由特征拼接层对图像特征向量和目标感光特征向量进行拼接，得到拼接后的特征向量。
步骤2023，电子设备将拼接后的特征向量输入至图像输出层中，得到颜色校正后的图像。
电子设备将目标感光特性数据转换为目标感光特征向量后，电子设备通过执行上述步骤2021、步骤2022和步骤2023，则得到颜色校正生成模型输出的颜色校正后的图像。这样，直接将原始图像和目标感光特征向量输入至颜色校正生成模型中即可得到颜色校正后的图像，实现对原始图像的快速颜色校正，从而提高了原始图像的颜色校正效率。
在上述图1所示实施例的基础上，参见图6，本实施例涉及的是颜色校正生成模型的训练过程。如图6所示，颜色校正生成模型的训练过程包括步骤601和步骤602：
步骤601，电子设备获取多个样本采集组件在不同光源条件下采集的多个样本原始图像、各样本采集组件的样本感光特性数据以及各样本原始图像对应的样本标准图像。
本申请实施例中，样本原始图像可以是多个样本采集组件在不同光源条件下采集的。样本感光特性数据可以是通过光电探测器测量样本采集组件的光谱响应函数的离散化表示。样本标准图像可以是颜色校正后的样本原始图像，样本标准图像也可以是由其它专业拍摄设备，在样本原始图像相同的采集条件下采集的图像颜色标准的样本图像。
这样，通过获取不同光源条件下多个样本采集组件的样本图像，训练得到的颜色校正生成模型能够对各个不同光源条件下的原始图像进行颜色校正。避免了传统技术中，各种处理方式处理能力有限，且依赖于调试人员的调试，因此很难覆盖到全场景的问题，本申请实施例扩大了图像颜色校正方法的应用场景范围，且避免了传统技术中，算法调试复杂，耗时耗力，当电子设备集成一个新的采集组件，则需要对各个算法重新调试，导致图像颜色校正十分消耗人力物力的问题。
步骤602，电子设备将各样本原始图像、各样本感光特性数据和各样本标准图像输入至生成对抗模型中进行模型训练，得到颜色校正生成模型。
其中，生成对抗模型包括生成器模型和判别器模型。
本申请实施例中，颜色校正生成模型可以是基于生成式对抗网络(GenerativeAdversarial Networks，GAN)训练得到的。在训练过程中，生成器模型和判别器模型互相博弈，生成器模型的目的是尽量生成真实的图片去“欺骗”判别器模型，而判别器模型的目的是尽量把生成器模型生成的图片和真实的图片分别开，这样，就形成了一个动态的博弈过程。
参见图7，图7为一种示例性地生成对抗模型的网络结构图。如图7所示，生成器模型(G)和判别器模型(D)均可以是卷积神经网络。
其中，G的输入为图像I为样本原始图像，样本感光特征向量为样本感光特性数据，G的输出图像Ig为样本原始图像对应的样本颜色校正后的图像。D的输入为图像Ig或真实图像Ir(样本标准图像)，D的输出为图像Ig为真的预测概率P或真实图像Ir为真的预测概率P(0<＝P<＝1)，并根据预测概率计算得到损失值Loss0，Loss0的计算公式如公式1所示：
其中，Pr表示真实图像Ir的分布，Pi代表图像I的分布，D(x)为真实图像Ir进入判别器模型之后输出的预测概率P，G(x)为图像I进入生成器模型之后得到的图像Ig。E代表数学期望，min代表固定判别器模型D的参数训练生成器模型G的参数使得Loss0最小，max代表固定生成器模型G的参数训练判别器模型D的参数使得Loss0最大。
生成器模型希望生成的图像Ig越来越逼真，能够使得判别器模型输出较大的预测概率认为这是一张真实图像。判别器模型希望真实图像Ir进入判别器模型输出的预测概率P接近1，而图像Ig进入判别器模型输出的预测概率P接近0，生成器模型和判别器模型交替训练使得生成的图像Ig越来越真实。
在训练过程中，电子设备将图像I输入生成器模型G，得到生成的图像Ig，电子设备将图像Ig输入判别器模型D，固定判别器模型的参数，训练生成器模型，使得D(图像Ig)值趋于1；然后，电子设备将生成器模型的参数固定，把生成的图像Ig输入判别器模型，训练判别器模型，使得D(图像Ig)趋于0，把真实图像Ir输入判别器模型，训练判别器模型，使得D(真实图像Ir)趋于1，不断重复迭代，得到生成器模型。
这样，在模型训练完成后，得到的生成器模型则作为颜色校正生成模型，电子设备将原始图像和目标感光特性数据输入至颜色校正生成模型中，得到颜色校正生成模型生成的图像Ig，即颜色校正后的图像。
以下，以最后一次迭代过程为例，对本申请实施例颜色校正生成模型的训练过程进行简要说明。
在一种可能的实施方式中，电子设备可以通过执行如下步骤B1和步骤B2，实现步骤602的过程：
步骤B1，电子设备将各样本原始图像和各样本感光特性数据输入至生成器模型中，得到各样本原始图像对应的第一生成图像；将各第一生成图像和各样本标准图像输入至判别器模型中，得到各第一生成图像的预测概率和各样本标准图像的预测概率；根据各第一生成图像的预测概率和各样本标准图像的预测概率，调整判别器模型的模型参数，直至判别器模型对应的损失值大于第一阈值，得到目标判别器模型。
在最后一次迭代过程中，电子设备将各样本原始图像(相当于图7中的图像I)和各样本感光特性数据输入至生成器模型中，得到各样本原始图像对应的第一生成图像(相当于图7中的图像Ig)，接着，电子设备将各第一生成图像和各样本标准图像(相当于图7中的真实图像Ir)输入至判别器模型中，得到各第一生成图像的预测概率和各样本标准图像的预测概率。
电子设备将各第一生成图像的预测概率和各样本标准图像的预测概率代入公式1，则得到判别器模型对应的损失值，电子设备则调整判别器模型的模型参数，直至判别器模型对应的损失值大于第一阈值，得到目标判别器模型。
在一种可能的实施方式中，电子设备将各样本原始图像和各样本感光特性数据输入至生成器模型中，得到各样本原始图像对应的第一生成图像，可以通过执行如下步骤C1和步骤C2实现：
步骤C1，电子设备将各样本感光特性数据转换为各样本感光特性数据对应的样本感光特征向量。
步骤C2，电子设备将各样本原始图像和各样本感光特征向量输入至生成器模型中，通过生成器模型提取各样本原始图像的样本图像特征向量，对每个样本原始图像的样本图像特征向量和样本原始图像对应的样本感光特征向量进行拼接，并基于拼接后的特征向量输出样本原始图像对应的第一生成图像。
电子设备将各样本感光特性数据转换为各样本感光特性数据对应的样本感光特征向量，将各样本原始图像和各样本感光特征向量输入至生成器模型中，得到第一生成图像的过程，可以参见上述实施例的实施方式，在此不再赘述。
步骤B2，电子设备将各样本原始图像和各样本感光特性数据输入至生成器模型中，得到各样本原始图像对应的第二生成图像；将各第二生成图像和各样本标准图像输入至目标判别器模型中，得到各第二生成图像的预测概率和各样本标准图像的预测概率；根据各第二生成图像的预测概率和各样本标准图像的预测概率，调整生成器模型的模型参数，直至生成器模型对应的损失值小于第二阈值，得到颜色校正生成模型。
电子设备将各样本原始图像(相当于图7中的图像I)和各样本感光特性数据输入至生成器模型中，得到各样本原始图像对应的第二生成图像(相当于图7中的图像Ig)，接着，电子设备将各第二生成图像和各样本标准图像((相当于图7中的真实图像Ir))输入至判别器模型中，得到各第二生成图像的预测概率和各样本标准图像的预测概率。
电子设备将各第二生成图像的预测概率和各样本标准图像的预测概率代入公式1，则得到生成器模型对应的损失值，电子设备则调整生成器模型的模型参数，直至生成器模型对应的损失值小于第二阈值，得到颜色校正生成模型。
在其它实施例中，电子设备也可以采用如下公式2-4中的任意一个，计算Loss0，在此对Loss0的计算方式不做具体限制。
生成式对抗网络最小二乘损失函数：
生成式对抗网络Wasserstein距离损失函数：
生成式对抗网络条件损失函数：
在一种可能的实施方式中，电子设备还可以对生成器模型和判别器模型的结构进行优化裁剪等操作，这样能够压缩模型的运算量，有利于提升图像颜色校正方法的实时性。
本申请实施例实现了端到端训练和运行，避免了传统手工特征的复杂逻辑处理，能够较为简单的部署在电子设备上，电子设备例如可以是终端。
本申请实施例基于生成式对抗网络训练得到颜色校正生成模型，算法鲁棒性优于普通的基于卷积神经网络的算法，避免了在各种的特殊场景，例如纯色等场景中普通的基于卷积神经网络的算法效果较差的问题。另外，颜色校正生成模型在训练过程中充分学习生成样本标准图像，因此得到的颜色校正后的图像为高效去噪后的图像，因此本申请实施例还提升了颜色校正后的图像的图像质量。
传统技术中，白平衡处理、伽马校正、颜色校正矩阵校正等传统算法能力有限，很难准确从原始图像还原到颜色校正后的图像。白平衡处理和颜色校正矩阵校正只能对全局的颜色进行简单的线性矫正，伽马校正只能处理全局简单非线性矫正。尤其是对于混合光源下拍摄的原始图像，传统技术无法对其进行颜色校正，以白平衡处理为例，白平衡处理对于不同的色温(不同的光源色温不同)具有不同的白平衡参数，而对于混合光源，并没有针对性的白平衡参数，传统技术只能基于各个光源的白平衡参数得到一个兼顾各个光源的白平衡参数(例如取各白平衡参数的平均值)，这就导致图像颜色校正的准确性差。本申请实施例中，基于大量训练数据(多个样本采集组件在不同光源条件下采集的多个样本原始图像、各样本采集组件的样本感光特性数据以及各样本原始图像对应的样本标准图像)训练颜色校正生成模型，由于训练数据可以涵盖多个场景，例如混合光源的场景，这样，训练得到的颜色校正生成模型则能够适应多个场景对原始图像进行颜色校正，从而可以提升图像颜色校正的准确性。
图8为一个实施例中图像颜色校正方法的流程图。如图8所示，该图像颜色校正方法包括：
步骤801，电子设备获取目标采集组件采集的原始图像。
步骤802，电子设备获取目标采集组件的目标感光特性数据。
步骤803，电子设备将感光特性曲线中各波长值对应的感光响应值作为目标感光特征向量的各个向量元素，得到目标感光特征向量。
目标感光特性数据为感光特性曲线，感光特性曲线由光波的多个波长值和各波长值对应的目标采集组件的感光响应值拟合得到。
步骤804，电子设备将原始图像输入至图像特征提取层中，通过图像特征提取层对原始图像进行特征提取，得到图像特征向量。
颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层。
步骤805，电子设备将图像特征向量和目标感光特征向量输入至特征拼接层中，由特征拼接层对图像特征向量和目标感光特征向量进行拼接，得到拼接后的特征向量。
步骤806，电子设备将拼接后的特征向量输入至图像输出层中，得到颜色校正后的图像。
应该理解的是，虽然图1-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参考图9，其示出了本申请实施例提供的一种图像颜色校正装置900的框图。如图9所示，该图像颜色校正装置900可以包括：
第一获取模块901，用于获取目标采集组件采集的原始图像；
第二获取模块902，用于获取所述目标采集组件的目标感光特性数据；
校正模块903，用于将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；
其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
在一个实施例中，校正模块903包括：
转换单元，用于将所述目标感光特性数据转换为目标感光特征向量；
校正单元，用于将所述原始图像和所述目标感光特征向量输入至所述颜色校正生成模型中，通过所述颜色校正生成模型提取所述原始图像的图像特征向量，对所述图像特征向量和所述目标感光特征向量进行拼接，并基于拼接后的特征向量输出所述颜色校正后的图像。
在一个实施例中，所述目标感光特性数据为感光特性曲线，所述感光特性曲线由光波的多个波长值和各所述波长值对应的所述目标采集组件的感光响应值拟合得到，所述转换单元具体用于将所述感光特性曲线中各所述波长值对应的感光响应值作为所述目标感光特征向量的各个向量元素，得到所述目标感光特征向量。
在一个实施例中，所述颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层，所述校正单元具体用于将所述原始图像输入至所述图像特征提取层中，通过所述图像特征提取层对所述原始图像进行特征提取，得到所述图像特征向量；将所述图像特征向量和所述目标感光特征向量输入至所述特征拼接层中，由所述特征拼接层对所述图像特征向量和所述目标感光特征向量进行拼接，得到所述拼接后的特征向量；将所述拼接后的特征向量输入至所述图像输出层中，得到所述颜色校正后的图像。
在一个实施例中，所述图像颜色校正装置900还包括：
第三获取模块，用于获取多个样本采集组件在不同光源条件下采集的多个样本原始图像、各所述样本采集组件的样本感光特性数据以及各所述样本原始图像对应的样本标准图像；
训练模块，用于将各所述样本原始图像、各所述样本感光特性数据和各所述样本标准图像输入至生成对抗模型中进行模型训练，得到所述颜色校正生成模型。
在一个实施例中，所述生成对抗模型包括生成器模型和判别器模型，所述训练模块包括：
第一训练单元，用于将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第一生成图像；将各所述第一生成图像和各所述样本标准图像输入至所述判别器模型中，得到各所述第一生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第一生成图像的预测概率和各所述样本标准图像的预测概率，调整所述判别器模型的模型参数，直至所述判别器模型对应的损失值大于第一阈值，得到目标判别器模型；
第二训练单元，用于将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第二生成图像；将各所述第二生成图像和各所述样本标准图像输入至所述目标判别器模型中，得到各所述第二生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第二生成图像的预测概率和各所述样本标准图像的预测概率，调整所述生成器模型的模型参数，直至所述生成器模型对应的损失值小于第二阈值，得到所述颜色校正生成模型。
在一个实施例中，所述第一训练单元具体用于将各所述样本感光特性数据转换为各所述样本感光特性数据对应的样本感光特征向量；将各所述样本原始图像和各所述样本感光特征向量输入至所述生成器模型中，通过所述生成器模型提取各所述样本原始图像的样本图像特征向量，对每个所述样本原始图像的样本图像特征向量和所述样本原始图像对应的样本感光特征向量进行拼接，并基于拼接后的特征向量输出所述样本原始图像对应的第一生成图像。
本申请实施例提供的图像颜色校正装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像颜色校正装置的具体限定可以参见上文中对于图像颜色校正方法的限定，在此不再赘述。上述图像颜色校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于终端中的处理器中，也可以以软件形式存储于终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在本申请的一个实施例中，提供了一种电子设备，其内部结构图可以如图10所示。如图10所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像颜色校正方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本申请的一个实施例中，提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标采集组件采集的原始图像；获取所述目标采集组件的目标感光特性数据；将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述目标感光特性数据转换为目标感光特征向量；将所述原始图像和所述目标感光特征向量输入至所述颜色校正生成模型中，通过所述颜色校正生成模型提取所述原始图像的图像特征向量，对所述图像特征向量和所述目标感光特征向量进行拼接，并基于拼接后的特征向量输出所述颜色校正后的图像。
在本申请的一个实施例中，所述目标感光特性数据为感光特性曲线，所述感光特性曲线由光波的多个波长值和各所述波长值对应的所述目标采集组件的感光响应值拟合得到，处理器执行计算机程序时还实现以下步骤：
将所述感光特性曲线中各所述波长值对应的感光响应值作为所述目标感光特征向量的各个向量元素，得到所述目标感光特征向量。
在本申请的一个实施例中，所述颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层，处理器执行计算机程序时还实现以下步骤：
将所述原始图像输入至所述图像特征提取层中，通过所述图像特征提取层对所述原始图像进行特征提取，得到所述图像特征向量；将所述图像特征向量和所述目标感光特征向量输入至所述特征拼接层中，由所述特征拼接层对所述图像特征向量和所述目标感光特征向量进行拼接，得到所述拼接后的特征向量；将所述拼接后的特征向量输入至所述图像输出层中，得到所述颜色校正后的图像。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取多个样本采集组件在不同光源条件下采集的多个样本原始图像、各所述样本采集组件的样本感光特性数据以及各所述样本原始图像对应的样本标准图像；将各所述样本原始图像、各所述样本感光特性数据和各所述样本标准图像输入至生成对抗模型中进行模型训练，得到所述颜色校正生成模型。
在本申请的一个实施例中，所述生成对抗模型包括生成器模型和判别器模型，处理器执行计算机程序时还实现以下步骤：
将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第一生成图像；将各所述第一生成图像和各所述样本标准图像输入至所述判别器模型中，得到各所述第一生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第一生成图像的预测概率和各所述样本标准图像的预测概率，调整所述判别器模型的模型参数，直至所述判别器模型对应的损失值大于第一阈值，得到目标判别器模型；将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第二生成图像；将各所述第二生成图像和各所述样本标准图像输入至所述目标判别器模型中，得到各所述第二生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第二生成图像的预测概率和各所述样本标准图像的预测概率，调整所述生成器模型的模型参数，直至所述生成器模型对应的损失值小于第二阈值，得到所述颜色校正生成模型。
在本申请的一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各所述样本感光特性数据转换为各所述样本感光特性数据对应的样本感光特征向量；将各所述样本原始图像和各所述样本感光特征向量输入至所述生成器模型中，通过所述生成器模型提取各所述样本原始图像的样本图像特征向量，对每个所述样本原始图像的样本图像特征向量和所述样本原始图像对应的样本感光特征向量进行拼接，并基于拼接后的特征向量输出所述样本原始图像对应的第一生成图像。
本申请实施例提供的电子设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标采集组件采集的原始图像；获取所述目标采集组件的目标感光特性数据；将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述目标感光特性数据转换为目标感光特征向量；将所述原始图像和所述目标感光特征向量输入至所述颜色校正生成模型中，通过所述颜色校正生成模型提取所述原始图像的图像特征向量，对所述图像特征向量和所述目标感光特征向量进行拼接，并基于拼接后的特征向量输出所述颜色校正后的图像。
在本申请的一个实施例中，所述目标感光特性数据为感光特性曲线，所述感光特性曲线由光波的多个波长值和各所述波长值对应的所述目标采集组件的感光响应值拟合得到，计算机程序被处理器执行时还实现以下步骤：
将所述感光特性曲线中各所述波长值对应的感光响应值作为所述目标感光特征向量的各个向量元素，得到所述目标感光特征向量。
在本申请的一个实施例中，所述颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层，计算机程序被处理器执行时还实现以下步骤：
将所述原始图像输入至所述图像特征提取层中，通过所述图像特征提取层对所述原始图像进行特征提取，得到所述图像特征向量；将所述图像特征向量和所述目标感光特征向量输入至所述特征拼接层中，由所述特征拼接层对所述图像特征向量和所述目标感光特征向量进行拼接，得到所述拼接后的特征向量；将所述拼接后的特征向量输入至所述图像输出层中，得到所述颜色校正后的图像。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取多个样本采集组件在不同光源条件下采集的多个样本原始图像、各所述样本采集组件的样本感光特性数据以及各所述样本原始图像对应的样本标准图像；将各所述样本原始图像、各所述样本感光特性数据和各所述样本标准图像输入至生成对抗模型中进行模型训练，得到所述颜色校正生成模型。
在本申请的一个实施例中，所述生成对抗模型包括生成器模型和判别器模型，计算机程序被处理器执行时还实现以下步骤：
将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第一生成图像；将各所述第一生成图像和各所述样本标准图像输入至所述判别器模型中，得到各所述第一生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第一生成图像的预测概率和各所述样本标准图像的预测概率，调整所述判别器模型的模型参数，直至所述判别器模型对应的损失值大于第一阈值，得到目标判别器模型；将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第二生成图像；将各所述第二生成图像和各所述样本标准图像输入至所述目标判别器模型中，得到各所述第二生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第二生成图像的预测概率和各所述样本标准图像的预测概率，调整所述生成器模型的模型参数，直至所述生成器模型对应的损失值小于第二阈值，得到所述颜色校正生成模型。
在本申请的一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各所述样本感光特性数据转换为各所述样本感光特性数据对应的样本感光特征向量；将各所述样本原始图像和各所述样本感光特征向量输入至所述生成器模型中，通过所述生成器模型提取各所述样本原始图像的样本图像特征向量，对每个所述样本原始图像的样本图像特征向量和所述样本原始图像对应的样本感光特征向量进行拼接，并基于拼接后的特征向量输出所述样本原始图像对应的第一生成图像。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(RO多)、可编程RO多(PRO多)、电可编程RO多(EPRO多)、电可擦除可编程RO多(EEPRO多)或闪存。易失性存储器可包括随机存取存储器(RA多)或者外部高速缓冲存储器。作为说明而非局限，RA多以多种形式可得，诸如静态RA多(SRA多)、动态RA多(DRA多)、同步DRA多(SDRA多)、双数据率SDRA多(DDRSDRA多)、增强型SDRA多(ESDRA多)、同步链路(Sy多chli多k)DRA多(SLDRA多)、存储器总线(Ra多bus)直接RA多(RDRA多)、直接存储器总线动态RA多(DRDRA多)、以及存储器总线动态RA多(RDRA多)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像颜色校正方法，其特征在于，所述方法包括：
获取目标采集组件采集的原始图像；
获取所述目标采集组件的目标感光特性数据；
将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；
其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像，包括：
将所述目标感光特性数据转换为目标感光特征向量；
将所述原始图像和所述目标感光特征向量输入至所述颜色校正生成模型中，通过所述颜色校正生成模型提取所述原始图像的图像特征向量，对所述图像特征向量和所述目标感光特征向量进行拼接，并基于拼接后的特征向量输出所述颜色校正后的图像。
3.根据权利要求2所述的方法，其特征在于，所述目标感光特性数据为感光特性曲线，所述感光特性曲线由光波的多个波长值和各所述波长值对应的所述目标采集组件的感光响应值拟合得到，所述将所述目标感光特性数据转换为目标感光特征向量，包括：
将所述感光特性曲线中各所述波长值对应的感光响应值作为所述目标感光特征向量的各个向量元素，得到所述目标感光特征向量。
4.根据权利要求2所述的方法，其特征在于，所述颜色校正生成模型包括图像特征提取层、特征拼接层和图像输出层，所述将所述原始图像和所述目标感光特征向量输入至所述颜色校正生成模型中，通过所述颜色校正生成模型提取所述原始图像的图像特征向量，对所述图像特征向量和所述目标感光特征向量进行拼接，并基于拼接后的特征向量输出所述颜色校正后的图像，包括：
将所述原始图像输入至所述图像特征提取层中，通过所述图像特征提取层对所述原始图像进行特征提取，得到所述图像特征向量；
将所述图像特征向量和所述目标感光特征向量输入至所述特征拼接层中，由所述特征拼接层对所述图像特征向量和所述目标感光特征向量进行拼接，得到所述拼接后的特征向量；
将所述拼接后的特征向量输入至所述图像输出层中，得到所述颜色校正后的图像。
5.根据权利要求1所述的方法，其特征在于，所述颜色校正生成模型的训练过程包括：
获取多个样本采集组件在不同光源条件下采集的多个样本原始图像、各所述样本采集组件的样本感光特性数据以及各所述样本原始图像对应的样本标准图像；
将各所述样本原始图像、各所述样本感光特性数据和各所述样本标准图像输入至生成对抗模型中进行模型训练，得到所述颜色校正生成模型。
6.根据权利要求5所述的方法，其特征在于，所述生成对抗模型包括生成器模型和判别器模型，所述将各所述样本原始图像、各所述样本感光特性数据和各所述样本标准图像输入至生成对抗模型中进行模型训练，得到所述颜色校正生成模型，包括：
将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第一生成图像；将各所述第一生成图像和各所述样本标准图像输入至所述判别器模型中，得到各所述第一生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第一生成图像的预测概率和各所述样本标准图像的预测概率，调整所述判别器模型的模型参数，直至所述判别器模型对应的损失值大于第一阈值，得到目标判别器模型；
将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第二生成图像；将各所述第二生成图像和各所述样本标准图像输入至所述目标判别器模型中，得到各所述第二生成图像的预测概率和各所述样本标准图像的预测概率；根据各所述第二生成图像的预测概率和各所述样本标准图像的预测概率，调整所述生成器模型的模型参数，直至所述生成器模型对应的损失值小于第二阈值，得到所述颜色校正生成模型。
7.根据权利要求6所述的方法，其特征在于，所述将各所述样本原始图像和各所述样本感光特性数据输入至所述生成器模型中，得到各所述样本原始图像对应的第一生成图像，包括：
将各所述样本感光特性数据转换为各所述样本感光特性数据对应的样本感光特征向量；
将各所述样本原始图像和各所述样本感光特征向量输入至所述生成器模型中，通过所述生成器模型提取各所述样本原始图像的样本图像特征向量，对每个所述样本原始图像的样本图像特征向量和所述样本原始图像对应的样本感光特征向量进行拼接，并基于拼接后的特征向量输出所述样本原始图像对应的第一生成图像。
8.一种图像颜色校正装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标采集组件采集的原始图像；
第二获取模块，用于获取所述目标采集组件的目标感光特性数据；
校正模块，用于将所述原始图像和所述目标感光特性数据输入至颜色校正生成模型中，得到所述颜色校正生成模型输出的颜色校正后的图像；
其中，所述颜色校正生成模型是根据样本采集组件采集的样本原始图像、所述样本采集组件的样本感光特性数据以及所述样本原始图像对应的样本标准图像训练得到的。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一所述的图像颜色校正方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的图像颜色校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011017586.4A CN112164005B (zh) | 2020-09-24 | 2020-09-24 | 图像颜色校正方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011017586.4A CN112164005B (zh) | 2020-09-24 | 2020-09-24 | 图像颜色校正方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112164005A true CN112164005A (zh) | 2021-01-01 |
| CN112164005B CN112164005B (zh) | 2023-03-17 |
Family
ID=73863713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011017586.4A Active CN112164005B (zh) | 2020-09-24 | 2020-09-24 | 图像颜色校正方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164005B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
| CN113516132A (zh) * | 2021-03-25 | 2021-10-19 | 杭州博联智能科技股份有限公司 | 基于机器学习的颜色校准方法、装置、设备及介质 |
| CN114782444A (zh) * | 2022-06-22 | 2022-07-22 | 江苏美克医学技术有限公司 | 用于体外诊断显色结果的辅助判读方法、介质和电子设备 |
| CN114793270A (zh) * | 2022-04-20 | 2022-07-26 | 深圳市慧鲤科技有限公司 | 色彩校正方法及装置、电子设备和存储介质 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN115314604A (zh) * | 2022-10-12 | 2022-11-08 | 杭州魔点科技有限公司 | 色彩校正矩阵的生成方法、系统、电子装置和存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03268021A (ja) * | 1990-03-19 | 1991-11-28 | Nippon Avionics Co Ltd | カラーデイスプレイハードコピー装置 |
| JP2001133911A (ja) * | 1999-11-04 | 2001-05-18 | Noritsu Koki Co Ltd | 画像形成装置 |
| JP2003346137A (ja) * | 2002-05-23 | 2003-12-05 | Olympus Optical Co Ltd | 色再現装置 |
| CN103108107A (zh) * | 2013-03-05 | 2013-05-15 | 广州广电运通金融电子股份有限公司 | 图像处理装置及其图像数据校正方法 |
| US20140055645A1 (en) * | 2012-08-21 | 2014-02-27 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JP2016213596A (ja) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 色補正装置、色補正方法及び色補正プログラム |
| JP2017076873A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US20170150112A1 (en) * | 2015-11-25 | 2017-05-25 | Google Inc. | Methodologies for Mobile Camera Color Management |
| CN107409201A (zh) * | 2015-03-12 | 2017-11-28 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
| CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
| CN110248106A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| WO2020156653A1 (en) * | 2019-01-30 | 2020-08-06 | Huawei Technologies Co., Ltd. | Method for generating image data for machine learning based imaging algorithms |
-
2020
- 2020-09-24 CN CN202011017586.4A patent/CN112164005B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03268021A (ja) * | 1990-03-19 | 1991-11-28 | Nippon Avionics Co Ltd | カラーデイスプレイハードコピー装置 |
| JP2001133911A (ja) * | 1999-11-04 | 2001-05-18 | Noritsu Koki Co Ltd | 画像形成装置 |
| JP2003346137A (ja) * | 2002-05-23 | 2003-12-05 | Olympus Optical Co Ltd | 色再現装置 |
| US20140055645A1 (en) * | 2012-08-21 | 2014-02-27 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| CN103108107A (zh) * | 2013-03-05 | 2013-05-15 | 广州广电运通金融电子股份有限公司 | 图像处理装置及其图像数据校正方法 |
| CN107409201A (zh) * | 2015-03-12 | 2017-11-28 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
| JP2016213596A (ja) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | 色補正装置、色補正方法及び色補正プログラム |
| JP2017076873A (ja) * | 2015-10-14 | 2017-04-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US20170150112A1 (en) * | 2015-11-25 | 2017-05-25 | Google Inc. | Methodologies for Mobile Camera Color Management |
| CN109523485A (zh) * | 2018-11-19 | 2019-03-26 | Oppo广东移动通信有限公司 | 图像颜色校正方法、装置、存储介质及移动终端 |
| WO2020156653A1 (en) * | 2019-01-30 | 2020-08-06 | Huawei Technologies Co., Ltd. | Method for generating image data for machine learning based imaging algorithms |
| CN110248106A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、电子设备以及存储介质 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杜尚尚等: "基于CNN回归网络的遥感图像颜色自动校正", 《计算机与现代化》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN112950507B (zh) * | 2021-03-08 | 2023-02-10 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113516132A (zh) * | 2021-03-25 | 2021-10-19 | 杭州博联智能科技股份有限公司 | 基于机器学习的颜色校准方法、装置、设备及介质 |
| CN113516132B (zh) * | 2021-03-25 | 2024-05-03 | 杭州博联智能科技股份有限公司 | 基于机器学习的颜色校准方法、装置、设备及介质 |
| CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
| CN114793270A (zh) * | 2022-04-20 | 2022-07-26 | 深圳市慧鲤科技有限公司 | 色彩校正方法及装置、电子设备和存储介质 |
| CN114782444A (zh) * | 2022-06-22 | 2022-07-22 | 江苏美克医学技术有限公司 | 用于体外诊断显色结果的辅助判读方法、介质和电子设备 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN115314604A (zh) * | 2022-10-12 | 2022-11-08 | 杭州魔点科技有限公司 | 色彩校正矩阵的生成方法、系统、电子装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112164005B (zh) | 2023-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164005B (zh) | 图像颜色校正方法、装置、设备及存储介质 | |
| Schwartz et al. | Deepisp: Toward learning an end-to-end image processing pipeline | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| Nie et al. | Deeply learned filter response functions for hyperspectral reconstruction | |
| US10074165B2 (en) | Image composition device, image composition method, and recording medium | |
| CN109191403A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112840636A (zh) | 一种图像处理方法和装置 | |
| CN108540716A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108230407B (zh) | 一种图像的处理方法和装置 | |
| CN112132172A (zh) | 基于图像处理的模型训练方法、装置、设备和介质 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| CN113822830A (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN114998667B (zh) | 多光谱目标检测方法、系统、计算机设备及存储介质 | |
| Lin et al. | Nonuniform lattice regression for modeling the camera imaging pipeline | |
| CN115222581A (zh) | 图像生成方法、模型训练方法、相关装置及电子设备 | |
| CN115314617A (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
| CN113177886B (zh) | 图像处理方法、装置、计算机设备及可读存储介质 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
| CN115835034B (zh) | 白平衡处理方法与电子设备 | |
| CN109284694A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
| CN115205168A (zh) | 图像处理方法、装置、电子设备和存储介质、产品 | |
| CN112560706B (zh) | 一种多源卫星图像水体目标识别方法及装置 | |
| CN109397286A (zh) | 机器人控制方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |