CN115314604B - 色彩校正矩阵的生成方法、系统、电子装置和存储介质 - Google Patents

色彩校正矩阵的生成方法、系统、电子装置和存储介质 Download PDF

Info

Publication number
CN115314604B
CN115314604B CN202211243899.0A CN202211243899A CN115314604B CN 115314604 B CN115314604 B CN 115314604B CN 202211243899 A CN202211243899 A CN 202211243899A CN 115314604 B CN115314604 B CN 115314604B
Authority
CN
China
Prior art keywords
card image
color
color card
discriminator
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211243899.0A
Other languages
English (en)
Other versions
CN115314604A (zh
Inventor
邹健飞
冯上栋
肖传宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202211243899.0A priority Critical patent/CN115314604B/zh
Publication of CN115314604A publication Critical patent/CN115314604A/zh
Application granted granted Critical
Publication of CN115314604B publication Critical patent/CN115314604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种色彩校正矩阵的生成方法、系统、电子装置和存储介质，通过训练判别器，直至判别器能正确识别第一色卡图像和第二色卡图像，将随机噪声和第一分类标签输入到生成器，生成器按第一分类标签输出多个色彩校正矩阵，通过多个色彩校正矩阵对第一色卡图像进行校正，将校正后的第一色卡图像、第二色卡图像和分类标签输入到判别器中进行判别，判别器将误差反向传播到生成器，更新生成器的参数，不断进行判别器和生成器的对抗过程，直至判别器无法判别校正后的第一色卡图像和第二色卡图像，此时生成器输出的多个色彩校正矩阵即为多个目标色彩校正矩阵，解决了相关技术中无法同时获取多个色温下相对应的CCM的问题。

Description

色彩校正矩阵的生成方法、系统、电子装置和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及色彩校正矩阵的生成方法、系统、电子装置和存储介质。
背景技术
随着智能硬件与科技的飞速发展，人们的生活依靠越来越多的智能硬件设备，比如人脸支付平板、人脸识别门禁和人脸门锁等等。而这些智能硬件设备均离不开摄像头获取图像数据，因此图像的质量会直接影响到设备许多功能的性能。颜色是用户评价图像质量的其中一项重要指标，目前在图像颜色的处理上，通常使用一个色彩校正矩阵(Colorcorrection matrix，简称CCM)校正传感器与人眼对光谱响应差异，使得摄像头采集到的图像与人眼视觉在色彩上保持一致，画面更贴近人眼所见的物理世界。
相关技术中，现有的基于神经网络模型获取色彩校正矩阵的方法，一次只能获得某一个色温下的CCM，针对不同色温下的图像，还需要对不同色温下拍摄的色卡图像进行多次训练获得相应的CCM再进行校正。
目前针对相关技术中通过现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，导致CCM生成效率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种色彩校正矩阵的生成方法、系统、电子装置和存储介质，以至少解决相关技术中通过现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，导致CCM生成效率低的问题。
第一方面，本申请实施例提供了一种色彩校正矩阵的生成方法，所述方法包括：
获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，所述分类标签包括所述第一色卡图像对应的第一分类标签和所述第二色卡图像对应的第二分类标签；
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，所述条件生成对抗网络包括生成器和判别器，训练过程包括：
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练判别器，直至所述判别器能正确识别所述第一色卡图像和所述第二色卡图像；
将随机噪声和所述第一分类标签输入到生成器，所述生成器按所述第一分类标签输出多个色彩校正矩阵，并通过多个所述色彩校正矩阵对所述第一色卡图像进行校正，获得校正后的第一色卡图像；
所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别，所述判别器将误差反向传播到所述生成器，更新所述生成器的参数，不断进行所述判别器和所述生成器的对抗过程，直至所述判别器无法判别校正后的第一色卡图像和第二色卡图像，则所述生成器输出的多个色彩校正矩阵为多个目标色彩校正矩阵。
在其中一些实施例中，所述获得训练好的条件生成对抗网络之后，所述方法还包括：
将随机噪声和所述第一分类标签输入到所述训练好的条件生成对抗网络，所述训练好的条件生成对抗网络按所述第一分类标签输出多个目标色彩校正矩阵。
在其中一些实施例中，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别包括：
将所述校正后的第一色卡图像的真实值设定为预设值后，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别。
在其中一些实施例中，训练判别器之前，所述方法还包括：
由神经网络搭建判别器的结构模型，使判别器学习如何将所述第一色卡图像和所述第二色卡图像区分开，其中，所述判别器的损失函数为：
Figure 59707DEST_PATH_IMAGE001
Figure 819853DEST_PATH_IMAGE002
表示判别器的损失函数，
Figure 273837DEST_PATH_IMAGE003
表示第二色卡图像，
Figure 505360DEST_PATH_IMAGE004
表示第二分类 标签，
Figure 626769DEST_PATH_IMAGE005
表示第二色卡图像的概率分布，
Figure 88974DEST_PATH_IMAGE006
表示随机噪声，
Figure 46566DEST_PATH_IMAGE007
表示随机噪声的分 布，E表示期望，
Figure 3152DEST_PATH_IMAGE008
表示第一分类标签，
Figure 464220DEST_PATH_IMAGE009
表示同时将随机噪声z和第一分类标签
Figure 549857DEST_PATH_IMAGE008
输 入到生成器G，
Figure 729165DEST_PATH_IMAGE010
表示第一色卡图像，
Figure 958283DEST_PATH_IMAGE011
表示校正后的第一色卡图像，
Figure 8279DEST_PATH_IMAGE012
表示将校正后的第一色卡图像输入到判别器D里。
在其中一些实施例中，训练生成器之前，所述方法还包括：
由神经网络搭建生成器的结构模型，使生成器将随机噪声转化为色彩校正矩阵，其中，所述色彩校正矩阵能映射所述第一色卡图像到所述第二色卡图像，其中，所述生成器的损失函数为：
Figure 795975DEST_PATH_IMAGE013
其中，
Figure 462580DEST_PATH_IMAGE006
表示随机噪声，
Figure 760968DEST_PATH_IMAGE007
表示随机噪声的分布，E表示期望，
Figure 383580DEST_PATH_IMAGE008
表示第一分类标 签，
Figure 827330DEST_PATH_IMAGE014
表示同时将随机噪声z和第一分类标签
Figure 997543DEST_PATH_IMAGE008
输入到生成器G，
Figure 714002DEST_PATH_IMAGE010
表示第一色卡图 像，
Figure 630268DEST_PATH_IMAGE015
表示校正后的第一色卡图像，
Figure 494187DEST_PATH_IMAGE012
表示将校正后的第一色卡 图像输入到判别器D里。
第二方面，本申请实施例提供了一种色彩校正矩阵的生成系统，所述系统包括获取模块和训练模块，
所述获取模块，用于获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，所述分类标签包括所述第一色卡图像对应的第一分类标签和所述第二色卡图像对应的第二分类标签；
所述训练模块，用于根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，所述条件生成对抗网络包括生成器和判别器，训练过程包括：
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练判别器，直至所述判别器能正确识别所述第一色卡图像和所述第二色卡图像；
将随机噪声和所述第一分类标签输入到生成器，所述生成器按所述第一分类标签输出多个色彩校正矩阵，并通过多个所述色彩校正矩阵对所述第一色卡图像进行校正，获得校正后的第一色卡图像；
所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别，所述判别器将误差反向传播到所述生成器，更新所述生成器的参数，不断进行所述判别器和所述生成器的对抗过程，直至所述判别器无法判别校正后的第一色卡图像和第二色卡图像，则所述生成器输出的多个色彩校正矩阵为多个目标色彩校正矩阵。
在其中一些实施例中，所述获得训练好的条件生成对抗网络之后，将随机噪声和所述第一分类标签输入到所述训练好的条件生成对抗网络，所述训练好的条件生成对抗网络按所述第一分类标签输出多个目标色彩校正矩阵。
在其中一些实施例中，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别包括：
将所述校正后的第一色卡图像的真实值设定为预设值后，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的色彩校正矩阵的生成方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的色彩校正矩阵的生成方法。
相比于相关技术，本申请实施例提供的色彩校正矩阵的生成方法，通过根据第一色卡图像、第二色卡图像和分类标签训练判别器，直至判别器能正确识别第一色卡图像和第二色卡图像，将随机噪声和第一分类标签输入到生成器，生成器按第一分类标签输出多个色彩校正矩阵，并通过多个色彩校正矩阵对第一色卡图像进行校正，获得校正后的第一色卡图像，校正后的第一色卡图像、第二色卡图像和分类标签输入到判别器中进行判别，判别器将误差反向传播到生成器，更新生成器的参数，不断进行判别器和生成器的对抗过程，直至判别器无法判别校正后的第一色卡图像和第二色卡图像，此时生成器输出的多个色彩校正矩阵即为多个目标色彩校正矩阵，解决了现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，CCM生成效率低问题，提高了生成色彩校正矩阵的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的色彩校正矩阵的生成方法的流程图；
图2是根据本申请实施例的另一种色彩校正矩阵的生成方法的流程图；
图3是根据本申请实施例的色彩校正矩阵的生成系统的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种色彩校正矩阵的生成方法，图1是根据本申请实施例的色彩校正矩阵的生成方法的流程图，如图1所示，该方法包括如下步骤：
步骤S101，获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，分类标签包括第一色卡图像对应的第一分类标签和第二色卡图像对应的第二分类标签。
具体的，在不同色温环境下拍摄标准24色色卡，例如，在A光、TL84、D50、D65等n个色温环境下各拍摄未经过色彩校正的标准24色色卡图像多张，同时在目标色温环境下拍摄经过色彩校正的标准24色色卡图像多张，其中，目标色温可以是任意一种色温，优选为与上述n个色温不同。
对所有色卡图像进行裁剪，使得所有色卡图像大小一致，不同色卡图像中相同色块的位置一致，即可得到第一色卡图像A和第二色卡图像B，其中，标准24色色卡图像由24种不同颜色的色块组成。
可选的，第二色卡图像的分类标签为0，根据不同色温环境下的第一色卡图像按照 色温分别打上分类标签为1，2，...，n，并将分类标签进行one-Hot编码，获得编码后的分类 标签y={y0，y1，...，yn}，例如，第二色卡图像的分类标签为0，则y0={1，0，...，0}，A光色温下 的第一色卡图像分类标签为1，则y1={0，1，...，0}，D65色温下的第一色卡图像分类标签为 n，则yn={0，0，...，n}，其中，第一分类标签
Figure 135384DEST_PATH_IMAGE008
={y1，y2，...，yn}，第二分类标签为y0。
进一步的，构建基于条件生成对抗网络(CGAN)生成不同色温下色彩校正矩阵（Color correction matrix，简称CCM）的模型，模型结构分为生成器和判别器两部分，具体包括：
由神经网络搭建生成器（Generator）的结构模型，生成器将随机噪声z转化为CCM，CCM是一个3*3矩阵。由于色彩校正一般是在白平衡之后，为了保证CCM校正不影响白平衡的效果，对CCM的9个参数进行设置，因此z是包含6个变量的一维数组z=[z1，z2，z3，z4，z5，z6]，则构建的CCM如下：
Figure 290422DEST_PATH_IMAGE016
输入随机噪声z和第一分类标签
Figure 716987DEST_PATH_IMAGE008
={y1，y2，...，yn}到生成器，生成器按y1，y2，...， yn输出n个CCM，并将各个CCM对第一色卡图像A中对应色温下的图像进行处理，获得色彩校 正后的第一色卡图像
Figure 33698DEST_PATH_IMAGE017
，例如，根据分类标签y1生成的CCM1就对第一色卡图像A中色温分类 标签为y1的图像进行色彩校正，具体表达式如下述公式1所示：
Figure 427771DEST_PATH_IMAGE018
公式1
其中，G表示生成器，
Figure 104609DEST_PATH_IMAGE019
表示同时将随机噪声z和第一分类标签
Figure 74095DEST_PATH_IMAGE008
={y1， y2，...，yn}输入到生成器，
Figure 483080DEST_PATH_IMAGE010
表示第一色卡图像，
Figure 770973DEST_PATH_IMAGE020
表示校正后的第一色卡图像，其中，色彩 校正矩阵与第一色卡图像的卷积即为色彩校正矩阵对第一色卡图像进行校正。
生成器的损失函数如下述公式2所示：
Figure 752966DEST_PATH_IMAGE013
公式2
其中，
Figure 403390DEST_PATH_IMAGE006
表示随机噪声，
Figure 61905DEST_PATH_IMAGE007
表示随机噪声的分布，E表示期望，
Figure 679837DEST_PATH_IMAGE008
表示第一分类标 签，
Figure 449210DEST_PATH_IMAGE014
表示同时将随机噪声z和第一分类标签
Figure 173714DEST_PATH_IMAGE008
输入到生成器G，
Figure 268709DEST_PATH_IMAGE010
表示第一色卡图 像，
Figure 327932DEST_PATH_IMAGE021
表示校正后的第一色卡图像，
Figure 415843DEST_PATH_IMAGE012
表示将校正后的第一色卡 图像输入到判别器D里。
生成器的目的是找到能映射第一色卡图像A到第二色卡图像B的CCM，使得生成的 校正后的第一色卡图像
Figure 40859DEST_PATH_IMAGE020
尽量地像第二色卡图像B，从而获得不同色温下的CCM，就能够进 一步对不同色温下的图像进行色彩校正。生成器使用生成的校正后的第一色卡图像
Figure 306755DEST_PATH_IMAGE022
被判 别器分类的概率和第二色卡图像B的真实值(第二色卡图像B的真实值为1)的交叉熵作为损 失函数，生成器完成不同色温下CCM的生成，并将经过对应CCM校正后获得的校正后的第一 色卡图像
Figure 118854DEST_PATH_IMAGE020
能尽量地模仿第二色卡图像B，迷惑判别器。
其中，真实值用于表征判别器识别当前样本是真实样本还是生成器生成的假样 本，相当于二分类，所以真实样本的真实值为1，相反生成器生成的新样本为假样本，真实值 为0，其中，第二色卡图像B为真实样本，第一色卡图像A和校正后的第一色卡图像
Figure 246341DEST_PATH_IMAGE022
均为假 样本。
由神经网络搭建判别器(Discriminator)的结构模型，判别器学习如何将校正后 的第一色卡图像
Figure 460284DEST_PATH_IMAGE020
和第二色卡图像B区分开。判别器以当前样本的分类概率和当前样本的 真实值的交叉熵作为损失函数，使得判别器能抵挡住生成器的迷惑，具有良好的分类鲁棒 性。
判别器训练过程的优化目标由判别器的log损失函数的期望和判别器对生成器生成样本的分布的期望构成，如下述公式3所示：
Figure 897082DEST_PATH_IMAGE023
公式3
其中，
Figure 445744DEST_PATH_IMAGE024
表示判别器的损失函数，
Figure 626189DEST_PATH_IMAGE003
表示第二色卡图像B，
Figure 694640DEST_PATH_IMAGE004
为第二 色卡图像B对应的第二分类标签，
Figure 64790DEST_PATH_IMAGE005
表示第二色卡图像B的概率分布，
Figure 585901DEST_PATH_IMAGE025
表示随机 噪声z的分布，E表示期望，
Figure 570037DEST_PATH_IMAGE012
表示将校正后的第一色卡图像
Figure 7841DEST_PATH_IMAGE022
输入到判别器 D里，生成器G的目标就是找到一个映射关系，使得随机噪声z的分布经过映射后作用在第一 色卡图像A上能够逼近于第二色卡图像B的分布，从而迷惑判别器D。
步骤S102，根据第一色卡图像、第二色卡图像和分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，条件生成对抗网络包括生成器和判别器，训练过程包括：
步骤S103，首先训练判别器。将第一色卡图像A、第二色卡图像B和相应的分类标签y输入到判别器中训练，使得判别器能正确识别第一色卡图像和第二色卡图像，判别器训练完成。
步骤S104，固定判别器，训练生成器。将随机噪声z和第一分类标签
Figure 786441DEST_PATH_IMAGE008
={y1，y2，...， yn}输入到生成器，生成器按照y1，y2，...，yn生成共n个色彩校正矩阵CCM1，....，CCMn，再将 CCM1，....，CCMn对第一色卡图像A中对应色温下的图像进行处理，获得校正后的第一色卡图 像
Figure 60427DEST_PATH_IMAGE020
。
步骤S105，将校正后的第一色卡图像
Figure 67829DEST_PATH_IMAGE020
的真实值设定为1后，和第二色卡图像B、分 类标签y一起输入到判别器中进行判别，判别器将误差（loss）反向传播到生成器，更新生成 器的参数。
训练判别器的时候，使判别器损失函数最大化来增加判别器的真假判别能力，训练生成器的时候，使生成器损失函数最小化来提高生成器的模仿能力，每训练一次判别器将训练m次生成器，m的大小可根据训练结果自行调整和设置。
其中，将校正后的第一色卡图像
Figure 376450DEST_PATH_IMAGE020
的真实值设定为1是由于此时生成器是通过判 别器来得到误差的，而误差反向传播的目的是使生成器生成的校正后的第一色卡图像
Figure 60373DEST_PATH_IMAGE022
逐 渐逼近第二色卡图像B。当校正后的第一色卡图像
Figure 70923DEST_PATH_IMAGE020
为假样本，真实值为1，而判别器判别假 样本的输出接近于0，就会形成很大的误差，误差反向传播，对生成器网络的参数进行大更 新；反之，如果生成器生成的假样本足够真实，真实值为1时，判别器判别假样本的输出就会 接近1，所以误差很小，误差反向传播，生成器网络的参数只是微调，趋于稳定，这就完成了 假样本向真样本逐渐逼近的过程，起到了迷惑判别器网络的目的。
步骤S106，判别器和生成器不断进行步骤S103至步骤S105的对抗过程，判别器最 终无法判别生成器生成的校正后的第一色卡图像
Figure 865704DEST_PATH_IMAGE020
和第二色卡图像B，生成器最终生成能 够模仿第二色卡图像B的校正后的第一色卡图像
Figure 294411DEST_PATH_IMAGE020
，也就生成了n个不同色温下的目标色彩 校正矩阵。
通过步骤S101至步骤S106，相对于相关技术中现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，导致CCM生成效率低问题，本实施例通过根据第一色卡图像、第二色卡图像和分类标签训练判别器，直至判别器能正确识别第一色卡图像和第二色卡图像，将随机噪声和第一分类标签输入到生成器，生成器按第一分类标签输出多个色彩校正矩阵，并通过多个色彩校正矩阵对第一色卡图像进行校正，获得校正后的第一色卡图像，校正后的第一色卡图像、第二色卡图像和分类标签输入到判别器中进行判别，判别器将误差反向传播到生成器，更新生成器的参数，不断进行判别器和生成器的对抗过程，直至判别器无法判别校正后的第一色卡图像和第二色卡图像，此时生成器输出的多个色彩校正矩阵即为多个目标色彩校正矩阵，解决了现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，CCM生成效率低问题，提高了生成色彩校正矩阵的效率。
图2是根据本申请实施例的另一种色彩校正矩阵的生成方法的流程图，如图2所 示，随机噪声z和第一分类标签
Figure 414814DEST_PATH_IMAGE008
输入到生成器G中，生成器按y1，y2，...，yn输出n个CCM，各 个CCM对第一色卡图像A中对应色温下的图像进行卷积，获得校正后的第一色卡图像
Figure 148546DEST_PATH_IMAGE022
，校 正后的第一色卡图像
Figure 12596DEST_PATH_IMAGE020
、第二色卡图像B和分类标签y一起输入到判别器中进行判别，判别 器将误差（loss）反向传播到生成器，更新生成器的参数，不断进行判别器和生成器的对抗 过程，判别器最终无法判别生成器生成的校正后的第一色卡图像
Figure 295810DEST_PATH_IMAGE022
和第二色卡图像B，生成 器最终生成能够模仿第二色卡图像B的校正后的第一色卡图像
Figure 570803DEST_PATH_IMAGE022
，也就生成了n个不同色温 下的目标色彩校正矩阵。
在其中一些实施例中，获得训练好的条件生成对抗网络之后，将随机噪声和第一分类标签输入到训练好的条件生成对抗网络，训练好的条件生成对抗网络按第一分类标签输出多个目标色彩校正矩阵。即本实施例中，获得训练好的条件生成对抗网络之后，即可根据随机噪声和第一分类标签同时生成多个目标色彩校正矩阵，进一步提高色彩校正矩阵的生成效率。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种色彩校正矩阵的生成系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的色彩校正矩阵的生成系统的结构框图，如图3所示，该系统包括获取模块31和训练模块32，获取模块31用于获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，分类标签包括第一色卡图像对应的第一分类标签和第二色卡图像对应的第二分类标签，训练模块32用于根据第一色卡图像、第二色卡图像和分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，条件生成对抗网络包括生成器和判别器，训练过程包括：
根据第一色卡图像、第二色卡图像和分类标签训练判别器，直至判别器能正确识别第一色卡图像和第二色卡图像；
将随机噪声和第一分类标签输入到生成器，生成器按第一分类标签输出多个色彩校正矩阵，并通过多个色彩校正矩阵对第一色卡图像进行校正，获得校正后的第一色卡图像；
校正后的第一色卡图像、第二色卡图像和分类标签输入到判别器中进行判别，判别器将误差反向传播到生成器，更新生成器的参数，不断进行判别器和生成器的对抗过程，直至判别器无法判别校正后的第一色卡图像和第二色卡图像，则生成器输出的多个色彩校正矩阵为多个目标色彩校正矩阵。
本实施例解决了现有的基于神经网络模型获取色彩校正矩阵，无法同时获取多个色温下相对应的CCM，CCM生成效率低的问题，提高了生成色彩校正矩阵的效率。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的色彩校正矩阵的生成方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种色彩校正矩阵的生成方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种色彩校正矩阵的生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种色彩校正矩阵的生成方法，其特征在于，所述方法包括：
获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，所述分类标签包括所述第一色卡图像对应的第一分类标签和所述第二色卡图像对应的第二分类标签；
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，所述条件生成对抗网络包括生成器和判别器，训练过程包括：
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练判别器，直至所述判别器能正确识别所述第一色卡图像和所述第二色卡图像；
将随机噪声和所述第一分类标签输入到生成器，所述生成器按所述第一分类标签输出多个色彩校正矩阵，并通过多个所述色彩校正矩阵对所述第一色卡图像进行校正，获得校正后的第一色卡图像；
将校正后的第一色卡图像的真实值设定为真实样本对应的真实值后，将所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别，所述判别器将误差反向传播到所述生成器，更新所述生成器的参数，不断进行所述判别器和所述生成器的对抗过程，直至所述判别器无法判别校正后的第一色卡图像和第二色卡图像，则所述生成器输出的多个色彩校正矩阵为多个目标色彩校正矩阵。
2.根据权利要求1所述的方法，其特征在于，所述获得训练好的条件生成对抗网络之后，所述方法还包括：
将随机噪声和所述第一分类标签输入到所述训练好的条件生成对抗网络，所述训练好的条件生成对抗网络按所述第一分类标签输出多个目标色彩校正矩阵。
3.根据权利要求1所述的方法，其特征在于，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别包括：
将所述校正后的第一色卡图像的真实值设定为1后，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别。
4.根据权利要求1所述的方法，其特征在于，训练判别器之前，所述方法还包括：
由神经网络搭建判别器的结构模型，使判别器学习如何将所述第一色卡图像和所述第二色卡图像区分开，其中，所述判别器的损失函数为：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
表示判别器的损失函数，
Figure DEST_PATH_IMAGE006
表示第二色卡图像，
Figure DEST_PATH_IMAGE008
表示第二分类标签，
Figure DEST_PATH_IMAGE010
表示第二色卡图像的概率分布，
Figure DEST_PATH_IMAGE012
表示随机噪声，
Figure DEST_PATH_IMAGE014
表示随机噪声的分布，E表示期望，
Figure DEST_PATH_IMAGE016
表示第一分类标签，
Figure DEST_PATH_IMAGE018
表示同时将随机噪声z和第一分类标签
Figure 281872DEST_PATH_IMAGE016
输入到生成器G，
Figure DEST_PATH_IMAGE020
表示第一色卡图像，
Figure DEST_PATH_IMAGE022
表示校正后的第一色卡图像，
Figure DEST_PATH_IMAGE024
表示将校正后的第一色卡图像输入到判别器D里。
5.根据权利要求1所述的方法，其特征在于，训练生成器之前，所述方法还包括：
由神经网络搭建生成器的结构模型，使生成器将随机噪声转化为色彩校正矩阵，所述色彩校正矩阵能映射所述第一色卡图像到所述第二色卡图像，其中，所述生成器的损失函数为：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE012A
表示随机噪声，
Figure 589225DEST_PATH_IMAGE014
表示随机噪声的分布，E表示期望，
Figure 837804DEST_PATH_IMAGE016
表示第一分类标签，
Figure DEST_PATH_IMAGE027
表示同时将随机噪声z和第一分类标签
Figure 826489DEST_PATH_IMAGE016
输入到生成器G，
Figure 109703DEST_PATH_IMAGE020
表示第一色卡图像，
Figure DEST_PATH_IMAGE028
表示校正后的第一色卡图像，
Figure 525640DEST_PATH_IMAGE024
表示将校正后的第一色卡图像输入到判别器D里。
6.一种色彩校正矩阵的生成系统，其特征在于，所述系统包括获取模块和训练模块，
所述获取模块，用于获取多个色温环境下未经过色彩校正的第一色卡图像、目标色温环境下经过色彩校正的第二色卡图像，以及根据不同色温环境得到的色卡图像的分类标签，所述分类标签包括所述第一色卡图像对应的第一分类标签和所述第二色卡图像对应的第二分类标签；
所述训练模块，用于根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练条件生成对抗网络，获得训练好的条件生成对抗网络，其中，所述条件生成对抗网络包括生成器和判别器，训练过程包括：
根据所述第一色卡图像、所述第二色卡图像和所述分类标签训练判别器，直至所述判别器能正确识别所述第一色卡图像和所述第二色卡图像；
将随机噪声和所述第一分类标签输入到生成器，所述生成器按所述第一分类标签输出多个色彩校正矩阵，并通过多个所述色彩校正矩阵对所述第一色卡图像进行校正，获得校正后的第一色卡图像；
将校正后的第一色卡图像的真实值设定为真实样本对应的真实值后，将所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别，所述判别器将误差反向传播到所述生成器，更新所述生成器的参数，不断进行所述判别器和所述生成器的对抗过程，直至所述判别器无法判别校正后的第一色卡图像和第二色卡图像，则所述生成器输出的多个色彩校正矩阵为多个目标色彩校正矩阵。
7.根据权利要求6所述的系统，其特征在于，所述获得训练好的条件生成对抗网络之后，将随机噪声和所述第一分类标签输入到所述训练好的条件生成对抗网络，所述训练好的条件生成对抗网络按所述第一分类标签输出多个目标色彩校正矩阵。
8.根据权利要求6所述的系统，其特征在于，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别包括：
将所述校正后的第一色卡图像的真实值设定为1后，所述校正后的第一色卡图像、所述第二色卡图像和所述分类标签输入到所述判别器中进行判别。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的色彩校正矩阵的生成方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的色彩校正矩阵的生成方法。
CN202211243899.0A 2022-10-12 2022-10-12 色彩校正矩阵的生成方法、系统、电子装置和存储介质 Active CN115314604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211243899.0A CN115314604B (zh) 2022-10-12 2022-10-12 色彩校正矩阵的生成方法、系统、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211243899.0A CN115314604B (zh) 2022-10-12 2022-10-12 色彩校正矩阵的生成方法、系统、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN115314604A CN115314604A (zh) 2022-11-08
CN115314604B true CN115314604B (zh) 2023-03-24

Family

ID=83868171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211243899.0A Active CN115314604B (zh) 2022-10-12 2022-10-12 色彩校正矩阵的生成方法、系统、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN115314604B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466171A (zh) * 2020-11-10 2022-05-10 三星电子株式会社 通过采用分色透镜阵列获取图像的装置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244790A (zh) * 2011-06-27 2011-11-16 展讯通信（上海）有限公司 图像信号处理器配套参数的自适应调整装置及方法
WO2021039953A1 (ja) * 2019-08-28 2021-03-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
TWI727497B (zh) * 2019-11-11 2021-05-11 瑞昱半導體股份有限公司 基於感測器特性的影像處理方法
US11983846B2 (en) * 2020-05-13 2024-05-14 Qualcomm Incorporated Machine learning based image adjustment
CN112164005B (zh) * 2020-09-24 2023-03-17 Oppo（重庆）智能科技有限公司 图像颜色校正方法、装置、设备及存储介质
RU2764395C1 (ru) * 2020-11-23 2022-01-17 Самсунг Электроникс Ко., Лтд. Способ и устройство для совместного выполнения дебайеризации и устранения шумов изображения с помощью нейронной сети
EP4256479A1 (en) * 2020-12-03 2023-10-11 National University of Singapore Method and system for training a neural network
CN114827565A (zh) * 2021-01-27 2022-07-29 浙江宇视科技有限公司 色彩校正矩阵确定方法、色彩校正方法、装置及存储介质
WO2022194345A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Modular and learnable image signal processor
CN113240606A (zh) * 2021-05-24 2021-08-10 博奥生物集团有限公司 中医望诊图像颜色校正方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466171A (zh) * 2020-11-10 2022-05-10 三星电子株式会社 通过采用分色透镜阵列获取图像的装置及方法

Also Published As

Publication number Publication date
CN115314604A (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109685116B (zh) 图像描述信息生成方法和装置及电子装置
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN113592991A (zh) 一种基于神经辐射场的图像渲染方法、装置及电子设备
CN109522970B (zh) 图像分类方法、装置及系统
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN113254927B (zh) 一种基于网络防御的模型处理方法、装置及存储介质
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN110766638A (zh) 一种对图像中物体背景风格进行转换方法和装置
CN111695463A (zh) 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN108830782B (zh) 图像处理方法、装置、计算机设备和存储介质
CN116189265A (zh) 基于轻量化语义Transformer模型的素描人脸识别方法、装置及设备
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN113221695A (zh) 训练肤色识别模型的方法、识别肤色的方法及相关装置
CN115314604B (zh) 色彩校正矩阵的生成方法、系统、电子装置和存储介质
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
TWI780563B (zh) 圖像定位模型獲取方法、終端和電腦可讀儲存介質
CN116048682A (zh) 一种终端系统界面布局对比方法及电子设备
CN111652108B (zh) 抗干扰的信号识别方法、装置、计算机设备和存储介质
CN114462546A (zh) 一种基于多模型融合的特征蒸馏方法、系统、设备和介质
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备
CN112329915A (zh) 模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant