CN115082703B - 概念关联颜色提取方法、装置、计算机设备和存储介质 - Google Patents
概念关联颜色提取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115082703B CN115082703B CN202210844694.1A CN202210844694A CN115082703B CN 115082703 B CN115082703 B CN 115082703B CN 202210844694 A CN202210844694 A CN 202210844694A CN 115082703 B CN115082703 B CN 115082703B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- processed
- concept
- probability distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种概念关联颜色提取方法、装置、计算机设备和存储介质。所述方法包括：获取待处理图像集；所述待处理图像集包括多个待处理图像；将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；将所述待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。采用本方法能够降低概念关联颜色提取的人工成本。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种概念关联颜色提取方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
概念关联颜色提取是指提取概念与颜色相关联的数据。当可视化中的类别使用的颜色符合人类的语义期望时，会更容易解释相应类别的信息，这意味着颜色可以通过语义方式进行解释。例如，草莓被表示为红色，芒果被表示为黄色。传统方式中是通过人工确定与概念相关联的颜色数据，以创建可视化的颜色和概念的关联数据集。
然而传统方式需要收集大量的概念与各种颜色相关联的用户真实评分来确定与概念相关联的颜色数据，会耗费大量的人工成本。因此，如何降低概念关联颜色提取的人工成本成为目前需要解决的一个技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低概念关联颜色提取的人工成本的概念关联颜色提取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种概念关联颜色提取方法。该方法包括：
获取待处理图像集；待处理图像集包括多个待处理图像；
将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
在其中一个实施例中，将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布包括：
将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
在其中一个实施例中，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布包括：
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布；
将各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布。
在其中一个实施例中，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布包括：
将各待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到各待处理图像中每个像素对应的LAB颜色概率分布；
将LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
在其中一个实施例中，将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集包括：
将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布；
将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半；
对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
在其中一个实施例中，在获取待处理图像集之前，方法还包括：
获取已知概念图像集；
将已知概念图像集转换为LAB颜色空间图像集；
将LAB颜色空间图像集输入至待训练的深度学习模型中，预测LAB颜色空间图像集中各LAB颜色空间图像对应的样本颜色概率分布；
根据交叉熵损失函数以及样本颜色概率分布计算待训练的深度学习模型的交叉熵损失值；
根据交叉熵损失值训练待训练的深度学习模型，直至满足模型停止条件，得到图像着色模型。
第二方面，本申请还提供了一种概念关联颜色提取装置。该装置包括：
图像集获取模块，用于获取待处理图像集；待处理图像集包括多个待处理图像；
分布预测模块，用于将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
分布映射模块，用于将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
分布累积模块，用于将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待处理图像集；待处理图像集包括多个待处理图像；
将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待处理图像集；待处理图像集包括多个待处理图像；
将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待处理图像集；待处理图像集包括多个待处理图像；
将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
上述概念关联颜色提取方法、装置、计算机设备、存储介质和计算机程序产品，所采用的图像着色模型是通过已知概念图像集训练得到的，从而通过图像着色模型预测待处理图像的目标颜色概率分布，进而基于目标颜色概率分布得到颜色概念关联数据集，无须依赖于概念与各种颜色相关联的人工评分数据，减少了收集真实用户评分的成本，从而降低了概念关联颜色提取的人工成本，同时提高了概念关联颜色提取的效率。另外，颜色概念关联分布是依赖于图像着色模型的上色处理预测得到的，因此，颜色概念关联分布是贴近于视觉中观察到的概念图像的颜色，因而与真实用户评分也更加近似，由此提高了颜色概念关联数据集的准确性。
附图说明
图1为一个实施例中概念关联颜色提取方法的应用环境图；
图2为一个实施例中概念关联颜色提取方法的流程示意图；
图3为一个实施例中图像着色模型的网络结构示意图；
图4为一个实施例中将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库步骤的流程示意图；
图5为一个实施例中颜色映射的示意图；
图6为一个实施例中预测单个待处理图像的颜色概念关联分布的流程示意图；
图7为另一个实施例中概念关联颜色提取方法的流程示意图；
图8为一个实施例中深度学习模型的训练示意图；
图9为一个实施例中图像着色模型在测试集中对不同概念灰度图像的着色示例结果；
图10为一个实施例中在相同概念的不同图像中提取的颜色评级的示例图；
图11为一个实施例中基于多个图像的不同概念产生的颜色概念关联数据的示意图；
图12为一个实施例中概念关联颜色提取装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的概念关联颜色提取方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104可以获取终端102发送的原始概念图像集，将原始概念图像集转换为待处理图像集，待处理图像集包括多个待处理图像，将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布，从而将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布，进而将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种概念关联颜色提取方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取待处理图像集；待处理图像集包括多个待处理图像。
其中，待处理图像集是指包括多种概念的自然图像集，用于创建颜色概念关联数据集。概念是指图像所表示的含义，也可以称为类别，如芒果、葡萄等。待处理图像集中包括多个待处理图像。
具体地，服务器可以获取终端发送的原始概念图像集。原始概念图像集中的图像为RGB图像。将原始概念图像集转换至LAB颜色空间（CIELAB，颜色-对立空间）中，得到LAB图像集，将LAB图像集作为待处理图像集。待处理图像集中各待处理图像的颜色分为三个通道：L表示亮度通道；A表示范围从深绿色到深红色的色度通道；B表示范围从深蓝色到黄色的色度通道。
步骤204，将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布。
其中，已知概念图像集是指用于训练图像着色模型的样本图像集，该已知概念图像集无须收集大量的概念与各种颜色相关联的人工评分数据。目标颜色概率分布是指与概念有关联的颜色的概率分布。
服务器中预先存储有图像着色模型，图像着色模型是通过已知概念图像集训练得到的图像着色模型。图像着色模型的目标是预测图像中每个像素可能的颜色分布，而非预测像素的单一确定颜色，因此，图像着色模型能够在大范围颜色中量化颜色概念的关联。
具体地，服务器将多个待处理图像输入至图像着色模型中，通过图像着色模型对各待处理图像的上色处理，预测各待处理图像中每个像素可能出现的颜色概率分布，即预测各待处理图像中每个像素对应的目标颜色概率分布。
可选地，图像着色模型的网络结构示意图可以如图3所示，图像着色模型由8个块组成，每个块包含2或3个重复的卷积层、ReLU（激活函数）层以及一个BN（BatchNormalization，标准化）层。第一个块中可以包括两个卷积层Conv 1_1和Conv 1_2，第二个块中可以包括两个卷积层Conv 2_1和Conv 2_2，第三个块中可以包括三个卷积层Conv 3_1、Conv 3_2和Conv 3_3，第四个块中可以包括三个卷积层Conv 4_1、Conv 4_2和Conv 4_3，第五个块中可以包括三个卷积层Conv 5_1、Conv 5_2和Conv 5_3，第六个块中可以包括三个卷积层Conv 6_1、Conv 6_2和Conv 6_3，第七个块中可以包括三个卷积层Conv 7_1、Conv7_2和Conv 7_3，第八个块中可以包括卷积层Conv 8_1、Conv 8_2、Conv 8_3和Conv 8_313，其中，Conv 8_313用于对A色度通道和B色度通道所构成的空间进行量化处理。图像着色模型的配置信息如下表1所示：
表1 图像着色模型配置信息
步骤206，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布。
其中，颜色概念关联分布是指从待处理图像的目标颜色概率分布中提取的颜色评级，也可以称为颜色评分。
具体地，将图像着色模型预测的各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，在预设颜色库中确定每个像素的颜色库概率分布。其中，颜色库概率分布是指目标颜色概率分布在预设颜色库中的关联分布。从而聚合各待处理图像中所有像素的颜色库概率分布，得到各待处理图像对应的颜色概念关联分布。颜色概念关联分布为图像级别的颜色概念关联分布。
步骤208，将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
对于一组有相同概念的待处理图像，可以计算所有待处理图像的平均概率分布，得到累积的颜色概念关联分布。对累积的颜色概念关联分布进行规范化处理，以得到最终的颜色概念关联数据集，从而实现颜色概念关联数据集的创建。颜色概念关联数据集中可以包括概念与颜色相关联的数据，概念所使用的颜色是符合人类的语义期望的。颜色概念关联数据集可以用于解释图形和图表的信息。
上述概念关联颜色提取方法中，所采用的图像着色模型是通过已知概念图像集训练得到的，从而通过图像着色模型预测待处理图像的目标颜色概率分布，进而基于目标颜色概率分布得到颜色概念关联数据集，无须依赖于概念与各种颜色相关联的人工评分数据，减少了收集真实用户评分的成本，从而降低了概念关联颜色提取的人工成本，同时提高了概念关联颜色提取的效率。另外，颜色概念关联分布是依赖于图像着色模型的上色处理预测得到的，因此，颜色概念关联分布是贴近于视觉中观察到的概念图像的颜色，因而与真实用户评分也更加近似，由此提高了颜色概念关联数据集的准确性。
在一个实施例中，将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布包括：将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
待处理图像可以包括三个通道：L亮度通道、A色度通道和B色度通道。L亮度通道的值可以简称为L亮度值，A色度通道的值可以简称为A颜色值，B色度通道的值可以简称为B颜色值，A色度通道和B色度通道所构成的空间可以称为AB颜色空间。待处理图像为概念图像。将待处理图像的L亮度通道值作为图像着色模型的输入，输入至图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布。其中，色度通道颜色概率分布是指AB颜色空间上的概率图。将每个像素的色度通道颜色概率分布确定为目标颜色概率分布。
进一步的，服务器可以将各待处理图像中AB颜色空间量化为多个方块，根据方块的数量来预测各待处理图像中每个像素的色度通道颜色概率分布。每个方块对应一个AB颜色值。例如，可以根据预设网格尺寸将各待处理图像中AB颜色空间量化为多个方块，预设网格尺寸为10×10，划分得到的方块总数量为313。能够尽可能地捕获到输入的待处理图像的所有颜色，从而提高着色准确性。
示例性地，待处理图像的L亮度通道值可以表示为
，其中，R表示待处
理图像，H和W表示待处理图像的尺寸。图像着色模型预测的目标颜色概率分布可以表示为
，其中，Q表示量化的AB颜色空间中AB颜色值的数量，如Q=313，每个AB颜
色值都保持在AB颜色空间内。
在本实施例中，通过已知概念图像集训练得到的图像着色模型对待处理图像的亮度通道值进行预测运算，得到色度通道颜色概率分布，能够在待处理的概念图像与其语义颜色之间建立对应关系，有利于后续生成颜色概念关联数据集。
在一个实施例中，如图4所示，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布包括：
步骤402，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
步骤404，将各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布。
图像着色模型预测的目标颜色概率分布为AB颜色空间上的概率图，为了得到完整的颜色分布，服务器可以将各待处理图像的每个像素的目标颜色概率分布与对应待处理图像的L亮度通道值进行结合，得到各待处理图像中每个像素对应的LAB颜色概率分布，即完整的颜色概率分布。从而将LAB颜色概率分布映射至预设颜色库，以得到各待处理图像中每个像素的颜色库概率分布。
待处理图像包括多个像素，服务器可以将各待处理图像中所有像素的颜色库概率分布进行聚合，进而得到各待处理图像对应的颜色概念关联分布。具体地，聚合是指将各待处理图像中所有像素的颜色库概率分布进行求和取平均。
进一步的，服务器可以在将各待处理图像对应的像素的颜色库概率分布进行聚合之前，剔除掉各待处理图像中与概念物体无关的背景像素，只保留各待处理图像中概念物体的像素集合F。例如，可以采用现有的前景检测方法得到像素集合F。因此，在进行聚合操作时，只需要聚合各待处理图像对应的像素集合F的颜色库概率分布即可，能够去除对于颜色概念关联分布是冗余且带有干扰的颜色，使颜色概念关联分布能更加贴近人类的评分。聚合公式可以如下所示：
其中，
表示各待处理图像中像素集合F的颜色库概率分布，
表示各待处理
图像对应像素的颜色库概率分布，F表示各待处理图像中概念物体的像素集合，
表
示各待处理图像中像素的像素位置。
在本实施例中，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，并将映射得到的各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布，能够快速得到待处理图像的颜色概念关联分布，即得到颜色评分。与传统方式通过人工收集真实用户评分相比，实现难度大大降低。
在一个实施例中，将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布包括：将各待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到各待处理图像中每个像素对应的LAB颜色概率分布；将LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
具体地，将各待处理图像中每个像素的亮度通道值分别与其对应的Q个AB颜色值
结合，则每个像素都有对应的Q个LAB颜色概率分布，即将量化的AB颜色空间映射到LAB颜色
概率分布空间。Q个LAB颜色概率分布可以表示为
，其中，
表示像素位置。
对于LAB颜色概率分布中的颜色
的概率可以表示为
，将每种颜色的概率分配到预设颜色库
中，以获
得待处理图像中每个像素的颜色库概率分布
。具体地，可以根据预设映射
公式计算各待处理图像中每个像素的颜色库概率分布，预设映射公式可以如下所示：
其中，
表示各待处理图像中每个像素的颜色库概率分布，
表示颜色
对应的颜色权重，
表示颜色
的概率。
进一步地，颜色权重是根据LAB颜色概率分布中每种颜色到预设颜色库中各个颜色的感知距离进行归一化处理得到的。首先分别计算每种颜色与预设颜色库中各个颜色的感知距离，对计算的LAB颜色概率分布中多种颜色的感知距离进行归一化处理，进而根据归一化后的数据以及权重计算关系计算得到每种颜色对应的颜色权重。例如，感知距离可以是欧几里得距离。可以使用z-scores（Z得分）方法进行归一化处理。权重计算关系是指颜色权重的计算公式，可以如下所示：
其中，
表示颜色
对应的颜色权重，
表示归一化后的数据，N表示预设颜
色库中的颜色数量。
颜色映射的示意图可以如图5所示，其中，
表示预设颜色库，每个长方格代表
一个颜色，
表示颜色
与预设颜色库
中每个颜色的感知距离，
表示颜
色
对应的分布权重，
表示颜色
的概率，柱子越高，表明概率越大。通过
与
的渐变条变化即可得出颜色权重与感知距离成反比，即与
感知距离越近的颜色
被分配的权重越大。
在本实施例中，通过将待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到一个完整的颜色分布，再将得到的LAB颜色概率分布中每种颜色的概率分配至预设颜色库，由此可以得到准确的颜色库概率分布。
在一个实施例中，将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集包括：将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布；将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半；对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
对于待处理图像集中具有相同概念的待处理图像，在计算得到颜色概念关联分布
后，可以进一步计算所有图像的平均概率分布，得到累积的颜色概念关联。累积的颜色概念
关联可以表示为
。
由于待处理图像为自然图像，在照明方面具有很大的可变性，如图像中可能有白色光泽和深色阴影的区域，它们不是与概念相关的常见颜色，对可视化的有用程度较低，需要减少这些颜色对颜色概念关联分布的影响。服务器可以将累积的颜色概念关联分布中色度通道值为预设阈值的概率减半。其中，色度通道值是指AB颜色值。例如，预设阈值可以是零。
对减半后的颜色概念关联分布进行重新规范化处理以获得最终的颜色概念关联，进而得到颜色概念关联数据集。例如，规范化方式可以是z-scores（Z得分）。
在本实施例中，通过累积具有相同概念的待处理图像对应的颜色概念关联分布，能够得到更为准确的颜色概念关联数据集。通过将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半，能够减少光照颜色对颜色概念关联分布的影响，以提高颜色概念关联数据集的准确性。
在一个实施例中，如图6所示，提供了一种预测单个待处理图像的颜色概念关联分布的流程示意图。其中，服务器可以将单个待处理图像的两个亮度通道值L=40和L=90输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测单个待处理图像中每个像素的目标颜色概率分布，目标颜色概率分布可以用log(P(A,B))图来表示，其中，横坐标表示A颜色值，纵坐标表示B颜色值。从而将单个待处理图像中每个像素的亮度通道值L与对应的Q个AB颜色值进行结合，得到LAB颜色概率分布空间。Q个AB颜色值可以用RGB（A,B）图来表示，其中，横坐标表示A颜色值，纵坐标表示B颜色值。将每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到单个待处理图像中每个像素对应的LAB颜色概率分布。进而将LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到单个待处理图像中每个像素的颜色库概率分布，将单个待处理图像对应的像素的颜色库概率分布进行聚合，得到单个待处理图像对应的颜色概念关联分布。
在另一个实施例中，如图7所示，提供了一种概念关联颜色提取方法，包括以下步骤：
步骤702，获取已知概念图像集。
步骤704，将已知概念图像集转换为LAB颜色空间图像集。
步骤706，将LAB颜色空间图像集输入至待训练的深度学习模型中，预测LAB颜色空间图像集中各LAB颜色空间图像对应的样本颜色概率分布。
步骤708，根据交叉熵损失函数以及样本颜色概率分布计算待训练的深度学习模型的交叉熵损失值。
步骤710，根据交叉熵损失值训练待训练的深度学习模型，直至满足模型停止条件，得到图像着色模型。
步骤712，获取待处理图像集；待处理图像集包括多个待处理图像。
步骤714，将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
步骤716，将各待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到各待处理图像中每个像素对应的LAB颜色概率分布。
步骤718，将LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
步骤720，将各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布。
步骤722，将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布。
步骤724，将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半。
步骤726，对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
其中，已知概念图像集是指包括多种概念的自然图像集，其类别是已知的，但是并未标注有类别标签。
本实施例中所采用的图像着色模型可以是在实际应用之前进行训练得到的。在模型训练过程中，需要先获取训练图像集。具体地，可以获取已知概念图像集，将已知概念图像集转换为LAB颜色空间图像集，将LAB颜色空间图像集确定为训练图像集。LAB颜色空间图像集并未标注类别标签。
获取的已知概念图像集可以包括Recycling6、Fruit12、Fruit5和Vegetable5。其中，Recycling6中包括6种回收物品，分别为：堆肥、玻璃、金属、纸张、塑料和垃圾，每个类别大约由70张图像组成，对应的真实用户评分是各个物体概念定义在BCP-37颜色库(Berkeley Color Project 37 color library，伯克利颜色项目37颜色库)上的关联分布。Fruit12中包括12种水果：牛油果、蓝莓、哈密瓜、葡萄柚、白兰瓜、柠檬、青柠、芒果、橘子、覆盆子、草莓和西瓜。每个类别大约由50张图像组成，对应的真实用户评分是各个物体概念定义在UW-58颜色库(University of Wisconsin 58，威斯康星大学58)上的关联分布。Fruit5中包括另外5种水果，分别为苹果、香蕉、樱桃、葡萄和桃子。每个类别大约由50张图像组成，对应的真实用户评分是各个物体概念定义在UW-71颜色库（University of Wisconsin 71，威斯康星大学71）上的关联分布。Vegetable5中包括5种蔬菜，分别为胡萝卜、芹菜、玉米、茄子和蘑菇。每个类别大约由50张图像组成，对应的真实用户评分是各个物体概念定义在UW-71颜色库上的关联分布。由于Fruit5和Vegetable5数据集，传统方式只是提供了用户真实的概念-颜色打分，需要在搜索引擎上通过关键词检索来获得指定数量的图像，得到已知概念图像集。
可选地，由于输入到待训练的深度学习模型中的数据是lmdb（lightning memory-mapped database，内存映射数据库）文件格式，在得到LAB颜色空间图像集之后，可以通过脚本编写将LAB颜色空间图像集中的所有图像缩放至256*256尺寸，并制成lmdb文件作为深度学习模型的输入进行训练。
将LAB颜色空间图像集输入至待训练的深度学习模型中，通过深度学习模型预测LAB颜色空间图像集中各LAB颜色空间图像对应的样本颜色概率分布。深度学习模型预测样本颜色概率分布的方式与实际应用过程中图像着色模型预测目标颜色概率分布的方式是相同的，此处不再赘述。深度学习模型的网络结构与上述图像着色模型的网络结构是相同的，此处不再赘述。
进一步地，深度学习模型可以是已经提前在ImageNet数据集上预训练过的（ImageNet数据集有1.3M张图像，包含了许多常见的类别），拥有一些类别的已知先验，之后，再通过LAB颜色空间图像集对该深度学习模型进行网络参数微调，以预测样本颜色概率分布。能够较为准确地根据不同的概念预测出与之对应的样本颜色概率分布。
为了让训练过程中预测的样本颜色概率分布能有对应的真实颜色概率分布作为
定义交叉熵损失函数的依据，可以将已知概念图像集中各已知概念图像的AB值进行软编码
转换，得到各已知概念图像对应的颜色概率分布，将该颜色概率分布确定为对应的LAB颜色
空间图像的真实颜色概率分布，从而根据交叉熵损失函数计算各LAB颜色空间图像对应的
样本颜色概率分布与对应的真实颜色概率分布之间的交叉熵损失值，进而根据交叉熵损失
值训练待训练的深度学习模型，直至满足模型停止条件，得到图像着色模型。具体地，软编
码转换是指对于各已知概念图像中每个像素的AB颜色值，在量化的q个AB颜色值中找到最
临近的5个AB颜色值，使用
的高斯核成比例地将确定的最邻近颜色值与对应的已
知概念图像中对应像素的AB颜色值的距离进行加权，从而得到真实颜色概率分布。模型停
止条件可以是交叉熵损失值不再下降或者到达预设迭代次数。
服务器可以使用预测的样本颜色概率分布与真实颜色概率分布的交叉熵损失作为深度学习模型的损失函数，根据该损失函数计算交叉熵损失值。损失函数可以如下所示：
其中，
表示一个加权项，收集了ImageNet数据集上的1.3M张图像的像素在ab
颜色空间中的经验分布，可以防止预测的颜色受大量低饱和度的背景颜色的影响，它赋予
低饱和度颜色像素更少的权重，给予高饱和度颜色更大的权重和关注力，这是因为背景元
素的出现，如云、路面、污垢和墙壁，会导致自然图像中低饱和度的像素数量比高饱和度像
素高几个数量级的颜色失衡现象，
表示将样本颜色概率分布映射至LAB颜色概
率分布空间，得到的LAB颜色概率分布；
表示样本颜色概率分布，
表示真实颜色概率分布。
示例性地，深度学习模型的训练示意图可以如图8所示，其中，（1）表示将已知概念
图像集中的单个概念图像转换为LAB颜色空间图像；（2）表示将该LAB颜色空间图像的亮度
通道值L输入至待训练的深度学习模型中；（3）表示通过深度学习模型预测该LAB颜色空间
图像对应的样本颜色概率分布P；（4）表示获取单个概念图像的AB颜色值；（5）表示将单个概
念图像的AB颜色值进行软编码转换，得到真实颜色概率分布
；（6）表示根据交叉熵损失
函数以及样本颜色概率分布计算待训练的深度学习模型的交叉熵损失值，根据交叉熵损失
值训练待训练的深度学习模型。
在本实施例中，通过将传统方式中需要通过真实用户评分来监督模型进行学习的限值问题转换为自监督学习的问题，实现自监督学习概念图像中的语义颜色，预测出与之对应的颜色概率分布，大大增加了本申请的适用范围。同时只需要收集概念相关的图像作为训练图像集进行模型训练，减少了人工收集用户真实的概念-颜色打分才能进行训练的开销。
上述概念关联颜色提取方法不仅能够降低人工成本，还能够提高颜色概念关联数据集的准确性。为了验证颜色概念关联数据集的准确性，对上述概念关联颜色提取方法进行评估，具体可以包括定性评估和定量评估。
1、定性评估
上述概念关联颜色提取方法首先使用图像着色网络着色每个待处理图像，以预测每个像素的色度通道颜色概率分布。然后，从每个待处理图像的每个像素的目标颜色概率分布中提取颜色评级，即提取颜色概念关联分布。最后累积数据集中具有相同概念的所有图像的评级，以提供最终的颜色概念关联数据。
因此，对上述方法的三个步骤提供了定性分析。为了验证图像着色模型的结果，在不可见的概念图像上测试训练后的图像着色模型，并将预测的分布进行退火均值操作得到上色图像。退火均值操作是指将图像着色模型预测出来的每个像素的色度通道颜色概率分布转换为一个具体的AB通道值。具体地，退火均值操作包括模拟退火和取均值两个过程。模拟退火操作是指将每个像素的色度通道颜色概率分布z进行形状改变，从而改变整个分布的颜色饱和程度。之后，再取分布的均值来得到一个像素的AB通道值。通过退火均值操作有效避免了预测颜色在空间上不连续的问题，使最终的预测结果能够呈现更加自然的颜色饱和度。如图9所示，显示了图像着色模型在测试集中对不同概念灰度图像的着色示例结果。可知，着色结果（每个示例的第二张）在视觉上十分接近真实图像（每个示例的第三张），有的着色结果甚至比原图的像素颜色更加鲜艳，体现出图像着色模型的对颜色选择的合理性。
如图10所示，为在上述方法的第二步中，在相同概念的不同图像中提取的颜色评级的示例图。可以看到，上述方法颜色评级能捕捉到图像中不同的颜色概念关联分布。
如图11所示，为基于多个图像的不同概念产生的颜色概念关联数据的示意图。可以看到，与Supervised（监督式的颜色概率估计方法）和GT color-concept association（GT颜色概念估计方法）相比，上述方法预测出来的颜色概念关联数据在与给定概念相关度更高的一些颜色上的峰值更加突出。
通过以上的观察结果得到，上述方法中的图像着色模型能很好地适应不同概念的图像，甚至是未见的概念图像也能有很好的上色效果，同时，图像着色模型还能捕捉到相同概念不同图像下的颜色分布情况，进一步验证图像着色模型预测的颜色概率分布的可靠性与真实性。最后，从提取到的颜色评级结果可以看到，与现有方法相比，上述方法所提取的颜色评级对于与概念关联度更高的一些颜色上表现十分突出，这与真实用户评分情况十分接近。
2、定量评估
通过一系列实验来评估上述方法的量化结果，以展示其优势。
（1）与基线的对比。将本方法与Rathore等人提出的颜色概率估计方法Supervised作比较。在使用本方法和Supervised得到最终的颜色概念关联数据之后，采用四个度量标准来评估评级结果与真实评级的比较：第一个是皮尔逊相关系数(Corr)，用于测量两个分布之间的线性相关性；第二个是全局差异距离(Total Variation distance，简称TV)，采用的是Mukherjee等人提出的L1距离的一半来计算；第三个是推土距离(Earth Mover'sDistance，简称EMD)，以上两个度量只是将两个颜色分布视为两个向量进行差异比较，而EMD将颜色的感知差异考虑进来，更接近用户感知，已被广泛用于比较两个概率分布；第四个是熵差(Entropy Difference，简称ED)，除了比较分布的差异，特异性是颜色概念关联所具有的关键特性之一，它指的是颜色概念关联分布的“峰值”，熵差可以作为量化两个分布特异性的相似度的辅助度量。如下表1所示，为基线对比结果，可以看到本方法提供了整体更好的结果，特别是EMD和ED指标，在四个数据集上都能超过之前的方法，而EMD和ED指标在四个指标中都更偏向于关注分布的相似性。
表 1 基线对比结果
（2）消融试验。为了证明本方法的几个关键设计选择是合理的，通过以下四个设置进行消融研究。No Fine-tuning（无微调）：直接使用在Imagenet数据集上预先训练的模型，而无需通过输入概念图像对模型参数进行微调；No Pre-training（无预训练）：直接在概念图像上训练深度学习模型，而不使用在大规模ImageNet数据集上进行过预先训练的模型；No Seg-mask（无掩码）：在颜色映射过程中，利用了概念图像中的所有像素，而没有剔除掉背景像素；No Post-processing（无后期处理）：直接操作颜色概率分布映射到颜色评级作为最终的颜色评级，而没有将ab颜色值等于零的颜色概率减半。
在已知概念图像集的四个数据集上进行了消融研究。发现对于No Fine-tuning设置，模型纯粹是从ImageNet中各种概念图像中学习信息，这使得提取的分布与已知概念图像集中的概念没有具体的联系，从而导致最差的结果。对于No Pre-training设置，网络从已知概念图像集中特定的概念图像中学习颜色和概念之间的关联，这会比No Fine-tuning设置的结果好得多，同时这也表明本方法可以使用一个小数据集获得合理的结果。然后，因为对于已知概念图像集也仅仅是收集每个概念的50张图像，这使得模型有时会因数据集中给定的样本而产生偏差。因此，模型没有学习更一般的色彩概念关联。当使用在ImageNet上预先训练好并在概念图像上进行参数微调的深度学习模型时，性能会变得更好。对于NoSeg-mask设置，可以发现背景会给颜色分布增加一些随机噪声或偏差。而对于No Post-processing，发现概念图像会因为光和阴影的原因，导致预测分布出现白色或灰色占主导颜色的情况，通过后处理可以缓解该情况。可以看到，使用完整的一套方法能够提供更好的效果。消融实验结果如下表2所示：
表 2 消融实验结果
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的概念关联颜色提取方法的概念关联颜色提取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个概念关联颜色提取装置实施例中的具体限定可以参见上文中对于概念关联颜色提取方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种概念关联颜色提取装置，包括：图像集获取模块1202、分布预测模块1204、分布映射模块1206和分布累积模块1208，其中：
图像集获取模块1202，用于获取待处理图像集；待处理图像集包括多个待处理图像。
分布预测模块1204，用于将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的目标颜色概率分布。
分布映射模块1206，用于将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布。
分布累积模块1208，用于将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集。
在一个实施例中，分布预测模块1204还用于将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
在一个实施例中，分布映射模块1206还用于将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布；将各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布。
在一个实施例中，分布映射模块1206还用于将各待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到各待处理图像中每个像素对应的LAB颜色概率分布；将LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
在一个实施例中，分布累积模块1208还用于将待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布；将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半；对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
在一个实施例中，上述装置还包括：模型训模块，用于获取已知概念图像集；将已知概念图像集转换为LAB颜色空间图像集；将LAB颜色空间图像集输入至待训练的深度学习模型中，预测LAB颜色空间图像集中各LAB颜色空间图像对应的样本颜色概率分布；根据交叉熵损失函数以及样本颜色概率分布计算待训练的深度学习模型的交叉熵损失值；根据交叉熵损失值训练待训练的深度学习模型，直至满足模型停止条件，得到图像着色模型。
上述概念关联颜色提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像着色模型、颜色概念关联数据集等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种概念关联颜色提取方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种概念关联颜色提取方法，其特征在于，所述方法包括：
获取待处理图像集；所述待处理图像集包括多个待处理图像；
将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
将所述待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集，包括：将所述待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布；将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半；对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
2.根据权利要求1所述的方法，其特征在于，所述将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的目标颜色概率分布包括：
将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
3.根据权利要求1所述的方法，其特征在于，所述将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布包括：
将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布；
将各待处理图像对应的像素的颜色库概率分布进行聚合，得到各待处理图像对应的颜色概念关联分布。
4.根据权利要求3所述的方法，其特征在于，所述将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布包括：
将各待处理图像中每个像素的目标颜色概率分布映射至LAB颜色概率分布空间，得到各待处理图像中每个像素对应的LAB颜色概率分布；
将所述LAB颜色概率分布中每种颜色的概率分配至预设颜色库，得到各待处理图像中每个像素的颜色库概率分布。
5.根据权利要求3所述的方法，其特征在于，在所述将各待处理图像对应的像素的颜色库概率分布进行聚合之前，所述方法还包括：
剔除掉各待处理图像中与概念物体无关的背景像素。
6.根据权利要求1至5任意一项所述的方法，其特征在于，在所述获取待处理图像集之前，所述方法还包括：
获取已知概念图像集；
将所述已知概念图像集转换为LAB颜色空间图像集；
将所述LAB颜色空间图像集输入至待训练的深度学习模型中，预测所述LAB颜色空间图像集中各LAB颜色空间图像对应的样本颜色概率分布；
根据交叉熵损失函数以及所述样本颜色概率分布计算所述待训练的深度学习模型的交叉熵损失值；
根据所述交叉熵损失值训练所述待训练的深度学习模型，直至满足模型停止条件，得到图像着色模型。
7.一种概念关联颜色提取装置，其特征在于，所述装置包括：
图像集获取模块，用于获取待处理图像集；所述待处理图像集包括多个待处理图像；
分布预测模块，用于将多个待处理图像输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的目标颜色概率分布；
分布映射模块，用于将各待处理图像中每个像素的目标颜色概率分布映射至预设颜色库，得到各待处理图像对应的颜色概念关联分布；
分布累积模块，用于将所述待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行累积计算，得到颜色概念关联数据集，包括：将所述待处理图像集中具有相同概念的待处理图像对应的颜色概念关联分布进行平均概率分布计算，得到多个累积的颜色概念关联分布；将多个累积的颜色概念关联分布中色度通道值为预设阈值的概率减半；对多个减半后的颜色概念关联分布进行规范化处理，得到颜色概念关联数据集。
8.根据权利要求7所述的装置，其特征在于，所述分布预测模块还用于将多个待处理图像的亮度通道值输入至通过已知概念图像集训练得到的图像着色模型中，通过所述图像着色模型预测各待处理图像中每个像素的色度通道颜色概率分布，作为目标颜色概率分布。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210844694.1A CN115082703B (zh) | 2022-07-19 | 2022-07-19 | 概念关联颜色提取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210844694.1A CN115082703B (zh) | 2022-07-19 | 2022-07-19 | 概念关联颜色提取方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082703A CN115082703A (zh) | 2022-09-20 |
| CN115082703B true CN115082703B (zh) | 2022-11-11 |
Family
ID=83258787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210844694.1A Active CN115082703B (zh) | 2022-07-19 | 2022-07-19 | 概念关联颜色提取方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082703B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| CN106354838A (zh) * | 2016-08-31 | 2017-01-25 | 上海交通大学 | 一种基于语义共鸣色彩的数据可视化方法 |
| CN108664969A (zh) * | 2018-04-28 | 2018-10-16 | 西安电子科技大学 | 基于条件随机场的路标识别方法 |
| CN108921932A (zh) * | 2018-06-28 | 2018-11-30 | 福州大学 | 一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法 |
| CN109117723A (zh) * | 2018-07-06 | 2019-01-01 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| US10282672B1 (en) * | 2014-06-26 | 2019-05-07 | Amazon Technologies, Inc. | Visual content analysis system with semantic framework |
| CN111401373A (zh) * | 2020-03-04 | 2020-07-10 | 武汉大学 | 基于分组非对称卷积的高效语义分割方法 |
| CN113345052A (zh) * | 2021-06-11 | 2021-09-03 | 山东大学 | 基于相似显著性的分类数据多视图可视化着色方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8553045B2 (en) * | 2010-09-24 | 2013-10-08 | Xerox Corporation | System and method for image color transfer based on target concepts |
| US9396412B2 (en) * | 2012-06-21 | 2016-07-19 | Siemens Aktiengesellschaft | Machine-learnt person re-identification |
| CN104820843A (zh) * | 2015-05-29 | 2015-08-05 | 常熟苏大低碳应用技术研究院有限公司 | 一种基于优化高斯混合模型的图像语义标注的方法 |
| US11188799B2 (en) * | 2018-11-12 | 2021-11-30 | Sony Corporation | Semantic segmentation with soft cross-entropy loss |
| CN111260593B (zh) * | 2020-01-14 | 2023-03-14 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113221603A (zh) * | 2020-02-05 | 2021-08-06 | 中国电信股份有限公司 | 一种检测监控设备被异物遮挡的方法及装置 |
| JP2024501642A (ja) * | 2020-12-16 | 2024-01-15 | メモリアル スローン－ケタリング キャンサー センター | 画像内の注釈付きの関心領域の検出 |
| CN113822951B (zh) * | 2021-06-25 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114419308A (zh) * | 2021-12-21 | 2022-04-29 | 携程旅游信息技术（上海）有限公司 | 基于感兴趣区域的颜色识别方法、系统、电子设备和介质 |
-
2022
- 2022-07-19 CN CN202210844694.1A patent/CN115082703B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282672B1 (en) * | 2014-06-26 | 2019-05-07 | Amazon Technologies, Inc. | Visual content analysis system with semantic framework |
| CN104504734A (zh) * | 2014-09-16 | 2015-04-08 | 浙江工业大学 | 一种基于语义的图像颜色传输方法 |
| CN106354838A (zh) * | 2016-08-31 | 2017-01-25 | 上海交通大学 | 一种基于语义共鸣色彩的数据可视化方法 |
| CN108664969A (zh) * | 2018-04-28 | 2018-10-16 | 西安电子科技大学 | 基于条件随机场的路标识别方法 |
| CN108921932A (zh) * | 2018-06-28 | 2018-11-30 | 福州大学 | 一种基于卷积神经网络的黑白人物图片实时生成多种合理着色的方法 |
| CN109117723A (zh) * | 2018-07-06 | 2019-01-01 | 中国科学院自动化研究所 | 基于颜色模式分析与语义分割的盲道检测方法 |
| CN111401373A (zh) * | 2020-03-04 | 2020-07-10 | 武汉大学 | 基于分组非对称卷积的高效语义分割方法 |
| CN113345052A (zh) * | 2021-06-11 | 2021-09-03 | 山东大学 | 基于相似显著性的分类数据多视图可视化着色方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| Estimating Color-Concept Associations from Image Statistics;Ragini Rathore等;《IEEE Transactions on Visualization and Computer Graphics》;20190822;第26卷(第01期);1-20 * |
| Image-guided color mapping for categorical data visualization;Qian Zheng等;《Computational Visual Media》;20220527;第8卷;613-629 * |
| Selecting Semantically-Resonant Colors for Data Visualization;Sharon Lin等;《Computer Graphics Forum》;20130701;第32卷(第03期);401-410 * |
| 可视化与人工智能交叉研究综述;夏佳志等;《中国科学》;20211112;第51卷(第11期);1777-1801 * |
| 基于卷积神经网络的智能着色技术的研究;刘晓丽等;《网络安全技术与应用》;20210930(第09期);56-58 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082703A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704877B (zh) | 一种基于深度学习的图像隐私感知方法 | |
| CN111882040B (zh) | 基于通道数量搜索的卷积神经网络压缩方法 | |
| CN109829391B (zh) | 基于级联卷积网络和对抗学习的显著性目标检测方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| Alata et al. | Choice of a pertinent color space for color texture characterization using parametric spectral analysis | |
| Shi et al. | Learning multiscale temporal–spatial–spectral features via a multipath convolutional LSTM neural network for change detection with hyperspectral images | |
| CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN113920472B (zh) | 一种基于注意力机制的无监督目标重识别方法及系统 | |
| Ganesan et al. | Value based semi automatic segmentation of satellite images using HSV color space, histogram equalization and modified FCM clustering algorithm | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN115272776B (zh) | 基于双路卷积与双注意的高光谱图像分类方法及存储介质 | |
| CN113837191A (zh) | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 | |
| Kaur et al. | Review and analysis of various image enhancement techniques | |
| CN110334628B (zh) | 一种基于结构化随机森林的室外单目图像深度估计方法 | |
| CN111899203A (zh) | 基于标注图在无监督训练下的真实图像生成方法及存储介质 | |
| CN117132804B (zh) | 一种基于因果跨域小样本学习的高光谱图像分类方法 | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| CN113420173A (zh) | 基于四元组深度学习的少数民族服饰图像检索方法 | |
| CN115082703B (zh) | 概念关联颜色提取方法、装置、计算机设备和存储介质 | |
| Neelima et al. | Optimal clustering based outlier detection and cluster center initialization algorithm for effective tone mapping | |
| CN105528793A (zh) | 一种高空间分辨率遥感影像的分割方法及系统 | |
| CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
| CN111401519B (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
| CN111898579A (zh) | 基于极限梯度提升的高分遥感影像无偏半监督分类模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |