CN115713634A - 一种联合相似性度量与视觉感知的色彩搭配评价方法 - Google Patents
一种联合相似性度量与视觉感知的色彩搭配评价方法 Download PDFInfo
- Publication number
- CN115713634A CN115713634A CN202310016898.0A CN202310016898A CN115713634A CN 115713634 A CN115713634 A CN 115713634A CN 202310016898 A CN202310016898 A CN 202310016898A CN 115713634 A CN115713634 A CN 115713634A
- Authority
- CN
- China
- Prior art keywords
- color
- palette
- image
- similarity
- visual perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 57
- 230000016776 visual perception Effects 0.000 title claims abstract description 44
- 238000005259 measurement Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000002474 experimental method Methods 0.000 claims abstract description 17
- 239000003086 colorant Substances 0.000 claims description 43
- 238000011524 similarity measure Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 13
- 230000004424 eye movement Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 12
- 230000005012 migration Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 10
- 150000001875 compounds Chemical class 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000013210 evaluation model Methods 0.000 abstract description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 229910000792 Monel Inorganic materials 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种联合相似性度量与视觉感知的色彩搭配评价方法，首先构建色彩信息丰富的图像数据库；将采集的图像利用改进聚类方法提取对应的主色调色板；使用智能色彩搭配推荐系统生成对应调色板，利用最小色差模型对调色板相似性进行评价；然后将生成调色板通过图像重着色技术对对应的图像进行重着色得到重着色后图像，并对原图像和重着色图像求取结构相似度；将调色板相似性与结构相似度进行特征级自适应加权融合，并对原图像和重着色后图像进行眼动追踪实验获取其视觉感知数据；最后，对不同权重的融合结果与视觉感知数据求取相关性确定最佳权重，得到最佳色彩搭配评价模型。本发明可以有效提高企业生产和设计效率。
Description
技术领域
本发明属于色彩管理与科学领域，具体涉及一种联合相似性度量与视觉感知的色彩搭配评价方法。
背景技术
色彩是外界光源刺激作用于人的视觉感官而产生的主观感受，它除了遵循物理规律外同时还受生理和心理的制约。色彩搭配始终贯穿于产品设计的生命周期，据国际流行色协会统计结果表明，合理的色彩搭配关系可以为产品带来10%-25%的附加值。在设计过程中，由于缺乏科学有效的色彩搭配评价方法，设计师往往只能借助主观的经验主义方法及人工目测法对色彩搭配的和谐度、美感、相似性进行判别。这种主观且复杂的判别方法显著影响了设计师在产品设计时的效率与设计的质量。尤其在色彩设计的具体应用领域中，依靠主观的经验主义评价方法往往不能满足现如今“快时尚”的设计—生产—销售模式。因此在图像处理与模式识别的基础上，针对现有的色彩搭配评价方法仅停留在主观感受而缺乏客观度量方法，提出建立一种联合相似性度量与视觉感知的色彩搭配方案评价方法。它能够为色彩管理领域及实际生产缓解提供有效指导，具有重要的理论研究价值和广阔的应用前景。
现阶段，国内外针对图像美学度量大致可以分为有参考的图像美学度量和无参考的图像美学度量，例如利用结构相似度（Structural Similarity，SSIM）等方法对图像的相似性进行评价以期间接对图像美感进行评价，这类评价指标通过计算两幅图像之间对应像素点的统计量差异来度量其相似程度。然而这类方法虽然从客观角度对图像进行了度量，但其并未结合人类的视觉感知，人类视觉系统（Human Visual System, HVS）对图像的感知机理是建立在对图像的宏观感知与细节感知相结合的基础上，对较小范围内像素点的差异与偏移并不敏感。因此，上述评价指标由于忽视了人眼的感知特性，在实际应用过程中常常出现相似性评价结果与主观感受不符的情况。
此外，对于无参考的图像美学度量工作主要是由深度学习等技术完成。其主要思路是利用卷积神经网络的网络模型对已有的图像美学评价数据集进行模型预训练，得到一个基于先验网络模型知识的预训练模型，利用迁移学习（Transfer Learning）等技术手段对已有样本进行训练，从而达到图像美学评价的技术目的。但是这种采用迁移学习、预训练模型的深度学习方法往往对技术手段要求较高，且其运算过程复杂，并不满足目前的设计需求。
需要指出的是，在上述一些图像生成任务中，为较好地表征生成图像的美学度量，一些方法也会结合原图像内容对生成图像进行对比。同时，色彩搭配方案由不同的色彩组合而成，在以调色板（多种色块组合而成的图像）为载体的色彩搭配方案中，每种色彩所处的位置也会影响色彩搭配方案的美学评价。在诸多因素共同决定下的色彩搭配方案评价中，如何为色彩搭配方案以及推荐系统推荐生成的色彩搭配方案建立一套科学的、主客观相结合的评价体系，是色彩管理与科学领域的重点与难点。
发明内容
对于上述现状及问题，本发明以调色板为应用载体，提出了一种联合相似性度量与视觉感知的色彩搭配方案评价方法。该方法分别从调色板内容、图像内容、视觉感知三个维度对色彩搭配方案进行相似性测度与美学评价测度，构建色彩搭配方案评价指标模型，能够客观、实时、有效地评价色彩搭配方案之间的相似度及美感，从而显著提升设计与生产中色彩搭配的效率。
本发明的目的是为了解决背景技术中所述问题，提出一种联合相似性度量与视觉感知的色彩搭配方案评价方法。
本发明的技术方案为一种联合相似性度量与视觉感知的色彩搭配方案评价方法，具体包括以下步骤：
步骤1，采集样本图像，构建待测样本图像数据库；
步骤2，使用轮廓系数法改进K-Means算法并提取样本图像的主色，得到每张图像对应的主题色调色板P1；
步骤3，根据样本的主色利用智能色彩推荐系统生成对应调色板P2；
步骤4，每个调色板均为n个色块的组合，利用P1和P2生成辅助调色板，并通过色差模型计算成对调色板的最小色差，将最小色差转化为相似性测度并作为评价指标一；
步骤5，使用生成调色板P2对原始样本图像进行色彩迁移得到对应成对图像；
步骤6，对成对图像求取图像间的结构相似度，将结果记作评价指标二；
步骤7，对原始样本图像和色彩迁移后的样本图像进行眼动追踪实验，得到成对图像之间的眼动数据，并转化为视觉感知测度，记作评价指标三；
步骤8，对评价指标一和评价指标二赋予不同的权重构建基于图像内容的评价体系；
步骤9，对不同权重所对应的基于图像内容的评价体系和步骤8中的评价指标三求取Pearson相关系数，并由此得到最佳权重对应的最佳评价指标。
需要说明的是，步骤1中，对所构建的样本图从属性与风格的角度进行分类且色彩信息都比较丰富。其中，写实的摄影风景图与写实的插画图来自中国地理等权威机构所发布的图像，写意的艺术画作和中西方油画收集梵高、莫奈、玛格丽特、齐白石、吴冠中、张大千等人的艺术作品，所有收集的图像均在允许使用的范围内。
需要说明的是，步骤2中，由于每张样本图所含的颜色特征并不一致，故提取的主色个数不会相同，利用传统的K-Means方法提取固定主色并不适用于本发明。基于此本发明提出自适应K-Means方法对样本主题色进行提取，由于在提取颜色的场景下，K值即为主色个数，故只需在算法内部确定最佳K值即可。改进自适应方法为利用轮廓系数法（Silhouette Coefficient）在算法内部根据输入图像求得最佳K值，K-Means算法与轮廓系数法公式如式一至式二所示。
其中，J表示所有类别距离之和，n代表背景图片中一个像素的索引，C(n)代表该像素的颜色值，N代表样本颜色数据总数，K代表颜色分类数，k代表第k类颜色，r nk 为二分量，代表当前颜色属不属于第k类颜色，μ k 代表第k类颜色的聚类中心；a表示样本点与同一簇中所有其他点的平均距离，即样本点与同一簇中其他点的相似度；b表示样本点与下一个最近簇中所有点的平均距离，即样本点与下一个最近簇中其他点的相似度；s表示轮廓系数的值，当s越接近1，则聚类效果越好，越接近-1，则聚类效果越差。
需要说明的是，步骤3中，智能色彩推荐系统指的是以色彩和谐度为机理，以大样本的数据学习为技术背景的智能色彩搭配推荐系统。常见的色彩搭配推荐系统有ColorMind、Color Hunt、Palette Republic、色采等软件工具，智能色彩推荐系统可以根据输入的调色板并固定其中的某些颜色自动生成与固定颜色在色彩和谐度上契合的其他颜色。智能色彩推荐系统大多依靠生成对抗网络中的图像翻译模型实现，图像翻译模型目标函数如式三至式五所示。
式中，
分别代表网络模型的损失、L1范式损失以及分布函数的数学期望；
分别代表真实图像、生成的虚假图像、随机噪声、生成器、判别器、L1损失的权重； G*表示适用于智能色彩推荐系统的图像翻译模型的生成器的目标函数。
需要说明的是，步骤4中，本发明提出的适用于评价调色板相似性的最小色差模型是使用步骤3中的成对调色板（原调色板及色彩推荐后的调色板），其方法为引入中间调色板进行计算，具体实现方法如下：
Step1：将原调色板记作P1，生成调色板记作P2，使用P2的n个颜色分别对P1的第一个颜色求取色差，并将其中色差最小值对应的颜色作为新调色板的第一个颜色。
Step2：分别使用P2的n个颜色再对P1的第二个、第三个直到第n个颜色求取色差，并依照上述方法确定新调色板的第二个、第三个直到第n个颜色，即使用生成调色板P2二次生成了新的辅助调色板，新的辅助调色板记作P3。
Step3：计算原调色板P1与P3调色板的平均色差，平均色差计算方法为分别计算两个调色板对应颜色（P1第i个颜色与P3调色板的第i个颜色）的色差。其计算公式如式六所示，式中，
分别代表第i对颜色和调色板颜色的总数以及对应第i个颜色的平均色差，此时调色板P1对P2的最小色差记作m 1。
Step4：重复Step2的操作，使用P1的n个颜色分别对P2生成新的辅助调色板，新的调色板记作P4。
Step5：计算生成调色板P2与P4调色板的平均色差，则P2对P1的最小色差记作m 2。
Step6：本发明所提出的适用于评价调色板相似性的计算如式七所示：
其中色差公式分别采用CIELab、CIE94、CIE2000，其公式分别如式八至式十所示，
其中
分别代表计算色差时两种颜色的Lab分量，
分别代表两种颜色明度差、饱和度差及色相差，
分别为三个常量参数，
为通过
计算而来的中间变量。
需要说明的是，步骤4中，将式七作归一化并使用归一化后的理论最大值减去归一化后的结果，原因是步骤4中求取的为成对调色板的色差，而本发明所构建模型的主要目的是求取其相似性，故使用理论最大值减去差异性即为调色板之间的相似性测度，归一化方法与相似性测度如式十一至式十二所示，
式中，
分别代表P1调色板与P2调色板的最小色差、所有调色板中的最小色差、最大色差，M、S代表归一化结果以及调色板相似度测度。
需要说明的是，步骤5中，本发明提出结合图像内容对色彩搭配方案进行评价，即将生成的调色板通过使用论文Palettenet方法对原图像进行色彩迁移，并邀请专业的艺术工作者对色彩迁移后的图像效果进行评价，去除图像效果不佳的重着色图像。
需要说明的是，步骤6中，计算步骤5中经过专业的艺术工作者筛选后的重着色样本与其对应的原图像之间的结构相似度SSIM，结构相似度是一种衡量两幅图像相似度的指标，常用作图像相似度与图像质量的评价，其公式如式十三至十六所示。
其中，
分别代表需要比较的两张图像 ，
分别代表亮度比较、对比度比较及结构比较；
分别代表
的平均值和
的标准差及x和y的协方差；
分别为常数，避免分母为0的错误，且一般来说
；在实际计算中，一般设定
均为1。
需要说明的是，步骤7中，使用Tobii X2-30眼动仪采集视觉感知数据，其中眼动追踪实验的被试图像分别为原始数据样本以及重着色后的样本组合而成。眼动追踪实验邀请50名艺术类、美术类学生进行，每组实验样本组合实验时间均为20秒，完成所有被试者的实验后，记录眼动追踪数据并且记录每张图像的平均眼动指标。由于平均注视时间、平均注视点个数、首次注视时间更能反应视觉感知，记录三类数据归一化后按固定权重加权得到平均眼动数据。
需要说明的是，步骤8中，本发明提出使用不同权重加权构成的评价指标一与评价指标二得到基于图像内容的评价体系。特征级融合策略对调色板相似性测度及结构相似性测度进行融合，并转换为百分比形式，得到总体相似度，融合方式如式十七所示：
式中，ω为可变权重，S为调色板相似性测度，SSIM为图像相似性测度。
步骤9中，对基于图像内容的评价体系与评价指标三求取Pearson相关系数，Pearson相关系数是用于度量两个变量之间的的相关程度，其值介于-1与1之间，Pearson相关系数的计算公式如式十八所示，其中，X、Y是相互独立的变量， cov(XY)表示变量X与变量Y之间的协方差，σ为标准差。
计算指标一和指标二在不同权重下加权后与指标三的相关性，基于此得到最佳权重对应的最佳评价指标体系。
本发明以色彩搭配方案的为具体应用对象，首先，构建待测样本图像数据库并对其进行自适应主色提取；对提取的色彩搭配方案锁定部分颜色进行色彩推荐，得到新的色彩搭配方案。然后，通过引入辅助调色板对两两成对的色彩搭配方案进行调色板最小色差模型构建。然后，使用色彩迁移技术将推荐调色板重着色至源图像上，得到与构建样本库的对应重着色图像并求取成对图像之间的结构相似度。使用不同权重对调色板的相似度与图像的结构相似度进行可变权重融合，权重的取值范围为[0,1]。计算不同权重下的基于图像内容的相似度。最后，结合视觉感知的方式对图像的美学进行评价，通过眼动追踪技术对原图像及色彩迁移后的图像进行试验并获取视觉感知数据。通过实验得到的视觉感知数据与使用不同权重进行可变权重融合后的结果进行Pearson相关系数分析，得到最佳权重及最佳权重对应的最佳评价指标体系，从而实现了色彩搭配方案在相似度及视觉感知下的美学度量。本发明对色彩相关行业的生产过程具有重要的指导意义。由于本发明技术方案具有重要应用前景和价值，对本发明技术方案进行保护，将对我国色彩科学、色彩管理领域竞争国际领先地位具有重要意义。
附图说明
图1为本发明流程图。
图2为本发明辅助调色板P3的计算步骤及色差计算。
图3为本发明辅助调色板P4的计算步骤及调色板P1与调色板P2最小色差的计算。
具体实施方式
本发明技术方案具体实施时可由本领域技术人员采用相关数据和计算机软件技术运行。结合附图，提供本发明实施例具体描述如下。
如图1所示，实施例提供了一种联合视觉感知与相似性度量的色彩搭配评价方法，为色彩管理中色彩搭配的美学评估问题建立了一套客观的定量分析评价模型，可为色彩管理领域的设计师们搭配颜色提供指导。算法运算设备为超微7048GR-TR、Windows10操作系统、Intel（R）Xeon（R） E5-2678V3*2 CPU、128G内存、NVIDIA Tesla M40*4运算卡；算法开发环境为MATLAB R2016a和Python 3.6；硬件设备为Tobii X2-30眼动仪及Tobii Pro Lab系列软件。需要说明的是，本发明并不仅仅局限于上述样本和软硬件平台的应用支持，对于任意能实现本发明方法的相应数据和软硬件平台同样适用。
实施例主要包括以下步骤：
1）采集样本图像，构建待测样本图像数据库
如上所述，实施例中使用的是自建样本数据集，为使本发明的实验数据及实验结论更具科学性及鲁棒性，本发明按照样本图像的风格属性构建样本集，将样本集分为写实的摄影风景图、写实的插画图、写意的艺术画作、写意的中西方油画等类别。本实施例中的样本包含以上四类样本集共800张。
2）使用轮廓系数法改进K-Means算法并提取样本图像的主色
实施例中，由于每张样本所包含的颜色信息都不相同，其主色的数量也不相同。基于此本发明提出使用改进K-Means算法对样本自适应提取主色，自适应提取主色方法是使用不同K值计算轮廓系数s，在使用不同K值的聚类过程中，本方法判定最接近1的s即为聚类效果最佳的K值，然后再使用最佳K值完成聚类过程并计算K-Means目标函数J。改进方法为将K-Means算法的评价方法轮廓系数法应用到算法内部，在算法内部通过迭代确定最佳K值，所确定的最佳K值即为自适应提取的主色数量，K-Means算法及轮廓系数法如式一至式二所示。
式中，J表示所有类别距离之和，n代表背景图片中一个像素的索引，C(n)代表该像素的颜色值，N代表样本颜色数据总数，K代表颜色分类数，k代表第k类颜色，r nk 为二分量，代表当前颜色属不属于第k类颜色，μ k 代表第k类颜色的聚类中心；a表示样本点与同一簇中所有其他点的平均距离，即样本点与同一簇中其他点的相似度；b表示样本点与下一个最近簇中所有点的平均距离，即样本点与下一个最近簇中其他点的相似度；s表示轮廓系数的值，当s越接近1，则聚类效果越好，越接近-1，则聚类效果越差。
3）根据样本的主色利用智能色彩推荐系统生成对应调色板
实施例中，所使用的智能色彩推荐系统为基于图像翻译模型的智能色彩推荐系统，具体可参照ColorMind工具，基于图像翻译模型的智能色彩推荐系统是根据已有的色彩搭配方案，通过深度学习的方法学习色彩搭配规律，根据学习的色彩搭配规律对原色彩搭配方案的某几个颜色进行重新推荐并得到新的色彩搭配组合。智能色彩推荐系统可以很好地满足设计师的设计需求，能够辅助设计师快速地对颜色进行搭配设计，本发明所使用的图像翻译模型的目标函数如式三至式五所示；
式中，
分别代表网络模型的损失、L1范式损失以及分布函数的数学期望；
分别代表真实图像、生成的虚假图像、随机噪声、生成器、判别器、L1损失的权重； G*表示适用于智能色彩推荐系统的图像翻译模型的生成器的目标函数。
4）实施例中，计算成对调色板的最小色差通过引入辅助调色板实现，具体步骤方法如下：
Step1：将原调色板记作P1，生成调色板记作P2，使用P2的n个颜色分别对P1的第一个颜色求取色差，并将其中色差最小值对应的颜色作为新调色板的第一个颜色。
Step2：分别使用P2的n个颜色再对P1的第二个、第三个直到第n个颜色求取色差，并依照上述方法确定新调色板的第二个、第三个直到第n个颜色，即使用生成调色板P2二次生成了新的辅助调色板，新的辅助调色板记作P3。
Step3：计算原调色板P1与P3调色板的平均色差，平均色差计算方法为分别计算两个调色板对应颜色（P1第i个颜色与P3调色板的第i个颜色）的色差，其计算公式如式六所示：
式中，
分别代表第i对颜色和调色板颜色的总数以及对应第i个颜色的平均色差，此时调色板P1对P2的最小色差记作m 1。
Step4：重复Step2的操作，使用P1的n个颜色分别对P2生成新的辅助调色板，新的调色板记作P4。
Step5：计算生成调色板P2与P4调色板的平均色差，则P2对P1的最小色差记作。
Step6：本发明所提出的适用于评价调色板相似性的计算如式七所示。
本发明中分别使用CIELab、CIE94、CIE2000等主流色差计算模型，其公式分别如式八至式十所示：
其中
分别代表计算色差时两种颜色的Lab分量，
分别代表两种颜色明度差、饱和度差及色相差，
分别为三个常量参数，
为通过
计算而来的中间变量。
实施例中，将上述所计算的色差值进行归一化处理，归一化的公式如式十一所示。由于本发明构建色差模型的主要目的是求取调色板之间的相似性，故使用归一化后的理论最大值减去色差归一化后的结果即为调色板之间的相似性测度，其相似性测度如式十二所示：
式中，
分别代表调色板P1与调色板P2最小色差、所有调色板中的最小色差、最大色差，M、S代表归一化结果以及调色板相似度测度。
5）使用生成调色板对原始样本进行色彩迁移得到对应成对图像
实施例中，为通过图像内容来判断生成色彩搭配方案的优劣，本发明使用生成的调色板对原始图像进行色彩迁移。本发明使用Palettenet方法对原图像进行色彩迁移并邀请专业的艺术工作者对色彩迁移后的图像效果进行筛选并去除图像效果不佳的重着色图像。
6）对成对图像求取图像间的结构相似度
实施例中，计算成对图像样本的结构相似度，成对图像样本由原始样本和对应的重着色后的样本组成。结构相似是一种衡量两幅图像相似度的指标，常用作图像相似度与图像质量等基于图像内容的评价，其公式如式十三至十六所示。
其中，
分别代表需要比较的两张图像 ，
分别代表亮度比较、对比度比较及结构比较；
分别代表
的平均值和
的标准差及x和y的协方差；
分别为常数，避免分母为0的错误，且一般来说
；在实际计算中，一般设定
均为1。
7）对原样本和色彩迁移后的样本进行眼动追踪实验，得到成对图像之间的眼动数据，并转化为视觉感知测度
实施例中，使用Tobii X2-30眼动仪采集视觉感知数据，其中眼动追踪实验的被试图像分别为原始数据样本以及重着色后的样本组合而成。眼动追踪实验邀请50名艺术类、美术类学生进行，每组实验样本组合实验时间均为20秒，完成所有被试者的实验后，记录眼动追踪数据并且记录每张图像的平均眼动指标。由于平均注视时间、平均注视点个数、首次注视时间更能反应视觉感知，记录三类数据归一化后按固定权重加权得到视觉感知数据。
8）利用特征级融合策略对调色板相似性测度及结构相似性测度结果进行融合，得到基于调色板与图像内容的相似度
实施例中，调色板相似性测度结果和结构相似性测度结果具有理想的独立性，本发明利用特征级融合策略对调色板相似性测度及结构相似性测度进行融合，并转换为百分比形式，得到总体相似度，融合方式如式十七所示：
式中，ω为可变权重，S为调色板相似性测度，SSIM为图像相似性测度。
9）使用基于图像内容的相似度与视觉感知测度进行Pearson相关系数分析，对8）进行权值优化，得到最佳权值，最终得到最佳权值对应的评价指标。
实施例中，针对两种相似性的测度结果权重值进行优化。具体方法为通过对两种相似性测度结果的不同权值进行计算，计算得到不同权值下的总体相似度结果，使用7）中的视觉感知数据分别对不同权值下的总体相似度求取Pearson相关系数，Pearson相关系数的公式如式十八所示：
其中，X、Y是相互独立的变量，cov(XY)表示变量X与变量Y之间的协方差，σ为标准差。
为验证本发明的科学性与鲁棒性，本发明使用CIELab、CIE94、CIEDE2000三种色差公式计算相似度，三种色差公式对应的三个参数优化结果如表1至表3所示，其结果表明：在权值ω取值为0.6时，CIELab、CIEDE2000的相关系数达到分别0.804、0.861，优于其他权值下的实验组结果。而在CIE94色差下，其相关系数达到0.760，仅次于权重均为0.5的情况。因此，本发明将调色板相似性测度结果和结构相似性测度结果的权值比（ω：1-ω）设定为0.6:0.4，该权值下的联合调色板内容与图像内容的相似性测度与视觉感知测度可以达到评价模型的最佳效果。
表1 图像内容的相似度与视觉感知测度相关性分析（CIELab）
表2 图像内容的相似度与视觉感知测度相关性分析（CIE94）
表3 图像内容的相似度与视觉感知测度相关性分析（CIEDE2000）
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于，包括如下步骤：
步骤1，采集样本图像，构建待测样本图像数据库；
步骤2，使用轮廓系数法改进K-Means算法并提取样本图像的主色，得到每张图像对应的主题色调色板P1；
步骤3，根据样本的主色利用智能色彩推荐系统生成对应调色板P2；
步骤4，每个调色板均为n个色块的组合，利用P1和P2生成辅助调色板，并通过色差模型计算成对调色板的最小色差，将最小色差转化为相似性测度并作为评价指标一；
步骤5，使用生成调色板P2对原始样本图像进行色彩迁移得到对应成对图像；
步骤6，对成对图像求取图像间的结构相似度，将结果记作评价指标二；
步骤7，对原始样本图像和色彩迁移后的样本图像进行眼动追踪实验，得到成对图像之间的眼动数据，并转化为视觉感知测度，记作评价指标三；
步骤8，对评价指标一和评价指标二赋予不同的权重构建基于图像内容的评价体系；
步骤9，对不同权重所对应的基于图像内容的评价体系和步骤8中的评价指标三求取Pearson相关系数，并由此得到最佳权重对应的最佳评价指标。
2.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤2的具体实现方式如下；
式中，J表示所有类别距离之和，n代表背景图片中一个像素的索引，C(n)代表该像素的颜色值，N代表样本颜色数据总数，K代表颜色分类数，k代表第k类颜色，r nk 为二分量，代表当前颜色属不属于第k类颜色，μ k 代表第k类颜色的聚类中心；a表示样本点与同一簇中所有其他点的平均距离，即样本点与同一簇中其他点的相似度；b表示样本点与下一个最近簇中所有点的平均距离，即样本点与下一个最近簇中其他点的相似度；s表示轮廓系数的值，当s越接近1，则聚类效果越好，越接近-1，则聚类效果越差；上述提取主色方法是使用不同K值计算轮廓系数s，在使用不同K值的聚类过程中，判定最接近1的s即为聚类效果最佳的K值，然后再使用最佳K值完成聚类过程并计算K-Means目标函数J。
3.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤3中采用基于图像翻译模型的智能色彩推荐系统生成对应调色板，图像翻译模型的目标函数如式三至式五所示，
式中，
分别代表网络模型的损失、L1范式损失以及分布函数的数学期望；
分别代表真实图像、生成的虚假图像、随机噪声、生成器、判别器、L1损失的权重； G*表示适用于智能色彩推荐系统的图像翻译模型的生成器的目标函数。
4.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤4中生成辅助调色板的实现方式如下；
Step1，将原调色板记作P1，生成调色板记作P2，使用P2的n个颜色分别对P1的第一个颜色求取色差，并将其中色差最小值对应的颜色作为新调色板的第一个颜色；
Step2，分别使用P2的n个颜色再对P1的第二个、第三个直到第n个颜色求取色差，并依照上述方法确定新调色板的第二个、第三个直到第n个颜色，即使用生成调色板P2二次生成了新的辅助调色板，新的辅助调色板记作P3；
Step3，计算原调色板P1与P3调色板的平均色差，平均色差计算方法为分别计算两个调色板对应颜色的色差，即P1第i个颜色与P3调色板的第i个颜色，其计算公式如式六所示，式中，
分别代表第i对颜色和调色板颜色的总数以及对应第i个颜色的平均色差，此时调色板P1对P2的最小色差记作m 1；
Step4，重复Step2的操作，使用P1的n个颜色分别对P2生成新的辅助调色板，新的调色板记作P4；
Step5，计算生成调色板P2与P4调色板的平均色差，则P2对P1的最小色差记作m 2。
5.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤4中采用的色差模型包括CIELab、CIE94、CIE2000色差计算模型，其公式分别如式八至式十所示，
其中
分别代表计算色差时两种颜色的Lab分量，
分别代表两种颜色明度差、饱和度差及色相差，
分别为三个常量参数，
为通过
计算而来的中间变量。
6.如权利要求4所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤4中将最小色差转化为相似性测度并作为评价指标一的具体实现方式如下；
首先计算调色板P1与调色板P2最小色差；
然后将使用归一化后的理论最大值减去色差归一化后的结果，得到调色板相似性测度，如式十二所示，
式中，
分别代表调色板P1与调色板P2最小色差、所有调色板中的最小色差、最大色差，M、S代表归一化结果以及调色板相似度测度。
7.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤6中结构相似度的计算公式如下；
其中，
分别代表需要比较的两张图像 ，
分别代表亮度比较、对比度比较及结构比较；
分别代表
的平均值和
的标准差及x和y的协方差；
分别为常数，避免分母为0的错误，
；在实际计算中，设定
均为1。
8.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤7中将眼动追踪实验中的平均注视时间、平均注视点个数、首次注视时间这三类数据归一化后按固定权重加权得到视觉感知数据。
9.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤8中基于图像内容的评价体系的计算公式如下；
式中，ω为可变权重，S为调色板相似性测度，即评价指标一，SSIM为图像结构相似度，即评价指标二，SIM为最终评价指标。
10.如权利要求1所述的一种联合相似性度量与视觉感知的色彩搭配评价方法，其特征在于：步骤9中Pearson相关系数的公式如式十八所示；
其中，X、Y是相互独立的变量，cov(XY)表示变量X与变量Y之间的协方差，σ为标准差。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310016898.0A CN115713634B (zh) | 2023-01-05 | 2023-01-05 | 一种联合相似性度量与视觉感知的色彩搭配评价方法 |
| US18/398,277 US11967115B1 (en) | 2023-01-05 | 2023-12-28 | Color matching evaluation method combining similarity measure and visual perception |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310016898.0A CN115713634B (zh) | 2023-01-05 | 2023-01-05 | 一种联合相似性度量与视觉感知的色彩搭配评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115713634A true CN115713634A (zh) | 2023-02-24 |
| CN115713634B CN115713634B (zh) | 2023-04-14 |
Family
ID=85236154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310016898.0A Active CN115713634B (zh) | 2023-01-05 | 2023-01-05 | 一种联合相似性度量与视觉感知的色彩搭配评价方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11967115B1 (zh) |
| CN (1) | CN115713634B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689768A (zh) * | 2023-11-22 | 2024-03-12 | 武汉纺织大学 | 一种自然场景驱动的服装模板着色方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090135267A1 (en) * | 2005-09-29 | 2009-05-28 | Nikon Corporation | Image Processing Apparatus and Image Processing Method |
| CN109389591A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于彩色描述子的彩色图像质量评价方法 |
| CN110638471A (zh) * | 2019-08-30 | 2020-01-03 | 杭州海飘科技有限公司 | 一种基于眼动仪视觉感知的体感技术方法 |
| US20210042965A1 (en) * | 2019-08-06 | 2021-02-11 | Adobe Inc. | Flow-based color transfer from source graphic to target graphic |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10430973B2 (en) * | 2016-11-02 | 2019-10-01 | Adobe Inc. | Image recoloring for color consistency in a digital medium environment |
| US11107257B1 (en) * | 2018-08-01 | 2021-08-31 | Adobe Inc. | Systems and methods of generating playful palettes from images |
-
2023
- 2023-01-05 CN CN202310016898.0A patent/CN115713634B/zh active Active
- 2023-12-28 US US18/398,277 patent/US11967115B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090135267A1 (en) * | 2005-09-29 | 2009-05-28 | Nikon Corporation | Image Processing Apparatus and Image Processing Method |
| CN109389591A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于彩色描述子的彩色图像质量评价方法 |
| US20210042965A1 (en) * | 2019-08-06 | 2021-02-11 | Adobe Inc. | Flow-based color transfer from source graphic to target graphic |
| CN110638471A (zh) * | 2019-08-30 | 2020-01-03 | 杭州海飘科技有限公司 | 一种基于眼动仪视觉感知的体感技术方法 |
Non-Patent Citations (2)
| Title |
|---|
| LEIDA LI等: "Color image quality assessment based on sparse representation and reconstruction residual" * |
| 张鲁燕等: "提取主色彩的特性及其在纹样的应用" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689768A (zh) * | 2023-11-22 | 2024-03-12 | 武汉纺织大学 | 一种自然场景驱动的服装模板着色方法和系统 |
| CN117689768B (zh) * | 2023-11-22 | 2024-05-07 | 武汉纺织大学 | 一种自然场景驱动的服装模板着色方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115713634B (zh) | 2023-04-14 |
| US11967115B1 (en) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2161555B1 (en) | Coating color database creating method, search method using the database, their system, program, and recording medium | |
| Žeger et al. | Grayscale image colorization methods: Overview and evaluation | |
| CN103262118B (zh) | 属性值估计装置和属性值估计方法 | |
| Li et al. | Evaluating combinational illumination estimation methods on real-world images | |
| KR20040037180A (ko) | 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법 | |
| CN105103166A (zh) | 用于涂料配制的纹理评估的系统和方法 | |
| US11967115B1 (en) | Color matching evaluation method combining similarity measure and visual perception | |
| CN103345744B (zh) | 一种基于多图像的人体目标部件自动解析方法 | |
| CN109102029B (zh) | 信息最大化生成对抗网络模型合成人脸样本质量评估方法 | |
| CN112001404A (zh) | 自适应全局和局部双层优化的图像生成模型和生成方法 | |
| CN110286139A (zh) | 古漆器漆膜大数据复合特征判别方法 | |
| CN115841594B (zh) | 基于注意力机制的煤矸高光谱变图像域数据识别方法 | |
| Paul et al. | PCA based geometric modeling for automatic face detection | |
| CN110458792A (zh) | 人脸图像质量的评价方法及装置 | |
| CN110874576B (zh) | 一种基于典型相关分析融合特征的行人再识别方法 | |
| Madrid-Herrera et al. | Human image complexity analysis using a fuzzy inference system | |
| CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 | |
| CN111125629B (zh) | 一种域自适应的pls回归模型建模方法 | |
| CN117275613A (zh) | 一种面膜配方的调配方法 | |
| CN112102928A (zh) | 病理图像染色风格归一化方法及装置 | |
| CN110992301A (zh) | 一种气体轮廓识别方法 | |
| JP2003157439A (ja) | 画像のカテゴリー化による画像特徴量の相関抽出方法とその相関抽出装置 | |
| CN115482227A (zh) | 机器视觉自适应成像环境调整方法 | |
| Kwon et al. | Illumination Estimation Based on Valid Pixel Selection from CCD Camera | |
| Ledoux et al. | Toward a complete inclusion of the vector information in morphological computation of texture features for color images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |