CN112652030A - 一种基于特定场景的色彩空间位置布局推荐的方法 - Google Patents

一种基于特定场景的色彩空间位置布局推荐的方法 Download PDF

Info

Publication number
CN112652030A
CN112652030A CN202011460729.9A CN202011460729A CN112652030A CN 112652030 A CN112652030 A CN 112652030A CN 202011460729 A CN202011460729 A CN 202011460729A CN 112652030 A CN112652030 A CN 112652030A
Authority
CN
China
Prior art keywords
color
grid
map
image
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011460729.9A
Other languages
English (en)
Other versions
CN112652030B (zh
Inventor
杨柏林
王庆旭
陈政
魏天祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202011460729.9A priority Critical patent/CN112652030B/zh
Publication of CN112652030A publication Critical patent/CN112652030A/zh
Application granted granted Critical
Publication of CN112652030B publication Critical patent/CN112652030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于特定场景的色彩空间位置布局推荐的方法。本发明首先对图像美学数据集的每个场景分类下的图像进行预处理，通过全卷积网络U‑net进行颜色聚类，得到颜色聚类图；并将颜色聚类图优化为网格图；其次将每个网格中概率最大的颜色值进行合并，组合成新的网格图。然后对输入特定场景图像也进行颜色聚类，得到输入图像的最终网格图；最后将最终网格图与第网格数据集中每张网格图进行遍历pHash图像相似度匹配，将每个匹配的数据值保存到一个序列中；找到数值最大的，它对应的网格数据集中的网格图，就作为最佳颜色空间布局的推荐方案。本发明优化了匹配效率，消除了原始图像本身的复杂的颜色信息，匹配的准确率也有所提升。

Description

一种基于特定场景的色彩空间位置布局推荐的方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于特定场景的色彩空间位置布局推荐的方法。
背景技术
当今时代随着移动端手机的快速推广使用，图像的使用日益剧增，计算机视觉已经是计算机领域的国际前沿方向。其中对于图像美学的研究更是近期的一大热门方向，而图像的美可以有很多种形式进行传达。
在艺术学的专业理论基础上，一张图的内容分为形与色，形大致指的就是图中的轮廓语义，而色即是颜色。而色彩的面积同其形状和位置是同时出现的，因此，色彩的面积、形状、位置在色彩对比中，都是具有较大影响的因素。CUHK(香港中文大学制作的图像美学数据集)图像质量数据集是由28410张图像组成，只分高质量和低质量两种评分。而其中根据不同场景进行分类：有人物、建筑、动物、植物、夜景等等的不同场景的图像集合，并且有各自的高质量与低质量图像。不同的场景中各个颜色的位置是各不相同的，例如对于夜景图，图像的上方基本是黑色的夜空，也就是说在此类场景的图像中的上方是黑色的概率很大；而对于自然风景图的话，上方的天空就很有可能是偏蓝色居多。
视觉美学质量是视觉感知美的一种度量，由于视觉美学是一个主观的属性，往往会涉及个人的情感，不同的场景其美感是各不相同的，所以对于不同的场景就需要特殊的对待，需要圈定范围来研究特定场景下的颜色位置普遍规律。对于颜色现有的研究大都是关注其组合产生的效果是否和谐，亦或者从原图提取出的颜色在色彩空间中的分布，也就是直方图的曲线分布，然而其完全没有考虑颜色在原图的位置，正如上述所述颜色在原始图像的坐标方位也是其最主要的影响效果的因素。而很少有关注颜色在原图上的空间位置分布特征的研究，因此开发出一种基于特定场景的色彩空间位置布局推荐的方法显得迫在眉睫。
发明内容
本发明针对现有技术的不足，提供了一种基于特定场景的色彩空间位置布局推荐的方法。用户可以输入特定场景的图像，通过与该场景下的高质量数据集的颜色位置分布进行比较，输出一个更好的颜色分布的推荐方案。
一种基于特定场景的色彩空间位置布局推荐的方法，该方法包括以下两部分：
第一部分：构建数据集
1)对图像美学数据集CUHK的每个场景分类下的图像进行预处理，通过Encoder-Decoder结构的全卷积网络U-net进行颜色聚类，得到颜色聚类图。
2)颜色聚类图优化为网格图
进行颜色聚类图的裁剪操作，将其等大小的切割成8*8的网格图。
Si＝{i0...i63}
其中每个i代表一个网格，所有的网格构成了一个色块集合Si。而每个网格代表的是该方位概率最大的颜色值color_ij，概率最大的颜色值由聚类算法计算得到。
3)将每个网格中概率最大的颜色值进行合并，组合成新的网格图，这就保证了原始图像的颜色大致布局是不会改变的，这个网格图即为该原始图像的色块在空间上的分布图。
每张高质量的图像都会对应唯一一张颜色分布网格图，最终构建了不同场景不同类型图像的网格图数据集。
第二部分：对输入特定场景图像进行颜色推荐
1)对输入特定场景图进行颜色聚类，颜色聚类的方法与第一部分相同，得到输入特定场景图图像的网格图；
将输入特定场景图图像的网格图与第一部分构建的网格数据集中每张网格图进行遍历pHash图像相似度匹配，将每个匹配的数据值保存到一个序列中。
2)对上述得到的序列进行一个从大到小的排序，找到其中数值最大的下标，它对应的网格数据集中的网格图，就作为最佳颜色空间布局的推荐方案。
本发明的有益效果：
1.网格图匹配方面，本发明是将原始图像先进行无监督的颜色聚类，得到大致抽象的颜色聚类图，然后在切分成8*8个网格，针对每个网格进行颜色的聚类优化，再将优化的网格进行重组，得到最终的网格图。该网格图保留了原始图像的颜色布局信息，在匹配的时候大大优化了匹配效率，消除了原始图像本身的复杂的颜色信息，而是简化了其颜色信息，这样匹配的速度就会大大提升，而且由于颜色信息量的优化，匹配的准确率也是有所提升。
2.图像色彩的空间位置布局方面，本发明提出了一种针对同一个场景下的颜色布局的推荐。首先同一个场景下的颜色布局一定是相似的有关联的，而本发明中将美学评估质量分数高的图像作为数据集。对于输入任意一张相同的场景下的图像，可以与数据集进行针对颜色布局的匹配，因为数据集中的图片都是高质量的颜色布局，所以输入图像匹配得到的结果即为最佳的颜色布局的推荐方案。
附图说明
图1是本发明基于特定场景的色彩空间位置布局推荐的方法第一部分流程图。
图2是本发明基于特定场景的色彩空间位置布局推荐的方法第二部分流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
本发明所采用的技术方案步骤如下：
第一部分：构建数据集，见图1。
1)对CUHK(香港中文大学制作的图像美学数据集)的每个场景分类下的图像进行预处理，通过Encoder-Decoder结构的全卷积网络U-net进行颜色聚类。
Figure BDA0002831551620000031
P＝{r、g、b}
其中image_i分别代表的是原图的三个通道，将三个通道的结果进行叠加即生成初步的颜色聚类的结果图grid_image。此时整张图像的大致颜色分布是很明确的，但是如果直接将聚类图进行匹配的话，时间复杂度会有所提升，这对整体流程是有很大的影响的，所以需要进一步的颜色量化。
2)颜色量化是指减少在图像中的颜色数量的压缩过程，是一种对彩色图像进行数字图形处理的常用方法。其核心内容是在尽量减少初始彩色图像失真的前提下，能够将颜色丰富的原始彩色图像映射至颜色种类较少的量化图像上的过程。通过上述操作每张图像都会输出一张对应的颜色聚类图，对于这些颜色聚类图需要进行一个优化，把他们优化为网格图的形式，这样就方便了之后的匹配操作。首先进行颜色聚类图的裁剪操作，将其等大小的切割成8*8的网格图。
Si＝{i0...i63}
其中每个i代表一个网格，所有的网格构成了一个色块集合Si。而每个网格代表的是该方位概率最大的颜色值color_ij，概率最大的颜色值是通过k-means聚类方法算法。
设K为1，根据颜色距离的就近原则，将网格中的每个颜色值映射为对应的聚类，最后得到这些聚类的均值，再根据这些均值来归并颜色值。不断重复这一过程，直至颜色值不再变化时终止算法，最终得到的一个颜色值，color1_ij代表的即是其中某个网格内的最大概率颜色值，其余以此类推。
color_ij＝k-means{color1_ij...colorn_ij}
3)这时已经求得每个网格中概率最大的颜色值，再将其进行合并，合并的方式是按照原来网格所在颜色聚类图中的位置顺序，组合成新的网格图，这就保证了原始图像的颜色大致布局是不会改变的，这个网格图即为该原始图像的色块在空间上的分布图。每张高质量的图像都会对应唯一一张颜色分布网格图，最终构建了不同场景不同类型图像的网格图数据集。
第二部分：对输入特定场景图像进行颜色推荐，见图2。
1)颜色聚类的方法与第一部分相同，得到输入图像的最终网格图。感知哈希(hash)算法描述了一个有可比较的哈希函数的类，它的作用是对每张图片生成一个"指纹"(fingerprint)字符串，然后比较不同图片的指纹。结果越接近，就说明图片越相似。而pHash算法是一种针对图片相似度的hash算法，接下来就是与第一部分构建的数据集中每张网格图进行遍历pHash图像相似度匹配，将每个匹配的数据值保存到一个序列中。这里的匹配关键点就在于每个网格的色块值的差异大小，而pHash图像相似度算法是针对图像颜色布局的高精度算法。
2)对上述得到的序列进行一个从大到小的排序，找到其中数值最大的下标，它对应的数据集中的网格图，就作为最佳颜色空间布局的推荐方案。

Claims (4)

1.一种基于特定场景的色彩空间位置布局推荐的方法，其特征在于该方法包括以下两部分：
第一部分：构建数据集
1)对图像美学数据集CUHK的每个场景分类下的图像进行预处理，通过Encoder-Decoder结构的全卷积网络U-net进行颜色聚类，得到颜色聚类图；
2)颜色聚类图优化为网格图
进行颜色聚类图的裁剪操作，将其等大小的切割成8*8的网格图；
Si＝{i0...i63}
其中每个i代表一个网格，所有的网格构成了一个色块集合Si；而每个网格代表的是该方位概率最大的颜色值color_ij，概率最大的颜色值由聚类算法计算得到；
3)将每个网格中概率最大的颜色值进行合并，组合成新的网格图，这就保证了原始图像的颜色大致布局是不会改变的，这个网格图即为该原始图像的色块在空间上的分布图；
每张高质量的图像都会对应唯一一张颜色分布网格图，最终构建了不同场景不同类型图像的网格图数据集；
第二部分：对输入特定场景图像进行颜色推荐
1)对输入特定场景图进行颜色聚类，颜色聚类的方法与第一部分相同，得到输入特定场景图图像的网格图；
将输入特定场景图图像的网格图与第一部分构建的网格数据集中每张网格图进行遍历pHash图像相似度匹配，将每个匹配的数据值保存到一个序列中；
2)对上述得到的序列进行一个从大到小的排序，找到其中数值最大的下标，它对应的网格数据集中的网格图，就作为最佳颜色空间布局的推荐方案。
2.根据权利要求1所述的一种基于特定场景的色彩空间位置布局推荐的方法，其特征在于：颜色聚类具体是在全卷积网络下将原图的r、g、b这三个通道进行叠加。
3.根据权利要求1所述的一种基于特定场景的色彩空间位置布局推荐的方法，其特征在于：所述的聚类算法采用k-means聚类算法。
4.根据权利要求1所述的一种基于特定场景的色彩空间位置布局推荐的方法，其特征在于：所述的合并的方式是按照原来网格所在颜色聚类图中的位置顺序。
CN202011460729.9A 2020-12-11 2020-12-11 一种基于特定场景的色彩空间位置布局推荐的方法 Active CN112652030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011460729.9A CN112652030B (zh) 2020-12-11 2020-12-11 一种基于特定场景的色彩空间位置布局推荐的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011460729.9A CN112652030B (zh) 2020-12-11 2020-12-11 一种基于特定场景的色彩空间位置布局推荐的方法

Publications (2)

Publication Number Publication Date
CN112652030A true CN112652030A (zh) 2021-04-13
CN112652030B CN112652030B (zh) 2023-09-19

Family

ID=75354839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011460729.9A Active CN112652030B (zh) 2020-12-11 2020-12-11 一种基于特定场景的色彩空间位置布局推荐的方法

Country Status (1)

Country Link
CN (1) CN112652030B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375229A1 (en) * 2010-04-09 2011-10-12 Thomson Licensing Method for the classification of observers according to their visual characteristics
CN106202352A (zh) * 2016-07-05 2016-12-07 华南理工大学 基于贝叶斯网络的室内家居风格与颜色搭配设计的方法
CN108763631A (zh) * 2018-04-17 2018-11-06 上海得见计算机科技有限公司 一种情景化在线室内设计方法及系统
CN108960250A (zh) * 2018-05-07 2018-12-07 广东数相智能科技有限公司 图像至旋律的转换方法、装置与计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375229A1 (en) * 2010-04-09 2011-10-12 Thomson Licensing Method for the classification of observers according to their visual characteristics
CN106202352A (zh) * 2016-07-05 2016-12-07 华南理工大学 基于贝叶斯网络的室内家居风格与颜色搭配设计的方法
CN108763631A (zh) * 2018-04-17 2018-11-06 上海得见计算机科技有限公司 一种情景化在线室内设计方法及系统
CN108960250A (zh) * 2018-05-07 2018-12-07 广东数相智能科技有限公司 图像至旋律的转换方法、装置与计算机可读存储介质

Also Published As

Publication number Publication date
CN112652030B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
US11593615B2 (en) Image stylization based on learning network
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
US10528620B2 (en) Color sketch image searching
CN109766822B (zh) 基于神经网络的手势识别方法及系统
CN110634170B (zh) 一种基于语义内容和快速图像检索的照片级图像生成方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN103761536B (zh) 基于无监督最优美丽特征和深度评价模型的人脸美化方法
US20070296730A1 (en) Texture synthesis using dimensionality-reduced appearance space
CN110443864A (zh) 一种基于单阶段少量样本学习的艺术字体自动生成方法
US20160371867A1 (en) Optimizing photo album layouts
CN116583878A (zh) 用于个性化3d头部模型变形的方法和系统
CN116997933A (zh) 用于构造面部位置图的方法和系统
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN111797707A (zh) 一种基于聚类的镜头关键帧提取方法
CN109801304B (zh) 一种抑制裸地的建筑指数构建及建筑区域快速提取方法
WO2023020358A1 (zh) 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品
CN111125396A (zh) 一种单模型多分支结构的图像检索方法
CN112652024A (zh) 一种基于颜色和谐的对图像重新替色的方法
Wang et al. Unsupervised deep exemplar colorization via pyramid dual non-local attention
CN111402403A (zh) 高精度三维人脸重建方法
CN109035318B (zh) 一种图像风格的转换方法
CN112652030B (zh) 一种基于特定场景的色彩空间位置布局推荐的方法
Wu et al. Color transfer with salient features mapping via attention maps between images
CN114511895B (zh) 一种基于注意力机制多尺度网络的自然场景情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant