CN107909561B - 一种基于权值优化的最优传输图像颜色迁移方法 - Google Patents

一种基于权值优化的最优传输图像颜色迁移方法 Download PDF

Info

Publication number
CN107909561B
CN107909561B CN201711129007.3A CN201711129007A CN107909561B CN 107909561 B CN107909561 B CN 107909561B CN 201711129007 A CN201711129007 A CN 201711129007A CN 107909561 B CN107909561 B CN 107909561B
Authority
CN
China
Prior art keywords
color
image
optimal transmission
value
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711129007.3A
Other languages
English (en)
Other versions
CN107909561A (zh
Inventor
舒振宇
辛士庆
陈双敏
庞超逸
孙德超
张桢英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Technology of ZJU
Original Assignee
Ningbo Institute of Technology of ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Technology of ZJU filed Critical Ningbo Institute of Technology of ZJU
Priority to CN201711129007.3A priority Critical patent/CN107909561B/zh
Publication of CN107909561A publication Critical patent/CN107909561A/zh
Application granted granted Critical
Publication of CN107909561B publication Critical patent/CN107909561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于权值优化的最优传输图像颜色迁移方法，包括步骤：S1、获取形状图像和颜色图像，对所述形状图像和所述颜色图像均进行直方图采样；S2、对所述颜色图像的权值进行标准化处理，使得所述形状图像和所述颜色图像之间的KL散度最小，获取更新后的权值；S3、利用所述颜色图像更新后的权值获取最优传输映射，利用所述最优传输映射将所述颜色图像的颜色迁移至所述形状图像中。同传统的基于最优传输的颜色迁移方法相比较，本文方法生成的结果虽依赖于颜色图像，但是对颜色分布信息不敏感。

Description

一种基于权值优化的最优传输图像颜色迁移方法
技术领域
本发明涉及数字图像处理领域，尤其涉及一种基于权值优化的最优传输图像颜色迁移方法。
背景技术
颜色迁移是基于图像A和图像B，合成一幅新的图像C，使其同时具有B的颜色和A的结构分布等遗传信息，即图像A在不改变它自身所表达的形状信息的情况下，学习了图像B的整体颜色基调。其中图像A称为形状图像，图像B称为颜色图像，也为参考图像。颜色是最重要的视觉信息之一，颜色迁移是数字图像处理的一个重要课题，其相关技术可应用在影片的后期处理、医学影像彩色化、图像增强、图像色调再现等领域。
换个角度来看颜色迁移问题，它是指用一个从颜色到颜色的映射，把形状图像的颜色分布从一个状态变换成另一个状态，并要求传输代价最小，其本质上是最优传输问题。但是在现有的颜色传输方法中，合成图像对颜色图像的颜色分布信息敏感度较高。
发明内容
本发明的技术方案是：一种基于权值优化的最优传输图像颜色迁移方法，所述方法包括步骤：
S1、获取形状图像和颜色图像，对所述形状图像和所述颜色图像均进行直方图采样，其中所述形状图像的采样信息为
Figure BDA0001469025290000011
所述颜色图像的采样信息为
Figure BDA0001469025290000012
S2、对所述颜色图像的权值进行标准化处理，使得所述形状图像和所述颜色图像之间的KL散度最小，获取更新后的权值；
S3、利用所述颜色图像更新后的权值获取最优传输映射，利用所述最优传输映射将所述颜色图像的颜色迁移至所述形状图像中；
其中，所述形状图像聚类为i种颜色区域，所述颜色图像聚类为j类颜色区域，
Figure BDA0001469025290000021
表示所述形状图像中第i种颜色中心值，
Figure BDA0001469025290000022
表示所述形状图像中第i种颜色所占的比重，
Figure BDA0001469025290000023
表示所述颜色图像中第j种颜色中心值，n表示所述形状图像和所述颜色图像的颜色聚类均为n种，
Figure BDA0001469025290000024
表示所述颜色图像中第j种颜色所占的权值，i和j的取值范围均为正整数且两者相等。
较佳的，在步骤S2中，获取公式
Figure BDA0001469025290000025
的最小值，其中，
Figure BDA0001469025290000026
需要满足公式：
Figure BDA0001469025290000027
在上式中，α＞0。
较佳的，利用L-BFGS算法获取α值，进而获取更新后的权值
Figure BDA0001469025290000028
较佳的，利用
Figure BDA0001469025290000029
获取最优传输映射fi,j，其中，fi,j满足公式：
Figure BDA00014690252900000210
上述技术方案具有如下优点或有益效果：在上述方法中，依据形状图像的信息熵对颜色图像的权重进行归一化，通过求解使两幅图像KL散度最小的优化问题来更新颜色值权重信息，基于最优传输方法完成两幅图像之间映射，最后使用稀疏邻域插值的方法完成颜色迁移合成。同传统的基于最优传输的颜色迁移方法相比较，本文方法生成的结果虽依赖于颜色图像，但是对颜色分布信息不敏感。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明一种基于权值优化的最优传输图像颜色迁移方法的流程示意图一；
图2为本发明一种基于权值优化的最优传输图像颜色迁移方法的流程示意图二。
具体实施方式
下面结合附图和具体实施例对本发明一种基于权值优化的最优传输图像颜色迁移方法进行详细说明。
如图1所示，一种基于权值优化的最优传输图像颜色迁移方法，包括步骤：
S1、获取形状图像和颜色图像，对形状图像和颜色图像均进行直方图采样，获取图像信息，其中形状图像的采样信息为
Figure BDA0001469025290000031
颜色图像的采样信息为
Figure BDA0001469025290000032
S2、对颜色图像的权值进行标准化处理，使得形状图像和颜色图像的KL散度最小，获取更新后的权值；
S3、利用颜色图像更新后的权值获取两幅图像之间的最优颜色传输映射，利用最优传输映射将颜色图像的颜色迁移至形状图像中。
其中，将形状图像和颜色图像均进行聚类处理，形状图像聚类为i种颜色区域，颜色图像聚类为j类颜色区域，
Figure BDA0001469025290000033
表示形状图像中第i种颜色中心值，
Figure BDA0001469025290000034
表示形状图像中第i种颜色所占的比重，
Figure BDA0001469025290000035
表示颜色图像中第j种颜色中心值，形状图像按颜色聚类为ns种，颜色图像按颜色聚类为nt种，ns和nt均为正整数。
Figure BDA0001469025290000036
表示颜色图像中第j种颜色所占的权值，i和j的取值范围均为正整数。此外，
Figure BDA0001469025290000037
值得指出的是，对图像聚类后，聚类中心点对应的颜色值为颜色中心值。
近一步来讲，在步骤S2中，用
Figure BDA0001469025290000038
表示更新后的颜色图像的权值，则两幅图像之间的权值按照相同的规则排好顺序，则两幅图像之间的KL散度表示为：
Figure BDA0001469025290000041
在该公式中，
Figure BDA0001469025290000042
需要满足公式：
Figure BDA0001469025290000043
其中，α＞0，ns＝nt＝n。利用L-BFGS算法获取α值，进而获取更新后的权值
Figure BDA0001469025290000044
近一步来讲，利用下面的公式获取形状图像和颜色图像中的传输映射fi,j：
Figure BDA0001469025290000045
上述公式还需要满足最优传输，即利用
Figure BDA0001469025290000046
获取最优的传输映射fi,j。其中，ci,j表示的是形状图像的第i个聚类中心点与颜色图像的第j个聚类中心点之间的距离。最后，利用获取到的最优传输映射将颜色图像的颜色迁移到形状图像中。
近一步来讲，如图2所示，步骤S3包括过程：
S31、获取形状图像上每一个像素点颜色值最接近的聚类中心点；
S32、根据该像素点最接近的聚类中心点以及最优的传输映射fi,j，获取该像素点更新后的颜色值。
具体来说，在步骤S1中已经指出，形状图像聚类为i种颜色区域，颜色图像聚类为j类颜色区域，每个颜色区域都有一个聚类中心点。所以在步骤S3中，首先要获取形状图像上的每一个像素点值最接近的一个聚类中心点然后根据该像素点最接近的聚类中心点以及最优传输映射，获取该像素点更新后的颜色值。
在步骤S31中，利用公式：
Figure BDA0001469025290000051
获取形状图像中像素点x的最近接的聚类中心点的序号i(x)，其中，Fx指的是x点当前颜色值，Ai指的是第i个聚类中心的颜色值。
在步骤S32中，利用公式：
f0(x)＝f(Ai(x))+x-Ai(x)
获取形状图像像素点x迁移后的新的颜色值f0(x)，其中，Ai(x)指的序号为i(x)的聚类中心的颜色值，f(Ai(x))指的是序号为i(x)的聚类中心的颜色值利用最优传输映射fi,j获取的颜色值。
在使用K-means进行聚类时，会丢失部分像素点信息，因此附加项x-Ai(x)增加了聚类中心邻域点的信息，从而减少在使用K-means时产生的细节误差，提高结果最终图片的质量。
在上述方法中，依据形状图像的信息熵对颜色图像的权重进行归一化，通过求解使两幅图像KL散度最小的优化问题来更新颜色值权重信息，基于最优传输方法完成两幅图像之间映射，最后使用稀疏邻域插值的方法完成颜色迁移合成。同传统的基于最优传输的颜色迁移方法相比较，本文方法生成的结果虽依赖于颜色图像，但是对颜色分布信息不敏感。
对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (5)

1.一种基于权值优化的最优传输图像颜色迁移方法，其特征在于，所述方法包括步骤：
S1、获取形状图像和颜色图像，对所述形状图像和所述颜色图像均进行直方图采样，其中所述形状图像的采样信息为
Figure FDA0003064663980000011
所述颜色图像的采样信息为
Figure FDA0003064663980000012
S2、对所述颜色图像的权值进行标准化处理，使得所述形状图像和所述颜色图像之间的KL散度最小，获取更新后的权值；
S3、利用所述颜色图像更新后的权值获取最优传输映射，利用所述最优传输映射将所述颜色图像的颜色迁移至所述形状图像中；
在步骤S2中，用
Figure FDA0003064663980000013
表示更新后的颜色图像的权值，则两幅图像之间的权值按照相同的规则排好顺序，则两幅图像之间的KL散度表示为：
Figure FDA0003064663980000014
在该公式中，
Figure FDA0003064663980000015
需要满足公式：
Figure FDA0003064663980000016
其中，α＞0，利用L-BFGS算法获取α值，进而获取更新后的权值
Figure FDA0003064663980000017
其中，所述形状图像聚类为i种颜色区域，所述颜色图像聚类为j类颜色区域，
Figure FDA0003064663980000018
表示所述形状图像中第i种颜色中心值，
Figure FDA0003064663980000019
表示所述形状图像中第i种颜色所占的比重，
Figure FDA00030646639800000110
表示所述颜色图像中第j种颜色中心值，n表示所述形状图像和所述颜色图像的颜色聚类均为n种，
Figure FDA00030646639800000111
表示所述颜色图像中第j种颜色所占的权值，i和j的取值范围均为正整数且两者相等。
2.根据权利要求1所述的基于权值优化的最优传输图像颜色迁移方法，其特征在于，利用
Figure FDA00030646639800000112
获取最优传输映射fi,j，Ci,j表示的是形状图像的第i个聚类中心点与颜色图像的第j个聚类中心点之间的距离，其中，fi,j满足公式：
Figure FDA0003064663980000021
。
3.根据权利要求2所述的基于权值优化的最优传输图像颜色迁移方法，其特征在于，步骤S3包括过程：
S31、获取所述形状图像上每一个像素点颜色值最接近的聚类中心点；
S32、根据该像素点最接近的聚类中心点以及最优的传输映射fi,j，获取该像素点更新后的颜色值。
4.根据权利要求3所述的基于权值优化的最优传输图像颜色迁移方法，其特征在于，在步骤S31中，利用公式：
Figure FDA0003064663980000022
获取所述形状图像中像素点x的最接近的聚类中心点的序号i(x)，其中，Fx指的是x点当前颜色值，Ai指的是第i个聚类中心的颜色值。
5.根据权利要求4所述的基于权值优化的最优传输图像颜色迁移方法，其特征在于，在步骤S32中，利用公式：
f0(x)＝f(Ai(x))+x-Ai(x)
获取所述形状图像像素点x迁移后的新的颜色值f0(x)，其中，Ai(x)指的是序号为i(x)的聚类中心的颜色值，f(Ai(x))指的是序号为i(x)的聚类中心的颜色值利用最优传输映射fi,j获取的颜色值。
CN201711129007.3A 2017-11-15 2017-11-15 一种基于权值优化的最优传输图像颜色迁移方法 Active CN107909561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711129007.3A CN107909561B (zh) 2017-11-15 2017-11-15 一种基于权值优化的最优传输图像颜色迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711129007.3A CN107909561B (zh) 2017-11-15 2017-11-15 一种基于权值优化的最优传输图像颜色迁移方法

Publications (2)

Publication Number Publication Date
CN107909561A CN107909561A (zh) 2018-04-13
CN107909561B true CN107909561B (zh) 2021-07-27

Family

ID=61844192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711129007.3A Active CN107909561B (zh) 2017-11-15 2017-11-15 一种基于权值优化的最优传输图像颜色迁移方法

Country Status (1)

Country Link
CN (1) CN107909561B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969571A (zh) * 2019-11-29 2020-04-07 福州大学 一种跨摄像头场景下指定自适应光照迁移方法及系统
CN113298731A (zh) * 2021-05-24 2021-08-24 Oppo广东移动通信有限公司 图像色彩迁移方法及装置、计算机可读介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN103839079A (zh) * 2014-03-18 2014-06-04 浙江师范大学 一种基于分类学习的相似图像彩色化算法
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN105261046A (zh) * 2015-09-23 2016-01-20 北京航空航天大学 一种场景自适应的色调迁移方法
CN105761202A (zh) * 2016-02-03 2016-07-13 武汉大学 一种彩色图像颜色迁移方法
EP3113475A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing An apparatus and a method for modifying colours of a focal stack of a scene according to a colour palette
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073748A (zh) * 2011-03-08 2011-05-25 武汉大学 一种基于视觉关键词的遥感影像语义检索方法
CN103839079A (zh) * 2014-03-18 2014-06-04 浙江师范大学 一种基于分类学习的相似图像彩色化算法
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
EP3113475A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing An apparatus and a method for modifying colours of a focal stack of a scene according to a colour palette
CN105261046A (zh) * 2015-09-23 2016-01-20 北京航空航天大学 一种场景自适应的色调迁移方法
CN105761202A (zh) * 2016-02-03 2016-07-13 武汉大学 一种彩色图像颜色迁移方法
CN106815826A (zh) * 2016-12-27 2017-06-09 上海交通大学 基于场景识别的夜视图像彩色融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Non-convex Relaxation of Optimal Transport for Color Transfer Between Images;Julien Rabin 等;《International Conference on Geometric Science of Information》;20160403;87-95 *
Optimal Transportation for Example-Guided Color Transfer;Oriel Frigo 等;《ACCV 2014》;20141101;655-670 *
Regularized Discrete Optimal Transport;Ferradans S 等;《SIAM Journal on Imaging Sciences》;20130731;第7卷(第3期);428-439 *
基于 K 均值聚类和区域匹配的颜色迁移技术;张子迎 等;《系统仿真学报》;20151031;第27卷(第10期);2359-2364 *
多参考图像的颜色迁移算法研究;厉彦皓;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170815(第08期);I138-453 *

Also Published As

Publication number Publication date
CN107909561A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN108241745A (zh) 样本集的处理方法及装置、样本的查询方法及装置
CN107909561B (zh) 一种基于权值优化的最优传输图像颜色迁移方法
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN111476831B (zh) 基于聚类分析的pcb图像色彩迁移装置及方法
WO2020000877A1 (zh) 用于生成图像的方法和装置
CN111553296B (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法
CN114241265A (zh) 一种基于样本权重的多源域多层级迁移学习方法
CN110619643B (zh) 一种基于局部信息的区域生长图像分割方法
CN110751271A (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN109272522A (zh) 一种基于局部特征的图像细化分割方法
CN109242759A (zh) 基于密度聚类的图收缩分组配准方法
WO2021041342A1 (en) Semantic image retrieval for whole slide images
CN110020986B (zh) 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN117152179A (zh) 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法
CN116958613A (zh) 深度多视图聚类方法、装置、电子设备及可读存储介质
CN109858529B (zh) 一种可伸缩性的图像聚类方法
CN108765472B (zh) 基于稀疏有向图的图像集配准方法
Liang et al. Lightweight image super-resolution network using involution
CN116451179A (zh) 一种基于投影重构的领域适应字典对学习方法
CN114782688A (zh) 一种基于张量子空间聚类的自然图像分割方法和系统
CN113780148A (zh) 交通标志图像识别模型训练方法和交通标志图像识别方法
CN109712099B (zh) 基于slic和自适应滤波的声呐图像均衡化方法
CN113486977B (zh) 一种基于深度学习的无人机测绘方法及系统
CN112200853A (zh) 一种基于三维卷积神经网络的渐进式实时立体匹配方法
Liang et al. Image super-resolution by textural context constrained visual vocabulary

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant