CN106296748B - 一种基于块匹配变形和颜色迁移的物体图像重光照方法 - Google Patents
一种基于块匹配变形和颜色迁移的物体图像重光照方法 Download PDFInfo
- Publication number
- CN106296748B CN106296748B CN201610632901.1A CN201610632901A CN106296748B CN 106296748 B CN106296748 B CN 106296748B CN 201610632901 A CN201610632901 A CN 201610632901A CN 106296748 B CN106296748 B CN 106296748B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- color
- input image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 43
- 230000005012 migration Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005286 illumination Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于块匹配变形和颜色迁移的物体图像重光照方法，将块匹配算法和颜色变换算法以及局部和全局光照迁移模型相结合，在保证参考图像光照情况不变的情况下，利用颜色变换算法将参考图像进行变色，使之与输入图像的颜色相一致，颜色对图像光照迁移有较大影响，如此可大大减少颜色对后期光照迁移处理的影响。在大大减少了颜色因素对发明结果的影响后，利用块匹配算法对参考图像进行变形，使之与输入图像中物体形状相匹配。最后，将输入图像和变形参考图像经过局部和全局仿射变换进行光照迁移，完成输入图像的重光照。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。
Description
技术领域
本发明属于可视计算、计算机视觉领域，特别是物体光照迁移方法，具体地说是基于局部和全局仿射变换模型的光照迁移方法。
背景技术
基于图像的无3D模型的逼真虚拟重光照已经在可视计算领域广泛地研究，并且在视觉设计、数字娱乐和电影制片等方面得到广泛地应用。
基于图像的虚拟重光照可以被粗略的分为以下几类：人脸重光照，场景重光照和物体重光照。除了3D重建理论，另外的研究方向是利用参考图像更实际的应用到现实世界的应用中。在此方向中，人脸重光照是最为普遍的研究方向。参考图像来源从多幅人脸参考图像，到两幅人脸参考图像再到单幅人脸参考图像。场景重光照和物体重光照仍然需要多幅参考图像。
在相同的种族中，人的脸部有着相同的皮肤反射率。因此，基于人脸的重光照方法通常采用只将光照迁移应用到相应的光照组件中的方法。然而，一般的物体通常都有各种各样的颜色，上述的方法就不再适用。本发明从人脸重光照方法中获得了灵感，首先，将参考图像A和B参照输入图像进行颜色变换。
不同于人脸有着相似的几何形状，在物体重光照方向，针对一般的物体，如汽车、杯子、茶壶等，虽然它们可能有相同的语义标签，但是仍具有各种各样的几何形状和材质。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的物体。另外，类似皮肤的反射率的假设也不再适合于一般物体。因此，提出一种适用于物体的重光照方法是非常必要的。之前的发明中将输入图像I中的每一个像素与变色后的参考图像A的一个像素进行匹配。然而，这种高密集度的匹配会消耗大量的时间。
发明内容
本发明要解决技术问题为：克服现有技术的不足，提供一种基于块匹配变形和颜色迁移的物体图像重光照方法，该方法能够有效的减少参考图像的数量，降低发明成本，而且将像素级匹配提升至块级别匹配，大大节约运行时间，提高运行效率。
本发明采用的技术方案为：一种基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于实现步骤：
(1)选定与输入物体图像相匹配的参考图像A和B，进行颜色变换；
(2)将变色后的参考图像A'和B'与输入图像进行块匹配变形；
(3)将变形后的参考图像
和
与输入图像通过局部和全局仿射变换模型，实现将参考图像B的光照状态迁移到输入图像上。
其中，步骤(1)所述颜色变换方法采取以下步骤：
(11)确定输入图像在RGB通道参数值，确定输入图像中物体前景的色相值I1；
(12)确定参考图像A的前景部分RGB通道参数值，确定其色相值A1；
(13)参照输入图像物体前景色相值I1对参考图像物体前景色相值A1进行对应性调整，得到变色后的参考图像A'；
(14)确定参考图像B的前景部分RGB通道参数值，确定其色相值B1；
(15)参照输入图像物体前景色相值I1对参考图像物体前景色相值B1进行对应性调整，得到变色后的参考图像B'。
其中，步骤(2)所述的块匹配变形方法采取以下步骤：
(21)对于输入图像I，按照L2范数，将其分割为边长为2r+1的N块；
(22)在参考图像A'中遍历寻找与I中N块相似的每一块，其对应关系如公式
其中，(xp,yp)是每个像素在块中的坐标；
(23)参照(22)中方法实现参考图像A'的变形，得到变形参考图像
(24)在参考图像B'中遍历寻找与I中N块相似的每一块，其对应关系如公式
其中，(xp,yp)是每个像素在块中的坐标；
(25)参照(24)中方法实现参考图像B'的变形，得到变形参考图像
其中，步骤(3)所述基于局部和全局仿射变换模型的光照迁移方法采取以下步骤：
(31)将输入图像I,变形参考图像
变形参考图像
在CIELAB色彩空间分离为亮度层和色彩层；
(32)在L通道(亮度层)对输入图像的每一块按照局部迁移公式
和
进行参考图像
与输入图像I块级别的光照迁移；
(33)对块级别完成光照迁移之后，对输入图像I,变形参考图像
变形参考图像
全图范围进行过拟合调整，按照
的公式进行全局迁移，得到输入图像I在参考图像B光照条件迁移后的重光照结果。
本发明的原理在于：
根据目前物体重光照方案的缺陷和不足，可以总结出设计基于块匹配变形和颜色迁移的物体图像重光照方法一些规则，如下所述：
(1)在场景重光照和传统的物体重光照方法中，参考视频和多幅参考图像的使用对重光照方法的运行时间和空间都是极大的考验；
(2)不同于人脸，在物体重光照领域，针对一般的物体，如汽车、杯子、茶壶有各种各样的几何形状。现在的针对人脸轮廓检测的人脸校准算法并不能直接应用于一般的物体。因此，必须使用一个适用于物体的匹配和变形算法；
(3)不同于人脸，在相同的种族中，人的脸部有着相同的皮肤反射率，只需将光照迁移应用到相应的部位中即可，在物体重光照领域，一般的物体通常都有各种各样的颜色，无法直接进行光照迁移。因此，必须使用一个适用于物体的颜色变换算法；
(4)在多种色彩空间中，CIELAB色彩空间能够更好的描述图像的光影效果和色彩效果，对图像的重光照处理提供了极好的处理空间。
根据上述规则，本发明利用颜色变换、块匹配变形、局部和全局光照迁移方法，设计了一种新的物体重光照方案。在该方案中，颜色变换用来降低颜色对后期光照迁移的影响，提高迁移效果的鲁棒性。块匹配变形用来对参考图像中物体前景区域与输入图像进行块级别匹配，找到与输入图像对应的相似块，对参考图像在块级别进行重排。局部和全局光照迁移用来实行将参考图像光照效果迁移到输入图像中。实验分析表基于块匹配变形和颜色迁移的物体图像重光照方法，能够适合实际的物体重光照应用。
本发明与现有的技术相比，其优势在于：
(1)方法在多类型物体参考图像中都具有较强的鲁棒性，将以往的多幅参考图像降低至2幅参考图像，大大降低了发明成本，节省了运行空间；
(2)将物体图像的匹配由像素级别提升到块级别，大大节约了运行时间，提高了运行效率；
(3)物体重光照方案结构简单，易于实现。
附图说明
图1是本发明应用场景图；
图2是本发明方案流程图。
具体实施方式：
下面结合附图和具体实施方式对本发明作进一步详细的说明。
块匹配变形过程：
输入物体图像I和两幅变色后的参考物体图像A'和B'均作为本发明在局部和全局的光照迁移过程的输入，在实际操作中，这3幅图像以矩阵形式存在。
对于长度为2r+1的平方块，采用L2范数。对于像素p∈I和与之对应的像素q∈A的关系,将其简化为如下公式：
其中，(xp,yp)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，||·||2为L2范数。
得到变形后参考图像
和
光照迁移过程：
输入物体图像I和两幅变形后的参考物体图像
和
均作为本发明在局部和全局的光照迁移过程的输入，在实际操作中，这3幅图像以矩阵形式存在。
用Pk(·)来表示已提到图像的第k块。因为一个块包含N个像素，所以Pk(·)为一个1×N的矩阵。每个块的局部迁移函数定义为Tk。能量函数的第一项定义了从
到
的迁移，我们在这里使用L2范数将此迁移过程表示为：
使用同样的迁移函数Tk将输入图像I转变为输出的重光照结果R，如下式：
用一个正则项来避免过拟合，我们针对
和
的全图选择了全局迁移函数G，现将局部和全局迁移模型的能量函数定义如下：
其中，a和b为每一项的相关系数。上述的最小值的获得可以通过一个标准的线性回归来解决。对于本发明，设定a＝0.01，b＝1，(像素值区间为[0,255]),N＝25(5×5块)。
总之，本发明中提出的基于块匹配变形和颜色迁移的物体图像重光照方法能够适用于多种物体作为参考物体的场景。本发明首次将块匹配变形算法和颜色变换算法以及局部和全局光照迁移模型相结合，并应用到物体图像重光照中，大大降低了运行空间，减少了运行时间，提高了运算效率。通过实验显示出本发明提出的方法能够有效减少以往参考视频和多幅参考图像所占用的空间，大大降低了发明成本，节省了运行空间；通过使用块匹配变形方法，大大节约了运行时间，提高了运行效率。并且该物体重光照方法很容易通过软件实现，本发明可广泛应用计算机视觉、视觉设计、数字娱乐和电影制片等中。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。
Claims (2)
1.一种基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于实现步骤：
(1)选定与输入图像相匹配的参考图像A和B，进行颜色变换，得到变色后的参考图像A'和B'；
步骤(1)所述颜色变换采取以下步骤：
(11)确定输入图像在RGB通道参数值，确定输入图像中物体前景色相值I1；
(12)确定参考图像A的前景部分RGB通道参数值，确定参考图像A的色相值A1；
(13)参照输入图像物体前景色相值I1对参考图像物体前景色相值A1进行对应性调整，得到变色后的参考图像A'；
(14)确定参考图像B的前景部分RGB通道参数值，确定参考图像B的色相值B1；
(15)参照输入图像物体前景色相值I1对参考图像物体前景色相值B1进行对应性调整，得到变色后的参考图像B'；
(2)将变色后的参考图像A'和B'与输入图像进行块匹配变形，得到变形后的参考图像
和
(3)将变形后参考图像
和
与输入图像通过局部和全局仿射变换模型，将参考图像B的光照状态迁移到输入图像上，得到输入图像I在参考图像B光照条件迁移后的重光照结果；
步骤(3)具体采取以下步骤：
(31)将输入图像I,变形参考图像
变形参考图像
在CIELAB色彩空间分离为亮度层和色彩层；
(32)在L通道(亮度层)对输入图像的每一块按照局部迁移公式
和
进行参考图像
与输入图像I块级别的光照迁移，其中，P(·)为一个1×N的矩阵，Pk(·)表示已提到图像的第k块，Tk表示每个块的局部迁移函数；
(33)对块级别完成光照迁移之后，对输入图像I,变形参考图像
变形参考图像
全图范围进行过拟合调整，按照
的公式进行全局迁移，得到输入图像I在参考图像B光照条件迁移后的重光照结果，其中，a和b为每一项的相关系数，
为防止过拟合的最小变量值，G为全局迁移函数。
2.根据权利要求1所述的基于块匹配变形和颜色迁移的物体图像重光照方法，其特征在于：步骤(2)所述块匹配变形方法采取以下步骤：
(21)对于输入图像I，按照L2范数，将输入图像I分割为边长为2r+1的N块；
(22)在参考图像A'中遍历寻找与I中N块相似的每一块，对应关系如公式
其中，(xp,yp)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，||·||2为L2范数；
(23)参照(22)中方法实现参考图像A'的变形，得到变形参考图像
(24)在参考图像B'中遍历寻找与I中N块相似的每一块，对应关系如公式
(25)参照(24)中方法实现参考图像B'的变形，得到变形参考图像
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610632901.1A CN106296748B (zh) | 2016-08-04 | 2016-08-04 | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610632901.1A CN106296748B (zh) | 2016-08-04 | 2016-08-04 | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106296748A CN106296748A (zh) | 2017-01-04 |
| CN106296748B true CN106296748B (zh) | 2020-05-19 |
Family
ID=57665405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610632901.1A Active CN106296748B (zh) | 2016-08-04 | 2016-08-04 | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296748B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106730844B (zh) * | 2017-01-10 | 2019-09-24 | 网易（杭州）网络有限公司 | 一种场景运行时间测试方法及装置 |
| CN107833198B (zh) * | 2017-11-09 | 2021-06-01 | 中共中央办公厅电子科技学院 | 一种基于大尺度分解的户外场景重光照方法 |
| CN107995434A (zh) * | 2017-11-30 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像获取方法、电子装置和计算机可读存储介质 |
| CN109712093B (zh) * | 2018-12-21 | 2020-12-15 | 中国电子科技集团公司第三研究所 | 一种基于海天背景的图像颜色还原方法及装置 |
| CN110033055A (zh) * | 2019-04-19 | 2019-07-19 | 中共中央办公厅电子科技学院(北京电子科技学院) | 一种基于语义和材质解析与合成的复杂物体图像重光照方法 |
| CN112950461A (zh) * | 2021-03-27 | 2021-06-11 | 刘文平 | 全局与超像素分割相融合的色彩迁移方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6731789B1 (en) * | 1999-01-29 | 2004-05-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| CN102663766A (zh) * | 2012-05-04 | 2012-09-12 | 云南大学 | 一种基于非真实感的艺术插画效果绘制方法 |
| CN103617596A (zh) * | 2013-10-12 | 2014-03-05 | 中山大学 | 一种基于流型转换的图像色彩风格变换方法 |
| CN105243653A (zh) * | 2015-11-05 | 2016-01-13 | 北京航天泰坦科技股份有限公司 | 一种基于动态匹配的无人机遥感影像快速拼接技术 |
-
2016
- 2016-08-04 CN CN201610632901.1A patent/CN106296748B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6731789B1 (en) * | 1999-01-29 | 2004-05-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| CN102663766A (zh) * | 2012-05-04 | 2012-09-12 | 云南大学 | 一种基于非真实感的艺术插画效果绘制方法 |
| CN103617596A (zh) * | 2013-10-12 | 2014-03-05 | 中山大学 | 一种基于流型转换的图像色彩风格变换方法 |
| CN105243653A (zh) * | 2015-11-05 | 2016-01-13 | 北京航天泰坦科技股份有限公司 | 一种基于动态匹配的无人机遥感影像快速拼接技术 |
Non-Patent Citations (1)
| Title |
|---|
| 一种大数据驱动的图像重光照方法设计与实现;田玉露 等;《北京电子科技学院学报》;20151231;第23卷(第4期);第76-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106296748A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296748B (zh) | 一种基于块匹配变形和颜色迁移的物体图像重光照方法 | |
| CN108564549B (zh) | 一种基于多尺度稠密连接网络的图像去雾方法 | |
| WO2018082185A1 (zh) | 图像处理方法和装置 | |
| CN103021002B (zh) | 彩色素描图像生成方法 | |
| CN1731449A (zh) | 一种图像修复方法 | |
| CN102881011A (zh) | 基于区域分割的肖像光照迁移方法 | |
| CN103440674B (zh) | 一种数字图像蜡笔特效的快速生成方法 | |
| CN103700078B (zh) | 少量背景含雾图像的去雾方法 | |
| CN106296620B (zh) | 一种基于直方图平移的色彩还原方法 | |
| CN111899295B (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
| CN103617596A (zh) | 一种基于流型转换的图像色彩风格变换方法 | |
| Zou et al. | Super-Resolution Reconstruction of Images Based on Microarray Camera. | |
| CN103646378A (zh) | 基于fpga平台的高还原度空域图像缩放方法 | |
| CN105488769B (zh) | 一种实时视频去雾方法 | |
| CN106296749B (zh) | 基于l1范数约束的rgb-d图像本征分解方法 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN103761766A (zh) | 基于色调映射和图像平滑的三维物体模型纹理映射算法 | |
| Fu et al. | Towards high-quality intrinsic images in the wild | |
| Du et al. | Double-channel guided generative adversarial network for image colorization | |
| CN111311503A (zh) | 一种夜晚低亮度图像增强系统 | |
| CN107833198B (zh) | 一种基于大尺度分解的户外场景重光照方法 | |
| CN112308793A (zh) | 一种新型的非均匀光照图像对比度和细节增强方法 | |
| CN111161219A (zh) | 一种适用于阴影环境的鲁棒单目视觉slam方法 | |
| CN105321153A (zh) | 视频监控低照度图像色彩还原方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240417 Address after: Room A-8961, Building 3, No. 20 Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing, 100000 (cluster registration) Patentee after: Beijing Hidden Computing Technology Co.,Ltd. Country or region after: China Address before: 100070 Beijing city Fengtai District Fung Fu Road No. 7 Patentee before: BEIJING ELECTRONIC SCIENCE AND TECHNOLOGY INSTITUTE Country or region before: China |
|
| TR01 | Transfer of patent right |