CN110570496A - 一种基于球谐光照的rgbd图像环境光编辑方法和系统 - Google Patents
一种基于球谐光照的rgbd图像环境光编辑方法和系统 Download PDFInfo
- Publication number
- CN110570496A CN110570496A CN201910789050.5A CN201910789050A CN110570496A CN 110570496 A CN110570496 A CN 110570496A CN 201910789050 A CN201910789050 A CN 201910789050A CN 110570496 A CN110570496 A CN 110570496A
- Authority
- CN
- China
- Prior art keywords
- map
- spherical harmonic
- image
- illumination
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000002310 reflectometry Methods 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 4
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 55
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000009877 rendering Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
Abstract
本发明属于数字图像处理技术领域，公开了一种基于球谐光照的RGBD图像环境光编辑方法和系统，方法包括：对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；将无阴影的明暗图分解为光照细节图、球谐光照图；通过交互编辑得到调节后的球谐光照图；根据球谐光照图、调节后的球谐光照图对阴影图进行调整，得到调节后的阴影图；根据无阴影的反射率图、调节后的球谐光照图、调节后的阴影图合成得到环境光编辑后的RGB图像并输出。系统包括：预处理单元、明暗图分解单元、交互编辑单元、阴影图调节单元、图像合成单元。本发明适用于各种环境光复杂的情况，能够自动对图像中的环境光进行估计。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种基于球谐光照的RGBD 图像环境光编辑方法和系统。
背景技术
光照的分布是影响照片质量的重要因素，尤其是环境光。在专业摄影领域，摄影师往往通过外加的人工光源来改善环境的光照分布。然而现实情况较为复杂，人工灯源的调整不仅难以使得光照达到理想情况，而且会耗费大量的设备和人力。此外，已经拍摄的图像只能通过后期处理的方法进行编辑。用户需要一种便捷的图像处理方法，从而可以自由且方便地对其中的光照进行编辑和增强。
目前一些重加光照的方法虽然能够实现对图像中光照的调节，但是这些方法利用的是简单的光照模型，如直线光源、点光源或者聚光灯等，不适用于现实情况中复杂的光照情况。而且一张图像中的光源很难与场景中白色的物体区分出来，对光源的估计是一个较为困难的问题。一些交互式的重加光照的方法虽然能够克服这些缺点，但是由于没有用到三维信息作为输入，需要大量的交互式操作来确定场景的空间结构以及光源的位置、方向和强度等信息，且无法实现整体光照的增强。此外现有的重加光照方法由于缺乏场景中的物体遮挡关系，大都无法对场景中原有的阴影进行调整。
发明内容
本申请实施例通过提供一种基于球谐光照的RGBD图像环境光编辑方法和系统，解决了现有技术中对图像的光照调节难以适用于环境光复杂的情况的问题。
本申请实施例提供一种基于球谐光照的RGBD图像环境光编辑方法，包括：
步骤1、对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；
步骤2、将所述无阴影的明暗图分解为光照细节图、球谐光照图；
步骤3、通过交互编辑得到调节后的球谐光照图；
步骤4、根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；
步骤5、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
优选的，所述步骤1包括以下子步骤：
步骤1.1、将原始RGB图像转化成灰度图，并利用基于相对全变分模型的纹理结构提取方法对灰度图进行滤波，得到纹理去除后的图像；
步骤1.2、利用RGBD-Fusion方法结合纹理去除后的图像对原始深度图进行优化，得到精细深度图；
步骤1.3、利用单张RGBD图像的阴影移除方法结合精细深度图对原始 RGB图像的阴影进行移除，得到阴影图、无阴影图像；
步骤1.4、利用基于结构纹理分离与表面法线的本征图像分解方法对无阴影图像进行分解，得到无阴影的反射率图、无阴影的明暗图。
优选的，所述步骤2包括以下子步骤：
步骤2.1、利用所述精细深度图计算出法线图，并归一化；
步骤2.2、所述法线图按照行主序的顺序构造成大小为N×3的法向量矩阵，其中N为法线图像素个数；
步骤2.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤2.4、将所述无阴影的明暗图按照行主序的顺序构造成长度为N的列向量；
步骤2.5、利用最小二乘的方法获得球谐系数向量：
h＝(ATA)-1ATS
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为无阴影的明暗图的列向量；
步骤2.6、利用所述球谐系数向量获得球谐光照图、光照细节图，计算方法为：
L＝A·h
其中，L、D分别为所述球谐光照图、所述光照细节图，∈＝10-6。
优选的，所述步骤3包括以下子步骤：
步骤3.1、将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，得到环境光分布图；
步骤3.2、在所述环境光分布图上使用笔刷进行绘制，以调整光照的强度和分布，得到编辑后的环境光分布图；
步骤3.3、获得编辑后的环境光分布图的球谐系数向量，根据球谐系数向量进行重新渲染，得到调节后的球谐光照图。
优选的，所述步骤3.3中，通过以下步骤获得编辑后的环境光分布图的球谐系数：
步骤3.3.1、利用所述精细深度图计算出法线图，并归一化；
步骤3.3.2、所述法线图按照行主序的顺序构造成大小为N×3的法向量矩阵，其中N为图像像素个数；
步骤3.3.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤3.3.4、将所述编辑后的环境光分布图按照行主序的顺序构造成长度为N的列向量；
步骤3.3.5、利用最小二乘的方法获得球谐参数向量：
h＝(ATA)-1ATS
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量。
优选的，所述步骤4包括以下子步骤：
步骤4.1，将所述精细深度图转换成点云，并进行下采样；
步骤4.2，将下采样后的点云建立K-d树，对于点云中的每一个点p，利用K-d树得到其半径为r的领域内的所有点的集合Ω(p)；
步骤4.3，结合所述球谐光照图计算出点云每一个点对应的环境光遮罩阴影密度图，计算方法为：
其中，υ(p，q)为点p到点q的向量，H为球谐光照渲染函数，C为环境光遮罩阴影密度图；
步骤4.4，利用4.3中环境光遮罩阴影密度图的计算方法，结合所述调节后的球谐光照图，计算出调节后的环境光遮罩阴影密度图；
步骤4.5，根据所述环境光遮罩阴影密度图、所述调节后的环境光遮罩阴影密度图、所述阴影图计算得到调节后的阴影图，计算方法为：
ρ′＝ρ·exp(C′-C)
其中，C′为所述调节后的环境光遮罩阴影密度图，ρ和ρ′分别为所述阴影图和所述调节后的阴影图。
优选的，所述步骤5中合成得到环境光编辑后的RGB图像的计算方法为：
I＝ρ′L′DR
其中，L′为所述调节后的球谐光照图，R为所述无阴影的反射率图，I为所述环境光编辑后的RGB图像。
另一方面，本申请实施例提供一种基于球谐光照的RGBD图像环境光编辑系统，包括：
预处理单元，用于对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；
明暗图分解单元，用于将所述无阴影的明暗图分解为光照细节图、球谐光照图；
交互编辑单元，用于通过交互编辑得到调节后的球谐光照图；
阴影图调节单元，用于根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；
图像合成单元，用于根据所述反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
优选的，所述预处理单元包括：
纹理滤波子单元，用于将原始RGB图像中的纹理进行滤除，得到纹理去除后的图像；
深度图优化子单元，用于对原始深度图进行优化，得到精细深度图；
阴影移除子单元，用于将原始RGB图像中的阴影进行移除，得到无阴影图像；
本征图像分解子单元，用于将原始RGB图像进行分解，得到无阴影的反射率图、无阴影的明暗图、阴影图。
优选的，所属交互编辑单元包括：
环境光渲染子单元，用于将球谐系数向量在立方体上进行渲染并展开，得到环境光分布图；
用户绘制子单元，用于通过笔刷绘制对环境光分布图中的光照进行调节，得到编辑后的环境光分布图；
球谐系数向量估计子单元，用于对编辑后的环境光分布图进行球谐系数向量估计，得到编辑后的环境光分布图的球谐系数向量；
球谐光照图渲染子单元，用于根据编辑后的环境光分布图的球谐系数进行渲染，得到调节后的球谐光照图。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本申请实施例中，对输入的RGBD图像进行预处理得到无阴影的反射率图、无阴影的明暗图以及阴影图，将无阴影的明暗图分解成光照细节图和球谐光照图，通过交互编辑得到调节后的球谐光照图，根据球谐光照图、调节后的球谐光照图对阴影图进行调整得到调节后的阴影图，根据无阴影的反射率图、调节后的球谐光照图、调节后的阴影图合成得到环境光编辑后的RGB图像并输出。即本发明对输入的图像进行预处理，并将明暗图分解成光照细节图和球谐光照图，再以用户交互的方式调整球谐光照图，并相应地调整阴影，最后进行重新合成，得到环境光编辑后的图像。本发明结合深度图对图像中的环境光进行估计，通过用户交互的方式编辑环境光并重新合成，从而使得图像的环境光照情况达到预期效果。本发明建立的光照模型适用于各种环境光复杂的情况，能够自动对图像中的环境光进行估计，光照编辑的交互过程直观方便，对于用户输入具有较好的鲁棒性。
附图说明
为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法的总体数据流图；
图2为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法的光照编辑数据流图；
图3为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法的球谐光照分解过程数据流图；
图4为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法的用户交互数据流图；
图5为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法的阴影调整数据流图；
图6为利用本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法对图像进行环境光编辑的示例图；
图7为本发明实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法与现有交互式光照编辑方法的效果对比图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明提供一种基于球谐光照的RGBD图像环境光编辑方法，主要包括以下步骤：
步骤1、对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；
步骤2、将所述无阴影的明暗图分解为光照细节图、球谐光照图；
步骤3、通过交互编辑得到调节后的球谐光照图；
步骤4、根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；
步骤5、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
下面结合附图，对本发明做进一步的说明。
参看图1-图5，本实施例提供的一种基于球谐光照的RGBD图像环境光编辑方法，主要包括如下步骤：
步骤1，将原始RGB图像(例如一张分辨率为640×480的RGB图像)作为输入，将其转化成灰度图，并利用基于相对全变分模型的纹理结构提取方法对灰度图进行滤波，得到纹理去除后的图像(纹理去除后的图像即为结构图)。
步骤2，利用RGBD-Fusion方法结合纹理去除后的图像对原始深度图进行优化，得到精细深度图。
步骤3，利用单张RGBD图像的阴影移除方法结合精细深度图对原始RGB 图像的阴影进行移除，得到阴影图、无阴影图像。
步骤4，利用基于结构纹理分离与表面法线的本征图像分解方法对无阴影图像进行分解，得到无阴影的反射率图和无阴影的明暗图。
步骤5，基于球谐光照将明暗图分解成光照细节图和球谐光照图。
步骤5.1，利用精细深度图计算出法线图，并归一化。
步骤5.2，法线图按照行主序的顺序构造成大小为N×3的法向量矩阵(例如307200×3的法向量矩阵)，其中N为图像像素个数。
步骤5.3，利用度数为2的实数域球谐基函数计算出法向量矩阵对应的球谐基矩阵，其大小为N×9(例如307200×9)。
步骤5.4，将无阴影的明暗图按照行主序的顺序构造成长度为N(例如 307200)的列向量。
步骤5.5，利用最小二乘的方法估计出球谐参数向量，也即：
h＝(ATA)-1ATS
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为无阴影的明暗图的列向量。
步骤5.6，利用球谐系数向量计算球谐光照图和光照细节图，计算方法为：
L＝A·h
其中，L和D分别为球谐光照图和光照细节图，∈＝10-6。
步骤6，使用用户交互的方法对球谐光照图进行编辑，得到环境光照调整后的球谐光照图。
步骤6.1，将球谐光照图对应的球谐系数在立方体上渲染并展开，得到环境光分布图。
步骤6.2，在环境光分布图上使用笔刷进行绘制，以调整光照的强度和分布，从而得到编辑后的环境光分布图。
步骤6.3，类似于步骤5.1到步骤5.5的方法，对编辑后的环境光照分布图估计球谐系数，然后重新渲染成球谐光照图L′。
步骤7，根据调整前后的球谐光照图相应地调整阴影图。
步骤7.1，将精细深度图转换成点云，并进行下采样。
步骤7.2，将下采样后的点云建立K-d树，对于点云中的每一个点p，利用K-d树得到其半径为r的领域内的所有点的集合Ω(p)。
步骤7.3，结合初始的球谐光照图计算出点云每一个点对应的环境光遮罩阴影密度图C，计算方法为：
其中，v(p，q)为点p到点q的向量，H为球谐光照渲染函数。
步骤7.4，结合编辑后的球谐光照图计算出新的环境光遮罩阴影密度图 C′。
步骤7.5，根据C和C′计算新的阴影图像，计算方法为：
ρ′＝ρ·exp(C′-C)
其中，ρ和ρ′分别为编辑前后的阴影图像。
步骤8，合成无阴影的反射率图、调整后的球谐光照图、调节后的阴影图，得到环境光编辑后的结果图像，合成图像的计算方法为：
I＝ρ′L′DR
其中，R为反射率图，I为最终合成的结果。
图6为本发明对图像进行环境光编辑的两组结果，其中奇数行为RGB图像，偶数行为对应的环境光编辑过程，图像列(a)为原始图像，(b)和(c) 为添加光源后的结果，(d)为总体光照增强后的结果。
从图6中可以看出，用户对环境光分布图进行编辑后，场景的光照能够对应地实现调整，其中不论是局部光源的添加还是整体光照的增强，都能达到较为自然的结果。
图7为本发明与现有交互式光照编辑方法结果对比，其中(a)为原始图像；(b)和(c)为Interactive Relighting in Single Low-Dynamic Range Images 方法光照编辑后的结果(以下简称IRSI方法)；(e)和(f)为本发明的结果；(d)和(g)分别为(c)和(f)中的局部细节。
从图7中可以看出，本发明相对于IRSI方法在整体上取得了更好的效果。其中，从中部箭头可以看出，IRSI方法的结果在沙发等平面交界处存在不自然的亮度突变，而本发明在这些地方过渡自然。从左上部箭头可以看出，竖直光照在IRSI方法中没有很好地体现出来，从右下部箭头可以看出IRSI的着色没有随着竖直光照的添加而发生改变，相对而言，本发明在这两个地方都能较好得符合真实的光照效果。
相应的，本发明提供一种基于球谐光照的RGBD图像环境光编辑系统，包括：
(1)预处理单元，用于对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图。
其中，所述预处理单元包括：
(1.1)纹理滤波子单元，用于将原始RGB图像中的纹理进行滤除，得到纹理去除后的图像。
(1.2)深度图优化子单元，用于对原始深度图进行优化，得到精细深度图。
(1.3)阴影移除子单元，用于将原始RGB图像中的阴影进行移除，得到无阴影图像。
(1.4)本征图像分解子单元，用于将原始RGB图像进行分解，得到无阴影的反射率图、无阴影的明暗图、阴影图。
(2)明暗图分解单元，用于将所述无阴影的明暗图分解为光照细节图、球谐光照图。
(3)交互编辑单元，用于通过交互编辑得到调节后的球谐光照图。
其中，所属交互编辑单元包括：
(3.1)环境光渲染子单元，用于将球谐系数向量在立方体上进行渲染并展开，得到环境光分布图；
(3.2)用户绘制子单元，用于通过笔刷绘制对环境光分布图中的光照进行调节，得到编辑后的环境光分布图；
(3.3)球谐系数向量估计子单元，用于对编辑后的环境光分布图进行球谐系数向量估计，得到编辑后的环境光分布图的球谐系数向量；
(3.4)球谐光照图渲染子单元，用于根据编辑后的环境光分布图的球谐系数进行渲染，得到调节后的球谐光照图。
(4)阴影图调节单元，用于根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图。
(5)图像合成单元，用于根据所述反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于球谐光照的RGBD图像环境光编辑方法，其特征在于，包括：
步骤1、对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；
步骤2、将所述无阴影的明暗图分解为光照细节图、球谐光照图；
步骤3、通过交互编辑得到调节后的球谐光照图；
步骤4、根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；
步骤5、根据所述无阴影的反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
2.根据权利要求1所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤1包括以下子步骤：
步骤1.1、将原始RGB图像转化成灰度图，并利用基于相对全变分模型的纹理结构提取方法对灰度图进行滤波，得到纹理去除后的图像；
步骤1.2、利用RGBD-Fusion方法结合纹理去除后的图像对原始深度图进行优化，得到精细深度图；
步骤1.3、利用单张RGBD图像的阴影移除方法结合精细深度图对原始RGB图像的阴影进行移除，得到阴影图、无阴影图像；
步骤1.4、利用基于结构纹理分离与表面法线的本征图像分解方法对无阴影图像进行分解，得到无阴影的反射率图、无阴影的明暗图。
3.根据权利要求2所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤2包括以下子步骤：
步骤2.1、利用所述精细深度图计算出法线图，并归一化；
步骤2.2、所述法线图按照行主序的顺序构造成大小为N×3的法向量矩阵，其中N为法线图像素个数；
步骤2.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤2.4、将所述无阴影的明暗图按照行主序的顺序构造成长度为N的列向量；
步骤2.5、利用最小二乘的方法获得球谐系数向量：
h＝(ATA)-1ATS
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为无阴影的明暗图的列向量；
步骤2.6、利用所述球谐系数向量获得球谐光照图、光照细节图，计算方法为：
L＝A·h
其中，L、D分别为所述球谐光照图、所述光照细节图，∈＝10-6。
4.根据权利要求3所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤3包括以下子步骤：
步骤3.1、将所述球谐光照图对应的球谐系数向量在立方体上渲染并展开，得到环境光分布图；
步骤3.2、在所述环境光分布图上使用笔刷进行绘制，以调整光照的强度和分布，得到编辑后的环境光分布图；
步骤3.3、获得编辑后的环境光分布图的球谐系数向量，根据球谐系数向量进行重新渲染，得到调节后的球谐光照图。
5.根据权利要求4所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤3.3中，通过以下步骤获得编辑后的环境光分布图的球谐系数：
步骤3.3.1、利用所述精细深度图计算出法线图，并归一化；
步骤3.3.2、所述法线图按照行主序的顺序构造成大小为N×3的法向量矩阵，其中N为图像像素个数；
步骤3.3.3、利用度数为2的实数域球谐基函数计算出所述法向量矩阵对应的球谐基矩阵，所述球谐基矩阵大小为N×9；
步骤3.3.4、将所述编辑后的环境光分布图按照行主序的顺序构造成长度为N的列向量；
步骤3.3.5、利用最小二乘的方法获得球谐参数向量：
h＝(ATA)-1ATS
其中，h为长度为9的球谐系数向量，A为球谐基矩阵，S为编辑后的环境光分布图向量。
6.根据权利要求4所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤4包括以下子步骤：
步骤4.1，将所述精细深度图转换成点云，并进行下采样；
步骤4.2，将下采样后的点云建立K-d树，对于点云中的每一个点p，利用K-d树得到其半径为r的领域内的所有点的集合Ω(p)；
步骤4.3，结合所述球谐光照图计算出点云每一个点对应的环境光遮罩阴影密度图，计算方法为：
其中，v(p，q)为点p到点q的向量，H为球谐光照渲染函数，C为环境光遮罩阴影密度图；
步骤4.4，利用4.3中环境光遮罩阴影密度图的计算方法，结合所述调节后的球谐光照图，计算出调节后的环境光遮罩阴影密度图；
步骤4.5，根据所述环境光遮罩阴影密度图、所述调节后的环境光遮罩阴影密度图、所述阴影图计算得到调节后的阴影图，计算方法为：
ρ′＝ρ·exp(C′-C)
其中，C′为所述调节后的环境光遮罩阴影密度图，ρ和ρ′分别为所述阴影图和所述调节后的阴影图。
7.根据权利要求6所述的基于球谐光照的RGBD图像环境光编辑方法，其特征在于，所述步骤5中合成得到环境光编辑后的RGB图像的计算方法为：
I＝ρ′L′DR
其中，L′为所述调节后的球谐光照图，R为所述无阴影的反射率图，I为所述环境光编辑后的RGB图像。
8.一种基于球谐光照的RGBD图像环境光编辑系统，其特征在于，包括：
预处理单元，用于对输入的RGBD图像进行预处理，得到无阴影的反射率图、无阴影的明暗图、阴影图；
明暗图分解单元，用于将所述无阴影的明暗图分解为光照细节图、球谐光照图；
交互编辑单元，用于通过交互编辑得到调节后的球谐光照图；
阴影图调节单元，用于根据所述球谐光照图、所述调节后的球谐光照图对所述阴影图进行调整，得到调节后的阴影图；
图像合成单元，用于根据所述反射率图、所述调节后的球谐光照图、所述调节后的阴影图合成得到环境光编辑后的RGB图像并输出。
9.根据权利要求8所述的基于球谐光照的RGBD图像环境光编辑系统，其特征在于，所述预处理单元包括：
纹理滤波子单元，用于将原始RGB图像中的纹理进行滤除，得到纹理去除后的图像；
深度图优化子单元，用于对原始深度图进行优化，得到精细深度图；
阴影移除子单元，用于将原始RGB图像中的阴影进行移除，得到无阴影图像；
本征图像分解子单元，用于将原始RGB图像进行分解，得到无阴影的反射率图、无阴影的明暗图、阴影图。
10.根据权利要求8所述的基于球谐光照的RGBD图像环境光编辑系统，其特征在于，所属交互编辑单元包括：
环境光渲染子单元，用于将球谐系数向量在立方体上进行渲染并展开，得到环境光分布图；
用户绘制子单元，用于通过笔刷绘制对环境光分布图中的光照进行调节，得到编辑后的环境光分布图；
球谐系数向量估计子单元，用于对编辑后的环境光分布图进行球谐系数向量估计，得到编辑后的环境光分布图的球谐系数向量；
球谐光照图渲染子单元，用于根据编辑后的环境光分布图的球谐系数进行渲染，得到调节后的球谐光照图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910789050.5A CN110570496B (zh) | 2019-08-26 | 2019-08-26 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910789050.5A CN110570496B (zh) | 2019-08-26 | 2019-08-26 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570496A true CN110570496A (zh) | 2019-12-13 |
| CN110570496B CN110570496B (zh) | 2021-03-16 |
Family
ID=68776234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910789050.5A Expired - Fee Related CN110570496B (zh) | 2019-08-26 | 2019-08-26 | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570496B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489101A (zh) * | 2020-11-04 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 基于球谐函数的场景信息的表达方法、装置、设备和介质 |
| CN113240622A (zh) * | 2021-03-12 | 2021-08-10 | 清华大学 | 人体场景图像本征分解与重光照方法和装置 |
| CN113920036A (zh) * | 2021-12-14 | 2022-01-11 | 武汉大学 | 一种基于rgb-d图像的交互式重光照编辑方法 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115641333A (zh) * | 2022-12-07 | 2023-01-24 | 武汉大学 | 一种基于球谐高斯的室内光照估计方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
| US20150350513A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Constant Bracket High Dynamic Range (cHDR) Operations |
| CN106910239A (zh) * | 2015-12-22 | 2017-06-30 | 北京仿真中心 | 一种基于阴影图的软阴影绘制方法 |
| CN107274476A (zh) * | 2017-08-16 | 2017-10-20 | 城市生活（北京）资讯有限公司 | 一种阴影图的生成方法及装置 |
| US10015478B1 (en) * | 2010-06-24 | 2018-07-03 | Steven M. Hoffberg | Two dimensional to three dimensional moving image converter |
| CN109087347A (zh) * | 2018-08-15 | 2018-12-25 | 杭州光珀智能科技有限公司 | 一种图像处理方法及装置 |
| US10210618B1 (en) * | 2013-12-27 | 2019-02-19 | Google Llc | Object image masking using depth cameras or three-dimensional (3D) models |
-
2019
- 2019-08-26 CN CN201910789050.5A patent/CN110570496B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10015478B1 (en) * | 2010-06-24 | 2018-07-03 | Steven M. Hoffberg | Two dimensional to three dimensional moving image converter |
| US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
| US10210618B1 (en) * | 2013-12-27 | 2019-02-19 | Google Llc | Object image masking using depth cameras or three-dimensional (3D) models |
| US20150350513A1 (en) * | 2014-05-30 | 2015-12-03 | Apple Inc. | Constant Bracket High Dynamic Range (cHDR) Operations |
| CN106910239A (zh) * | 2015-12-22 | 2017-06-30 | 北京仿真中心 | 一种基于阴影图的软阴影绘制方法 |
| CN107274476A (zh) * | 2017-08-16 | 2017-10-20 | 城市生活（北京）资讯有限公司 | 一种阴影图的生成方法及装置 |
| CN109087347A (zh) * | 2018-08-15 | 2018-12-25 | 杭州光珀智能科技有限公司 | 一种图像处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| JUNHO JEON 等: "Intrinsic Image Decomposition Using Structure-Texture Separation and Surface Normals", 《COMPUTER VISION - ECCV 2014》 * |
| LAP-FAI YU 等: "Shading-based Shape Refinement of RGB-D Images", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 肖春霞 等: "结合图像细节特征的全局优化纹理合成", 《计算机学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112489101A (zh) * | 2020-11-04 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 基于球谐函数的场景信息的表达方法、装置、设备和介质 |
| CN113240622A (zh) * | 2021-03-12 | 2021-08-10 | 清华大学 | 人体场景图像本征分解与重光照方法和装置 |
| CN113240622B (zh) * | 2021-03-12 | 2023-01-06 | 杭州新畅元科技有限公司 | 人体场景图像本征分解与重光照方法和装置 |
| CN113920036A (zh) * | 2021-12-14 | 2022-01-11 | 武汉大学 | 一种基于rgb-d图像的交互式重光照编辑方法 |
| CN115375827A (zh) * | 2022-07-21 | 2022-11-22 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115375827B (zh) * | 2022-07-21 | 2023-09-15 | 荣耀终端有限公司 | 光照估计方法及电子设备 |
| CN115641333A (zh) * | 2022-12-07 | 2023-01-24 | 武汉大学 | 一种基于球谐高斯的室内光照估计方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570496B (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570496B (zh) | 一种基于球谐光照的rgbd图像环境光编辑方法和系统 | |
| Rudnev et al. | Nerf for outdoor scene relighting | |
| Zhang et al. | Nerfactor: Neural factorization of shape and reflectance under an unknown illumination | |
| Loscos et al. | Interactive virtual relighting and remodeling of real scenes | |
| JP4500614B2 (ja) | 映像基盤レンダリングおよび編集の方法ならびにその装置 | |
| US6862024B2 (en) | Enhancing textured range images using a 2D editor | |
| US7102683B2 (en) | Single lens 3D camera | |
| US7756356B2 (en) | System and method for factorizing light in a sequence of images | |
| CN113920036A (zh) | 一种基于rgb-d图像的交互式重光照编辑方法 | |
| CN101422035A (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| CN111968216A (zh) | 一种体积云阴影渲染方法、装置、电子设备及存储介质 | |
| CN112734650A (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| CN113240783B (zh) | 风格化渲染方法和装置、可读存储介质、电子设备 | |
| US20030198404A1 (en) | Method for determining distances to a surface from a range image | |
| CN116012232A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
| US6792205B2 (en) | Method for generating a textured range image | |
| CN117315295A (zh) | 一种bim模型相似度计算方法、系统、设备及存储介质 | |
| JPH07129762A (ja) | 素描風画像生成装置 | |
| CN115578497A (zh) | 一种基于gan网络的图像场景重光照的网络结构及方法 | |
| Bai et al. | Local-to-Global Panorama Inpainting for Locale-Aware Indoor Lighting Prediction | |
| CN104915992A (zh) | 基于股骨ct图像的实时阴影体绘制方法 | |
| Bonneel et al. | Proxy-guided texture synthesis for rendering natural scenes | |
| CN113160358A (zh) | 一种无绿幕抠图渲染方法 | |
| CN111627098B (zh) | 对图像中水流区域识别并生成动态水流视频的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210316 |