CN112837388B - 多光源图片生成方法 - Google Patents

Abstract

一种多光源图片生成方法，包括如下步骤：S1、通过高斯随机分布生成模拟随机的光源位置的二维高斯概率图；S2、利用导向滤波对所述二维高斯概率图的边缘进行引导，从而使其沿输入单光源图片的边缘分布，生成光源分布概率图；S3、进行基于真实光源分布的候选光源选择，选取来自同一组数据集中的光源数据乘到滤波后的光源分布概率图上，生成多光源图片的光源分布图，并进一步生成多光源图片。本发明的多光源图片生成方法克服目前多光源色彩恒常问题中缺乏良好标注质量的数据集的问题，能够利用现有的单光源图片及其光源分布生成符合物理规律的多光源图片，是一种应用前景很好的数据扩增方案。

Description

多光源图片生成方法

技术领域

本发明涉及计算摄影学技术，特别是涉及一种多光源图片生成方法。

背景技术

对于数据驱动的色彩恒常算法来说，数据的数量和质量直接决定了算法的表现能力。

常见的色彩恒常研究的数据增强方法主要有两类。一类是将原本的图片进行切割，从而得到不同光源的图片，这类方法优点是简单快速，能够快速获得大量的不同光源的图片，缺点是实际上损失了图片中的语义信息，同时不同光源之间相互不连续，导致该方法无法真正的作用在多光源预测任务中(现实中的光源分布多是连续的)。另一类是直接对图片加上类似滤镜的遮罩，从而改变图片本身的光源，这类方法的优点是能够在保留原图语义以及结构信息的基础上生成多光源图片，但目前该方案采用的大多是如矩形，梯形一类的遮罩，这类遮罩产生的都是较为硬的边界，并不符合真实光源分布的物理现象，同时这些遮罩大多是直接叠加到sRGB图片上，遮罩的直接叠加往往改变了原始图片本身的光源值，也就导致其不符合朗伯假设。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的主要目的在于克服上述背景技术存在的缺陷，提供一种多光源图片生成方法。

为实现上述目的，本发明采用以下技术方案：

一种多光源图片生成方法，包括如下步骤：

S1、通过高斯随机分布生成模拟随机的光源位置的二维高斯概率图；

S2、利用导向滤波对所述二维高斯概率图的边缘进行引导，从而使其沿输入单光源图片的边缘分布，生成光源分布概率图；

S3、进行基于真实光源分布的候选光源选择，选取来自同一组数据集中的光源数据乘到滤波后的光源分布概率图上，生成多光源图片的光源分布图，并进一步生成多光源图片。

进一步地：

步骤S1中，采用随机二维高斯分布f(x₁,x₂)模拟光源点：

其中，(μ₁,μ₂)为随机分布的光源原点，(σ₁,σ₂)表示光源过渡减弱的程度，其中(μ₁,μ₂)根据输入图片的大小在全图范围内随机产生，(σ₁,σ₂)中的两个变量独立随机生成，(x₁,x₂)分别代表横轴与纵轴的变量。

步骤S2中，将原始单光源图I作为导向图，图片可视作一个矩阵，矩阵大小为(H,W,3)，以二维高斯概率图p作为输入图，矩阵大小为(H,W,1)，其中(H,W,C)代表三维矩阵的大小，H代表矩阵原始高度，W代表矩阵原始宽度，C代表矩阵的通道数，C＝3表示RGB彩色图像，C＝1对应二维灰度图像；

针对输入图p中的像素i，导向滤波根据导向图I变换后得到的输出图像q，矩阵大小为(H,W,1)，利用导向图I去除原始输入图中的噪声，计算过程为：

其中，n为原始输入图像中的噪声矩阵，(a_k,b_k)为导向滤波变换的系数，

为图片中某一像素，k为该像素点处的序号，ω_k为滤波窗口。

步骤S3中，以光源角误差范围为基准，划定候选光源的取值范围，光源角误差η为：

其中，E_c为原始单光源图的全局光源，E_s为从同一数据集中挑选出的光源，·为内积运算符。

所述光源值表达为一个三维矩阵，其矩阵大小为(1,1,3)，C＝3表示该向量有三个通道，分别对应R、G、B三个色彩通道。

步骤S3中，用概率为全1的概率图1减去G而获得候选光源的概率图，G为导向滤波后得到的光源概率图，矩阵大小为(H,W,1)。

步骤S3中，所述生成多光源图片的光源分布图包括：

将候选光源E_s与原始光源E_c分别乘到对应的光源概率图上再将两者相加，获得像素级的光源分布D，矩阵大小为(H,W,3)，计算过程为：

D＝E_c×G+E_s×(1-G) (4)。

步骤S3中，所述进一步生成多光源图片包括：

将D乘到去除原始光源E_c干扰后的图片

矩阵大小为(H,W,3)，得到多光源图片I_D,矩阵大小为(H,W,3)，计算过程为：

其中，I为原始单光源图片，矩阵大小为(H,W,3)，E_c为原始单光源，矩阵大小为(1,1,3)，得到：

其中，生成的多光源图片I_D是大小为(H,W,3)的矩阵，×为矩阵相乘运算符，·为两元素内积运算符。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序由处理器执行时，实现所述的方法。

与现有技术相比，本发明具有如下有益效果：

本发明提出了一种基于随机高斯分布以及导向滤波的多光源图片生成方法，克服目前多光源色彩恒常问题中缺乏良好标注质量的数据集的问题，能够利用现有的单光源图片及其光源分布生成符合物理规律的多光源图片；本发明的多光源图片生成方法可以实现利用一组真实的单光源图片生成符合朗伯反射定律，且在语义上符合物理现实的多光源图片；本发明的多光源图片生成方法能够有效解决目前在多光源色彩恒常研究中的数据缺乏以及数据标注缺失的问题，是一种应用前景很好的数据扩增方案。

附图说明

图1为本发明实施例的多光源图片生成方法的流程图。

图2为本发明实施例的随机高斯分布及导向滤波前后对比图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明提出一种基于随机高斯分布以及导向滤波的多光源图片生成方法，可实现从单光源图片结合图片自身结构及语义信息生成更符合物理规律的多光源图片。

参阅图1和图2，本发明实施例的基于导向滤波的多光源图片生成方法主要包括如下步骤：

S1、通过高斯随机分布生成模拟随机的光源位置的二维高斯概率图；

S2、利用导向滤波对所述二维高斯概率图的边缘进行引导，从而使其沿输入单光源图片的边缘分布，生成光源分布概率图；

S3、进行基于真实光源分布的候选光源选择，选取来自同一组数据集中的光源数据乘到滤波后的光源分布概率图上，生成多光源图片的光源分布图，并进一步生成多光源图片。

随机二维高斯分布

为了尽可能真实的模拟现实中的光源位置，本发明实施例采用随机二维高斯分布f(x₁,x₂)模拟光源点：

其中，(μ₁,μ₂)为随机分布的光源原点，(σ₁,σ₂)表示光源过渡减弱的程度。其中(μ₁,μ₂)根据输入图片的大小在全图范围内随机产生，(σ₁,σ₂)中的两个变量独立随机生成。(x₁,x₂)分别代表横轴与纵轴的变量。随机生成后二维高斯分布的效果如图2a所示。

导向滤波引导边缘分布

随机高斯分布能够模拟出光源生成的情况，但这样生成出的光源与图片的结构以及语义信息毫无联系。考虑到现实中的光源分布与场景中的物体强相关，因此可通过导向滤波对光源分布图进行滤波，从而实现引导光源边缘分布的作用。为了方便表述输入输出的关系，本发明实施例将输入图片以及光源分布简化为矩阵形式，使用(H,W,C)代表三维矩阵的大小，其中H代表矩阵原始高度，W代表矩阵原始宽度，C代表矩阵的通道数。对于图片而言，C＝3表示RGB彩色图像，C＝1对应二维灰度图像。本发明实施例将原始单光源图I作为导向图，矩阵大小为(H,W,3)，以随机二维高斯概率图p作为输入图，矩阵大小为(H,W,1)。针对输入图片p中的某一像素i，导向滤波根据导向图I变换后得到的输出图像q，矩阵大小为(H,W,1)。该计算过程为：

其中，n为原始输入图像中的噪声矩阵。(a_k,b_k)为导向滤波变换的系数，

为图片中某一像素，k为该像素点处的序号，ω_k为滤波窗口。导向滤波的本质是利用导向图I去除原始输入图中的噪声n。本发明实施例引入导向滤波能够更好的模拟光源沿物体边缘分布的情况，如图2b和图2c所示。

候选光源的选择

为了生成更符合现实的多光源分布图，通过对常见的多光源环境进行统计，本发明实施例设计了一种全新的候选光源挑选方法，该方法以角误差范围为基准，划定候选光源的取值范围，光源角误差η为：

其中，E_c为原始单光源图的全局光源，E_s为从同一数据集中挑选出的光源，·为内积运算符。与图片表达类似，光源值也可以表达为一个三维矩阵，其矩阵大小为(1,1,3)，C＝3表示该向量有三个通道，分别对应R、G、B三个色彩通道。通过限定一个角误差阈值η(E_c,E_s)使得候选光源与原始光源保持较为明显的区别

像素级光源图以及多光源图片生成

导向滤波后的光源概率图为G,矩阵大小为(H,W,1)。用概率为全1的概率图1减去G即可获得候选光源的概率图。将候选光源E_s与原光源E_c分别乘到对应的光源概率图上再将两者相加，即可获得像素级的光源分布D，矩阵大小为(H,W,3)。该计算过程可表示为：

D＝E_c×G+E_s×(1-G) (4)

将D乘到去除原始光源E_c干扰后的图片

大小为(H,W,3)的矩阵,即可得到多光源图片I_D,矩阵大小为(H,W,3)。该过程可用公式(5)至公式(7)表示：

其中，I为原始单光源图片，矩阵大小为(H,W,3)，E_c为原始单光源，矩阵大小为(1,1,3)。经过整理可得到：

进一步整理可得到：

其中，生成的多光源图片I_D是大小为(H,W,3)的矩阵，×为矩阵相乘运算符，·为两元素内积运算符。

性能分析

本发明实施例的方法实现了从单光源图片生成符合物理规律的多光源图片，与现有的多光源图片生成手段相比，实际生成图片的效果更加真实且保留了图片原本的语义信息。为了定量验证本发明实施例方法的效果，使用角误差作为评价指标。在实际评估中采用所有正确判断(Correct Detection)多光源场景下的光源(Illum 1,Illum 2)的角误差平均值(Mean)以及错误判断多光源(Incorrect Detection)情况下，光源最大误差(MaxError)和最小误差(Min Error)的值进行计算比较。在实验中，仅使用本发明实施例方法生成的多光源图片作为训练集，以真实多光源数据作为测试集进行实验。表1为使用本发明实施例的方法作为数据增强手段的算法DE-Net在光源估计领域的最常用数据集(Gehelr-ShiDataset)中与现有方法进行对比的结果，其为仅使用来自该数据集中单光源的图片生成的多光源图片进行训练的结果，测试集为该图片中真实的多光源图片。

表1

从实验结果表1来看，本发明实施例的方法生成的多光源图片训练后的算法能够在现实世界中的多光源图片中准确识别光源和对应的光源分布。相较于其它并未采用该数据扩增方法进行训练的算法，本发明实施例的方法在正确判断多光源情况下的角误差平均值以及错误判断多光源情况的角误差性能都显著优于现有算法，也证明了本发明实施例的方法生成的多光源图片可以有效包含现实中多光源图片的特征。因此，本发明是一种十分有效的多光源数据扩增手段。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (9)

1.一种多光源图片生成方法，其特征在于，包括如下步骤：

S1、通过高斯随机分布生成模拟随机的光源位置的二维高斯概率图；

S2、利用导向滤波对所述二维高斯概率图的边缘进行引导，从而使其沿输入单光源图片的边缘分布，生成光源分布概率图；

S3、进行基于真实光源分布的候选光源选择，选取来自同一组数据集中的光源数据乘到滤波后的光源分布概率图上，生成多光源图片的光源分布图，并进一步生成多光源图片。

2.如权利要求1所述的多光源图片生成方法，其特征在于，步骤S1中，采用随机二维高斯分布f(x1,x2)模拟光源点：

其中，(μ₁,μ₂)为随机分布的光源原点，(σ₁,σ₂)表示光源过渡减弱的程度，其中(μ₁,μ₂)根据输入图片的大小在全图范围内随机产生，(σ₁,σ₂)中的两个变量独立随机生成，(x₁,x₂)分别代表横轴与纵轴的变量。

3.如权利要求1或2所述的多光源图片生成方法，其特征在于，步骤S2中，将原始单光源图I作为导向图，图片可视作一个矩阵，矩阵大小为(H,W,3)，以二维高斯概率图p作为输入图，矩阵大小为(H,W,1)，其中(H,W,C)代表三维矩阵的大小，H代表矩阵原始高度，W代表矩阵原始宽度，C代表矩阵的通道数，C＝3表示RGB彩色图像，C＝1对应二维灰度图像；

针对输入图p中的像素点i，导向滤波根据导向图I变换后得到的输出图像q，矩阵大小为(H,W,1)，利用导向图I去除原始输入图中的噪声，计算过程为：

其中，n为原始输入图像中的噪声矩阵，(α_k,b_k)为导向滤波变换的系数，

为图片中某一像素点，k为该像素点处的序号，ω_k为滤波窗口。

4.如权利要求1至2任一项所述的多光源图片生成方法，其特征在于，步骤S3中，以光源角误差范围为基准，划定候选光源的取值范围，光源角误差η为：

其中，E_c为原始光源，其是原始单光源图的全局光源，E_s为候选光源，其是从同一数据集中挑选出的光源，·为内积运算符。

5.如权利要求4所述的多光源图片生成方法，其特征在于，光源值表达为一个三维矩阵，其矩阵大小为(1,1,3)，C＝3表示向量有三个通道，分别对应R、G、B三个色彩通道。

6.如权利要求1至2任一项所述的多光源图片生成方法，其特征在于，步骤S3中，用概率为全1的概率图1减去G而获得候选光源的概率图，G为导向滤波后得到的光源概率图，矩阵大小为(H,W,1)，H代表矩阵原始高度，W代表矩阵原始宽度。

7.如权利要求6所述的多光源图片生成方法，其特征在于，步骤S3中，所述生成多光源图片的光源分布图包括：

将候选光源E_s与原始光源E_c分别乘到对应的光源概率图上再将两者相加，获得像素级的光源分布D，矩阵大小为(H,W,3)，计算过程为：

D＝E_c×G+E_s×(1-G) (4)。

8.如权利要求7所述的多光源图片生成方法，其特征在于，步骤S3中，所述进一步生成多光源图片包括：

将D乘到去除原始光源E_c干扰后的图片

矩阵大小为(H,W,3)，得到多光源图片I_D,矩阵大小为(H,W,3)，计算过程为：

其中，I为原始单光源图片，矩阵大小为(H,W,3)，矩阵大小为(1,1,3)，得到：

其中，生成的多光源图片I_D是大小为(H,W,3)的矩阵，×为矩阵相乘运算符，·为两元素内积运算符。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至8任一项所述的方法。

Images