CN109934902B - 一种使用场景特征约束的梯度域渲染图像重构方法 - Google Patents
一种使用场景特征约束的梯度域渲染图像重构方法 Download PDFInfo
- Publication number
- CN109934902B CN109934902B CN201910188251.XA CN201910188251A CN109934902B CN 109934902 B CN109934902 B CN 109934902B CN 201910188251 A CN201910188251 A CN 201910188251A CN 109934902 B CN109934902 B CN 109934902B
- Authority
- CN
- China
- Prior art keywords
- image
- scene
- reconstructed
- gradient
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种使用场景特征约束的梯度域渲染图像重构方法,包括:(1)采用梯度域渲染算法将待重构三维场景图像进行渲染,得到高噪声图像及梯度场;(2)从待重构三维场景图像中提取出场景特征;(3)以场景特征作为约束条件,求解目标优化函数,得到重构图像I*。本发明能够合理利用场景特征,指导重构过程,为梯度域渲染提供一种有效的后处理方法,使重构后图像噪声降到人类视觉可接受程度。
Description
技术领域
本发明涉及图像处理,尤其涉及一种使用场景特征约束的梯度域渲染图像重构方法。
背景技术
梯度域渲染是一项新颖的离线渲染技术,自从2013年被提出后,被广泛研究。至今为止,提出了梯度域Metropolis光线传输算法、梯度域路径跟踪算法、梯度域光子映射算法等等。与传统离线渲染技术不同,梯度域方法在采样路径空间的同时,还采样了图像的梯度。有理论分析指出,采样得到的梯度场的噪声远小于采样的像素值的噪声。因此,在相同采样率下,使用梯度域方法渲染的图像的噪声要明显小于传统渲染方法。
使用梯度域方法会得到一个高噪声的图像以及一个梯度场,因此还需要一个后处理过程来重构出最终的图像。目前,广泛使用的是通过求解泊松方程来进行重构。其本质即求解一个凸优化问题,处理速度快,且容易使用GPU进行并行计算。另一种后处理方法是使用迭代法,从原始的高噪声图开始,遍历每个像素,并利用梯度更新邻域像素,反复应用此更新策略直至像素值不再变化。此方法相对于求解泊松方程,收敛速度较慢,且重构后的图像效果没有本质的提升。这两种方法仅仅利用了梯度场,因此重构的图像质量完全受限于梯度场的质量。虽然梯度场噪声较小,但还远没有达到人类视觉可接受的程度。考虑到场景中其他特征,例如:法向、反射系数、深度,与重构后的图像密切相关,并且噪声极小。如何有效利用这些特征,是减少噪声的关键。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种使用场景特征约束的梯度域渲染图像重构方法,能够合理利用场景特征,指导重构过程,为梯度域渲染提供一种有效的后处理方法,使重构后图像噪声降到人类视觉可接受程度。
技术方案:本发明所述的使用场景特征约束的梯度域渲染图像重构方法包括:
(1)采用梯度域渲染算法将待重构三维场景图像进行渲染,得到高噪声图像及梯度场;
(2)从待重构三维场景图像中提取出场景特征;
(3)以场景特征作为约束条件,求解以下目标优化函数,得到重构图像I*:
式中,I为待重构三维场景图像,α为平衡因子,Ig为步骤(1)得到的高噪声图像,Hdx、Hdy分别为水平、垂直方向的梯度算子,Idx、Idy分别为步骤(1)得到的梯度场的水平、垂直方向分量,β为约束强度,Ii、Ij分别为待重构三维场景图像中第i、j个像素点,Ni为像素点Ii的8个邻域像素集合,为置信度,Tn-1(ti,j)表示自由度或采样样本数为n-1的t-分布,具体为:μi、μj分别为对像素Ii、Ij的相邻像素点采样后得到像素值样本的均值,为对应方差,wi,j为重构系数,通过最小化重构误差得到,其约束条件为分别为像素点Ii、Ij的场景特征,表示马氏距离。
进一步的,步骤(2)中提取场景特征的方法为:
(2.1)获取光线在待重构三维场景图像中传输的路径{p0,p1,p2,…pm},即光线与待重构三维场景图像的交点集合,其中p0为路径起点,即第一个交点;
有益效果:本发明与现有技术相比,其显著优点是:
本发明的特点:
1.采用正则化项的方式将场景特征约束引入标准泊松方程,所得到的仍然是凸优化问题,易于求解,可用GPU并行化;
2.采用有效的方法提取丰富的场景特征,使得重构过程鲁棒性更强,不易出现条纹、走样、模糊等问题;
3.采用t-检验对约束强度进行加权,使得约束自适应于采样结果,且有效防止了高亮度区域边界的泛光问题。
附图说明
图1是本发明的流程示意图;
图2是本发明的重构效果图。
具体实施方式
本实施例提供了一种使用场景特征约束的梯度域渲染图像重构方法,如图1所示,包括:
(1)采用梯度域渲染算法将待重构三维场景图像进行渲染,得到高噪声图像Ig及梯度场Idx、Idy。
(2)从待重构三维场景图像中提取出场景特征。
提取有效的场景特征是提升重构后图像质量的另一关键因素,若使用的场景特征不足以标识场景,则使用任何形式的场景特征约束将无法完美重构。通常使用的场景特征有光线与场景第一个交点处的法向、反射系数和深度,然而对于镜面等光泽表面,这显然是不够的。例如,对于一面垂直于观察方向的镜子,其法向、反射系数、深度均是相同的,然而在镜子中反射出的物体却可能是多样的。如果使用镜子区域的这三种特征约束重构过程,则重构出的镜子区域必然会有一定程度的模糊,对于粗糙度较小的光泽表面同样会出现此问题。因此,有必要继续追踪光线,获取后续场景交点处的特征。若仅使用第二个交点的特征在一些特殊情况依然会出现问题,因为第二个交点仍然可能是光泽表面。为了适应特殊情况,本实施例采用了更鲁棒性的策略:获取光线在待重构三维场景图像中传输的路径{p0,p1,p2,…pm},即光线与待重构三维场景图像的交点集合,其中p0为路径起点,即第一个交点;提取路径中第个点处的法向和反射率作为路径中点pk的场景特征,其中,k=1,…,m,ε为设定阈值,为0.9,ρl表示点pl处的表面粗糙度。
(3)以场景特征作为约束条件,求解以下目标优化函数,得到重构图像I*:
式中,I为待重构三维场景图像,α为平衡因子,Ig为步骤(1)得到的高噪声图像,Hdx、Hdy分别为水平、垂直方向的梯度算子,Idx、Idy分别为步骤(1)得到的梯度场的水平、垂直方向分量,β为约束强度,Ii、Ij分别为待重构三维场景图像中第i、j个像素点,Ni为像素点Ii的8个邻域像素集合,为置信度,Tn-1(ti,j)表示自由度或采样样本数为n-1的t-分布,具体为:μi、μj分别为对像素Ii、Ij的相邻像素点采样后得到像素值样本的均值,为对应方差,wi,j为重构系数,通过最小化重构误差得到,其约束条件为分别为像素点Ii、Ij的场景特征,表示马氏距离。
其中,目标优化函数建立的过程为:
首先,通过以下泊松方程可求解出重构图像I*:
整理可得:
上式为凸优化问题,E为单位矩阵,可以得到其闭式解为I*=(ATA)-1ATb,为标准的泊松方程增加本发明所使用的正则化项后,仍然可以整理为上式的形式,拥有闭式解。下面将详细说明本发明使用的正则化项。
考虑每个像素及其8邻域内的像素,这9个像素之间具有一定的相关性,且这种相关性与其对应的三维场景中的特征有很强的联系。本发明中假设这种相关性是线性的,并且希望重构出来的像素值与场景特征之间具有尽可能接近的相关性。场景特征的线性相关性即其中fi为特征且通过最小化重构误差即可求出最优的重构系数,这里表示马氏距离,其距离矩阵为一个对角矩阵,且矩阵元素即8邻域内第i维特征的标准差σi的倒数,∈为一个正实数,防止除以0错误。将此线性关系作为正则化项加入标准泊松方程可得:
式中的约束强度β为一个常数,这表明无论在任何图像区域,均使用相同强度的约束。然而对于一些特殊区域,邻域像素值相距甚远,特别是物体边界、高亮度区域边界等。而这些区域的特征变化并不显著,这就导致了重构后的图像过度平滑,高亮度区域边界还会泛光。为了解决这一问题,势必要考虑采样的像素值本身,而直接使用采样的均值并不可靠,因为它们具有很大的噪声。本发明中使用t-检验的方式解决此问题,即检验相邻像素的均值相同的置信度,并使用置信度对约束强度进行加权。考虑图像空间中相邻像素位置的两组对路径空间采样得到的样本(像素值)令其均值为μi、μj,方差为则构造t-检验统计量:
图2对比了两处细节的重构效果。使用标准泊松方程重构的图像相比于原始图像噪声明显减少,但仍然存在大量极易被观察到的噪声;相比之下,增加了本发明提出的场景特征约束后,图像变得平滑,噪声明显减少,并且较好地保留了金属表面的高光等高频细节。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (4)
1.一种使用场景特征约束的梯度域渲染图像重构方法,其特征在于包括:
(1)采用梯度域渲染算法将待重构三维场景图像进行渲染,得到高噪声图像及梯度场;
(2)从待重构三维场景图像中提取出场景特征;具体方法为:
(2.1)获取光线在待重构三维场景图像中传输的路径{p0,p1,p2,…pm},即光线与待重构三维场景图像的交点集合,其中p0为路径起点,即第一个交点;
(3)以场景特征作为约束条件,求解以下目标优化函数,得到重构图像I*:
2.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法,其特征在于:所述平衡因子α取值为0.2。
3.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法,其特征在于:所述约束强度β取值为2~5。
4.根据权利要求1所述的使用场景特征约束的梯度域渲染图像重构方法,其特征在于:所述设定阈值ε取值为0.9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910188251.XA CN109934902B (zh) | 2019-03-13 | 2019-03-13 | 一种使用场景特征约束的梯度域渲染图像重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910188251.XA CN109934902B (zh) | 2019-03-13 | 2019-03-13 | 一种使用场景特征约束的梯度域渲染图像重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109934902A CN109934902A (zh) | 2019-06-25 |
CN109934902B true CN109934902B (zh) | 2020-08-11 |
Family
ID=66986845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910188251.XA Active CN109934902B (zh) | 2019-03-13 | 2019-03-13 | 一种使用场景特征约束的梯度域渲染图像重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934902B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110728333B (zh) * | 2019-12-19 | 2020-06-12 | 广东博智林机器人有限公司 | 日照时长分析方法、装置、电子设备以及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2627607B2 (ja) * | 1993-06-16 | 1997-07-09 | 日本アイ・ビー・エム株式会社 | ボリュームレンダリング方法 |
JP4397131B2 (ja) * | 2000-04-03 | 2010-01-13 | 株式会社日立メディコ | 三次元画像表示装置 |
CN103886636B (zh) * | 2014-01-28 | 2017-02-15 | 浙江大学 | 基于光线投射步进补偿的实时烟雾渲染算法 |
GB201414144D0 (en) * | 2014-08-08 | 2014-09-24 | Imagination Tech Ltd | Relightable texture for use in rendering an image |
CN104361624B (zh) * | 2014-11-20 | 2017-04-05 | 南京大学 | 一种计算机三维模型中全局光照的渲染方法 |
CN104700448B (zh) * | 2015-03-23 | 2017-06-20 | 山东大学 | 一种基于梯度的自适应光子映射优化算法 |
-
2019
- 2019-03-13 CN CN201910188251.XA patent/CN109934902B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109934902A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107153816B (zh) | 一种用于鲁棒人脸识别的数据增强方法 | |
US8395642B2 (en) | Method for virtual image synthesis | |
US8374456B2 (en) | Method for synthesizing a virtual image from a reduced resolution depth image | |
US8270752B2 (en) | Depth reconstruction filter for depth coding videos | |
CN108205804B (zh) | 图像处理方法、装置及电子设备 | |
Conze et al. | Objective view synthesis quality assessment | |
RU2423018C2 (ru) | Способ и система для преобразования стереоконтента | |
Hsu et al. | Single image dehazing using wavelet-based haze-lines and denoising | |
CN117408890B (zh) | 一种视频图像传输质量增强方法及系统 | |
Ki et al. | Fully end-to-end learning based conditional boundary equilibrium gan with receptive field sizes enlarged for single ultra-high resolution image dehazing | |
CN107818547B (zh) | 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法 | |
Arulkumar et al. | Super resolution and demosaicing based self learning adaptive dictionary image denoising framework | |
CN109934902B (zh) | 一种使用场景特征约束的梯度域渲染图像重构方法 | |
Kaviani et al. | An adaptive patch-based reconstruction scheme for view synthesis by disparity estimation using optical flow | |
CN110136085B (zh) | 一种图像的降噪方法及装置 | |
Vosters et al. | Evaluation of efficient high quality depth upsampling methods for 3DTV | |
CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
GUAN et al. | A dual-tree complex wavelet transform-based model for low-illumination image enhancement | |
Kansal et al. | Effect of non uniform illumination compensation on dehazing/de-fogging techniques | |
Wang et al. | An Improved Unsupervised Color Correction Algorithm for Underwater Image | |
Jiang et al. | Multi-frame image super-resolution algorithm based on small amount of data | |
KR100742752B1 (ko) | 평활화된 적응적 변이 추정 방식을 이용한 스테레오 영상 복원 방법 | |
Yokozuka et al. | Accurate depth-map refinement by per-pixel plane fitting for stereo vision | |
CN104601861B (zh) | 一种针对光纤监控视频序列的降噪方法及系统 | |
Rahman et al. | A Non-Reference Low-Light Image Enhancement Approach Using Deep Convolutional Neural Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |