CN103700071B - 一种深度图上采样边缘增强方法 - Google Patents

一种深度图上采样边缘增强方法 Download PDF

Info

Publication number
CN103700071B
CN103700071B CN201310688388.4A CN201310688388A CN103700071B CN 103700071 B CN103700071 B CN 103700071B CN 201310688388 A CN201310688388 A CN 201310688388A CN 103700071 B CN103700071 B CN 103700071B
Authority
CN
China
Prior art keywords
edge
depth map
resolution
pixel value
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310688388.4A
Other languages
English (en)
Other versions
CN103700071A (zh
Inventor
喻莉
李旭
杨铀
钟刚
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201310688388.4A priority Critical patent/CN103700071B/zh
Publication of CN103700071A publication Critical patent/CN103700071A/zh
Application granted granted Critical
Publication of CN103700071B publication Critical patent/CN103700071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于局部像素统计特性的深度图上采样边缘增强方法,包括:对低分辨率的深度图进行上采样得到高分辨率的深度图;对低分辨率和高分辨率的深度图分别进行直方图统计,得出每个像素值对应的像素点个数,对比分析得到高分辨率图中新增的像素值,利用低、高分辨率直方图统计结果对这些新增像素值进行校正。本发明使得上采样之后的深度图边缘的模糊、锯齿现象得到一定的改善,从而得到更清晰的高分辨率深度图。

Description

一种深度图上采样边缘增强方法
技术领域
本发明涉及图像处理技术,具体涉及一种深度图上采样边缘增强方法。
背景技术
3D视频(3D video)与传统的2D视频相比,因为蕴含了景物的深度信息,能够产生视觉立体感受,使观众获得更好的真实感、临场感与沉浸感的特点成为多媒体领域发展的一个重要趋势。而深度相机由于能够实时的获取动态深度图像信息而成为目前常用的技术手段。尽管它使用方便且通常能提供较好的效果,但由于噪声干扰和技术限制,采集得到的都是小尺寸低分辨率的深度图。
随着现在多媒体设备分辨率的提高,低分辨率显然已经不能满足需求,因此,研究者们提出了一系列提高深度图分辨率的方法。深度上采样方法可分为两类:独立深度上采样和联合纹理/深度上采样。独立深度上采样是只利用深度自身的信息进行上采样,比如双线性插值、双三次插值利用了周围像素的距离信息以及相似性,虽然方法简单,复杂度低,但往往会带来边缘模糊或者锯齿线性。联合纹理/深度上采样同时利用了深度和对应纹理的相关性,比如联合双边上采样滤波器(Joint Bilateral Upsampling,JBU)对保留物体边缘有效果,然而在深度图重构中,由于深度边缘与纹理边缘不一致,往往容易造成纹理拷贝的现象。因此,边缘轮廓质量的提升成为了深度图上采样的一个难题。
发明内容
针对现有技术的不足,本发明的目的在于提供一种深度图上采样边缘增强方法,利用低分辨率与高分辨率深度图应该具有相同的像素统计特性的性质,并用直方图来进行统计表示,对上采样之后深度图的模糊边缘地带进行增强和校正,从而获得最佳的增强效果。
本发明是通过以下技术方案实现的:
一种深度图上采样边缘增强方法,包括以下步骤:
(1)对低分辨率的深度图D进行上采样得到高分辨的深度图H;
(2)对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计出对应于每个像素值的像素点个数,并用直方图进行表示;
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j);
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正:
(4-1)对低分辨率深度图进行边缘提取,并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax
(4-2)将提取的低分辨率的边缘图像进行上采样,得到高分辨的精细边缘,并定位边缘的两侧;
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置Ploc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
P ( i , j ) = P l max , if P loc ( i , j ) ∈ Ω 1 P r max , if P loc ( i , j ) ∈ Ω 2
其中,Ω1为边缘左侧区域,Ω2为边缘右侧区域。
与传统深度图上采样的方法相比,本发明具有以下的优点和技术效果:
1、本发明充分考虑了低分辨率深度图与高分辨率深度图的统计特征的一致性;
2、本发明是在传统的上采样结果的基础上再进行图像边缘的增强,因此对于任何上采样方法,都可以适用。
附图说明
参照下面的说明,结合附图,可以对本发明有最佳的理解。在附图中,相同的部分可由相同的标号表示。
图1是本发明基于局部像素统计特性的深度图上采样边缘增强方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及示例性实施例,对本发明进行进一步详细说明。应当理解,此处所描述的示例性实施例仅用以解释本发明,并不用于限定本发明的适用范围。
以下首先对本发明的技术术语进行解释和说明:
深度(深度图):视频编码技术中的一个基本概念。深度反映的是空间物体表现到成像平面的几何距离。而深度图就是来记录视点下各个像素点的深度的灰度图。
下面结合附图对本发明的技术方案作进一步的描述。
如图1所示,本发明基于局像素统计特性的深度图上采样边缘增强方法包括以下步骤:
(1)对低分辨率深度图D用上采样方法(如双线性插值法,Bilinear Interpolation)进行上采样得到高分辨率的深度图H;在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在x和y两个方向分别进行一次线性插值。根据(u0,v0)点的四个相邻点的灰度值,插值计算出f(u0,v0)值。即根据f(u,v)、f(u+1,v)、f(u,v+1)、f(u+1,v+1)四个整数点的灰度值做两次线性插值(即双线性插值)而得到。上述f(u0,v0)插值计算方程可改写为:
f(u0,v0)=[f(u+1,v)-f(u,v)]α+[f(u,v+1)-f(u,v)]β+
[f(u+1,v+1)+f(u,v)-f(u,v+1)-f(u+1,v)]αβ+f(u,v)
其中,α、β为插值系数。此方法考虑了(u0,v0)点的直接邻点对它的影响,因此一般可以得到令人满意的插值效果。但这种方法具有低通滤波性质,使高频分量受到损失,图像的轮廓变得模糊。
(2)对低分辨率和高分辨率的深度图分别进行边缘像素统计,统计的内容包括对应于每个像素值的像素点个数。由于本发明中处理的区域是边缘地带,统计的直方图整体呈双峰状。
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j)。因为高分辨率的深度图中存在插值操作,因此其中肯定存在一些低分辨率深度图中没有的像素值,即新增的像素值。边缘模糊是由于插值导致边缘界限不尖锐,进而造成视觉上的模糊,因而这些新增像素值被视为造成边缘模糊的原因。
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值进行校正:
(4-1)用边缘提取方法(如canny算子)对低分辨率深度图进行边缘提取,并根据直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax,其中Plmax是边缘左侧出现频率最高的像素值,Prmax是边缘右侧出现频率最高的像素值。图象的边缘是指图象局部区域亮度变化显著的部分,既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。边缘检测主要是图象的灰度变化的度量、检测和定位,Canny算法通常处理的图像为灰度图,关于图像灰度值得梯度可使用一阶有限差分来进行近似,这样就可以得图像在x和y方向上偏导数的两个矩阵,Canny算子梯度算子为:
s x = - 1 1 - 1 1 , s y = 1 1 - 1 - 1
其x向、y向的一阶偏导数矩阵,梯度幅值以及梯度方向的数学表达式为:
P[i,j]=(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2
Q[i,j]=(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2
M [ i , j ] = P [ i , j ] 2 + Q [ i , j ] 2
θ[i,j]=arctan(Q[i,j]/P[i,j])
(4-2)将提取的低分辨率的边缘图像用上采样方法(如双线性插值法,Bilinear Interpolation)进行插值处理,得到高分辨的精细边缘,并定位边缘的两侧(边缘可以任意归为一侧),比如左侧区域定义为Ω1,右侧则定义为Ω2
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置P loc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
P ( i , j ) = P l max , if P loc ( i , j ) ∈ Ω 1 P r max , if P loc ( i , j ) ∈ Ω 2 .
综上,传统的双线性插值可以很快速的得到上采样的结果,但是边缘明显的由于插值变得模糊,而本发明着重提升了边缘地带的主观质量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于局部像素统计特性的深度图上采样边缘增强方法,包括以下步骤:
(1)对低分辨率的深度图D进行上采样得到高分辨率的深度图H;
(2)对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计,统计出对应于每个像素值的像素点个数,并用直方图进行表示;
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j);
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正:
(4-1)对低分辨率深度图进行边缘提取,并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax,其中Plmax是边缘左侧出现频率最高的像素值,Prmax是边缘右侧出现频率最高的像素值;
(4-2)将提取的低分辨率的边缘图像进行上采样,得到高分辨率的精细边缘,并定位边缘的两侧;
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置Ploc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
P ( i , j ) = P l max , i f P l o c ( i , j ) ∈ Ω 1 P r max , i f P l o c ( i , j ) ∈ Ω 2
其中,Ω1为边缘的左侧区域,Ω2为边缘的右侧区域。
2.根据权利要求1所述的方法,其中,所述上采样方法采用双线性插值法。
CN201310688388.4A 2013-12-16 2013-12-16 一种深度图上采样边缘增强方法 Active CN103700071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310688388.4A CN103700071B (zh) 2013-12-16 2013-12-16 一种深度图上采样边缘增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310688388.4A CN103700071B (zh) 2013-12-16 2013-12-16 一种深度图上采样边缘增强方法

Publications (2)

Publication Number Publication Date
CN103700071A CN103700071A (zh) 2014-04-02
CN103700071B true CN103700071B (zh) 2016-08-31

Family

ID=50361590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310688388.4A Active CN103700071B (zh) 2013-12-16 2013-12-16 一种深度图上采样边缘增强方法

Country Status (1)

Country Link
CN (1) CN103700071B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530502B (zh) * 2014-09-28 2018-05-22 株式会社理光 根据立体相机拍摄的图像帧生成视差图的方法和装置
CN106095773B (zh) * 2016-05-19 2019-04-23 西安电子科技大学 基于最短联合路径的深度图上采样方法
CN106325750A (zh) * 2016-08-26 2017-01-11 曹蕊 一种应用于终端设备的文字识别方法及系统
CN109544490B (zh) * 2018-10-17 2021-07-13 北京达佳互联信息技术有限公司 图像增强方法、装置和计算机可读存储介质
JP2021018123A (ja) * 2019-07-19 2021-02-15 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法
CN112597916B (zh) * 2020-12-24 2021-10-26 中标慧安信息技术股份有限公司 人脸图像抓拍质量分析方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法
KR20130036430A (ko) * 2011-10-04 2013-04-12 강원대학교산학협력단 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
KR20130036430A (ko) * 2011-10-04 2013-04-12 강원대학교산학협력단 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
CN102761764A (zh) * 2012-07-16 2012-10-31 清华大学 一种用于三维立体视频的深度图片的上采样方法
CN103049914A (zh) * 2012-12-19 2013-04-17 香港应用科技研究院有限公司 基于边界的高分辨率深度图生成

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A joint texture/depth edge directed up sampling algorithm for depth map coding;Huiping Deng et al;《IEEE International Conference on Multimedia and Expo》;20121231;全文 *
面向虚拟视点绘制的深度图滤波及上采样方法;高凯等;《中国图象图形学报》;20130930;第18卷(第9期);全文 *

Also Published As

Publication number Publication date
CN103700071A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN103700071B (zh) 一种深度图上采样边缘增强方法
EP2411961B1 (en) Method and apparatus for modifying an image by using a saliency map based on color frequency
CN104715461B (zh) 图像去噪方法
CN107895345A (zh) 一种提高人脸图像分辨率的方法和装置
CN108305230A (zh) 一种模糊图像综合处理方法和系统
US8290292B2 (en) Method of generating a multiscale contrast enhanced image
CN104574277A (zh) 图像插值方法和图像插值装置
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN102930518B (zh) 基于改进的稀疏表示的图像超分辨率方法
CN105006018A (zh) 三维ct岩心图像超分辨率重建方法
CN101499164B (zh) 一种基于单张低分辨率图像的图像插值重构方法
CN102572499B (zh) 基于小波变换多分辨率预测的无参考图像质量评价方法
CN104574328A (zh) 一种基于直方图分割的彩色图像增强方法
CN106169173A (zh) 一种图像插值方法
EP2232434B1 (en) Method of generating a multiscale contrast enhanced image.
CN107194877A (zh) 一种基于单幅图像的保边插值超分辨率计算方法
KR20100077307A (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN106169174A (zh) 一种图像放大方法
CN101655973A (zh) 一种基于人眼视觉特征的图像增强方法
EP2048616A1 (en) Method of generating a multiscale contrast enhanced image
CN115311145B (zh) 图像处理方法及装置、电子设备、存储介质
CN106097306A (zh) 获取图像边缘检测算子的方法、图像边缘检测方法及装置
US8208750B2 (en) Method and system for dual-envelope image enhancement
DE102011012920A1 (de) System, Verfahren und Computerprogrammartikel zur Bildgrössenänderung
TW200820744A (en) Image encoding method and image encoding apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant