CN103826032B - 深度图后期处理方法 - Google Patents

深度图后期处理方法 Download PDF

Info

Publication number
CN103826032B
CN103826032B CN201310541051.0A CN201310541051A CN103826032B CN 103826032 B CN103826032 B CN 103826032B CN 201310541051 A CN201310541051 A CN 201310541051A CN 103826032 B CN103826032 B CN 103826032B
Authority
CN
China
Prior art keywords
frame image
depth map
current frame
processing method
previous frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310541051.0A
Other languages
English (en)
Other versions
CN103826032A (zh
Inventor
魏爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201310541051.0A priority Critical patent/CN103826032B/zh
Publication of CN103826032A publication Critical patent/CN103826032A/zh
Application granted granted Critical
Publication of CN103826032B publication Critical patent/CN103826032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像后期处理方法。本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法。采用的技术方案包括以下步骤：本发明的深度图后期处理方法，包括以下步骤：首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。本发明适用于对深度图进行后期处理。

Description

深度图后期处理方法
技术领域
本发明涉及一种图像后期处理方法，尤其是涉及一种深度图后期处理方法。
背景技术
图像深度图的生成一直是计算机视觉的一个主要研究方向。深度图信息能够帮助人们将二维的图像物体重新计算合成构成多视点的三维坐标系，从而客观的表达物体的立体效果。
深度图信息的应用领域十分广泛，在计算机辅助几何设计(CAGD)、计算机图形学(CG)、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实等方面都有较为广泛的运用。而目前常用的深度图的生成方法主要是通过平面视频的几何信息、摄像机参数、平面图像中物体的颜色特征等进行局部或全局求取。然而，与彩色图像相比，深度图信息的纹理更加简单，深度图中有较多的平坦局域并且边缘局域也较明显。但是由于深度图信息生成方法的局限性，因此深度图图像普遍存在许多问题，例如时间连续性差、深度信息不连续，轮廓信息不准确等。更甚者，深度图信息并非应直接应用于前端，而是用于辅助三维重建，虚拟视图绘制等，所以深度信息不准确将大大影响其立体效果。目前亟需解决的问题是建立更加精确的深度图。
发明内容
本发明所要解决的技术问题是提供一种能够有效的提高深度图信息的准确性的深度图后期处理方法，该方法能够通过对已有的深度图进行处理，得到信息准确性更高的深度图，从而保证深度图序列的时间连续性。
本发明解决其技术问题所采用的技术方案是：深度图后期处理方法，包括以下步骤：
A.获取原始二维视频中的当前帧图像及上一帧图像；
B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C；
C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；
D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测；
E.进行平滑滤波，得到当前帧图像新的深度图。
具体的，步骤A中的当前帧图像及上一帧图像皆为灰度图。
进一步的，步骤A与步骤B之间还包括步骤
A1.对当前帧图像的灰度图及上一帧图像的灰度图进行极大值滤波，再用Harris角点检测得到上一帧图像的灰度图特征点。
进一步的，步骤B中所述光流法为Lucas-Kanad光流法。
具体的，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。
作为上述技术方案的优选方案，步骤C具体为
获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。
优选的，步骤E中的平滑滤波方法为三边滤波法。
本发明的有益效果是：通过采用运动向量检测的方法生成的深度图，本法生成的新的深度图信息连续性高，边缘清晰、深度层次明确，平滑性能好且时域稳定性高。其应用范围广泛，可在大多数深度图生成方法中应用，能够有效地提高深度图质量。本发明适用于对深度图进行后期处理。
附图说明
图1是本发明流程示意图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
如图1所示，本发明的深度图后期处理方法，包括以下步骤：首先获取原始二维视频中的当前帧图像及上一帧图像；利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，则进行平滑滤波，得到当前帧图像新的深度图；否则获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；对虚拟深度图及当前帧图像的已有深度图做遮挡检测；进行平滑滤波，得到当前帧图像新的深度图。
通过上述步骤得到的新的深度图及对当前帧图像进行平滑后形成的，可以生成高质量的深度图序列。
实施例
本例中，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，首先获取t时刻图像序列当前帧颜色空间为RGB的彩色图像imgc，获取t时刻图像序列上一帧颜色空间为RGB的彩色图像imgp；通过颜色空间将RGB转换为灰度图，得到imgc和imgp所对应的灰度图分别为grayc和grayp。
开始计算上一帧灰度图grayp的特征点，grayp的像素矩阵M为
其中，I为图像的灰度值，x，y为二维图像坐标系，x为水平方向坐标，y为垂直方向坐标，R为旋转因子（即角点量），λ1和λ2为其特征值，w为窗口函数，Ix是二维坐标的横轴上的灰度值，Iy是二维坐标的纵轴上的灰度值。
分别定义水平方向和垂直方向的差分算子dx和dy，利用差分算子对图像grayp进行滤波，得到Ix和Iy；对Ix和Iy进行离散二维高斯滤波，其高斯模板计算对应的每个像素的角点量cim(R)，其中k为角点参数；
在矩阵cim中，同时满足cim(R)大于阀值thresh，cim(R)为邻近最大值的点即为最终图像grayp的特征点；然后对grayc和grayp做Lucas-Kanade光流法检测。Lucas-Kanade光流法是一种成熟，准确，较容易实现的物体跟踪算法，可以对画面中固定的点进行准确快速的跟踪。图像灰度值的约束方程：I(x,y,z,t)=I(x+δx,y+δy,z+δz,t+δt)，
I（x,y,z,t）为像素点在空间坐标系（x,y,z）位置的体素，在图像金字塔的最高层计算像素点的光流；t为当前时刻，将上一帧特征点匹配到该帧图像后，与当前帧特征点的实际位置在x轴方向上的估计偏移量为δx，在y轴方向上的估计偏移量为δy，在z轴方向上的估计偏移量为δz。
根据约束方程比较上一帧imgp和当前帧imgc的灰度信息得到上一帧imgp的特征点在当前帧imgc中的位置，在过滤掉位置不变的特征点，最后得到当前帧imgc的运动向量。
通过得到当前帧的运动向量信息来判断前后两帧图像序列的运动方式，如果不是场景变换，那么获取当前帧的运动参数；再获得上一帧图像的已有深度图。根据当前帧的运动参数，平移、旋转，缩放上一帧的深度图，得到当前帧虚拟深度图的信息；将当前帧深度图与当前帧虚拟深度图做遮挡检测，检测深度图的信息稳定性；对不稳定的深度图信息进行高斯加权图像平滑和二次线性插值；最后对深度图进行三边滤波，得到平滑的当前帧深度图，生成高质量的深度图序列。
由于三边滤波是一种新的图像插值算法，该方法能产生比传统插值算法更少的模糊图案和锐利边缘，因此此处优选三边滤波。此外也可以采用其他滤波方法。

Claims (7)

1.深度图后期处理方法，其特征在于，包括以下步骤：
A.获取原始二维视频中的当前帧图像及上一帧图像；
B.利用光流法运动检测当前帧图像及上一帧图像，得到当前帧图像的运动向量，判断当前帧图像及上一帧图像是否发生场景变换，若是，进入步骤E，否则，进入步骤C；
C.获取当前帧图像的运动参数及上一帧图像的已有深度图，得到当前帧图像的虚拟深度图；
D.对虚拟深度图及当前帧图像的已有深度图做遮挡检测；
E.进行平滑滤波，得到当前帧图像新的深度图。
2.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为灰度图。
3.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A与步骤B之间还包括步骤
A1.对当前帧图像的灰度图及上一帧图像的灰度图进行极大值滤波，再用Harris角点检测得到上一帧图像的灰度图特征点。
4.如权利要求1所述的深度图后期处理方法，其特征在于，步骤B中所述光流法为Lucas-Kanad光流法。
5.如权利要求1所述的深度图后期处理方法，其特征在于，步骤A中的当前帧图像及上一帧图像皆为颜色空间为RGB的彩色图像，通过颜色空间将RGB转换为相应的灰度图。
6.如权利要求1所述的深度图后期处理方法，其特征在于，步骤C具体为
获取当前帧图像的运动参数及上一帧图像的已有深度图，根据当前帧图像的运动参数，平移、旋转，缩放上一帧图像的已有深度图，得到当前帧图像的虚拟深度图。
7.根据权利要求1至6中任意一项所述的深度图后期处理方法，其特征在于，步骤E中的平滑滤波方法为三边滤波法。
CN201310541051.0A 2013-11-05 2013-11-05 深度图后期处理方法 Active CN103826032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310541051.0A CN103826032B (zh) 2013-11-05 2013-11-05 深度图后期处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310541051.0A CN103826032B (zh) 2013-11-05 2013-11-05 深度图后期处理方法

Publications (2)

Publication Number Publication Date
CN103826032A CN103826032A (zh) 2014-05-28
CN103826032B true CN103826032B (zh) 2017-03-15

Family

ID=50760840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310541051.0A Active CN103826032B (zh) 2013-11-05 2013-11-05 深度图后期处理方法

Country Status (1)

Country Link
CN (1) CN103826032B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10612951B2 (en) * 2017-05-31 2020-04-07 Pixart Imaging Inc. Optical flow sensor, methods, remote controller device, and rotatable electronic device
CN108171744A (zh) * 2017-12-26 2018-06-15 努比亚技术有限公司 一种双目虚化中视差图的确定方法、移动终端及存储介质
CN108234988A (zh) * 2017-12-28 2018-06-29 努比亚技术有限公司 视差图生成方法、装置和计算机可读存储介质
CN110264509B (zh) 2018-04-27 2022-10-14 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN109819229B (zh) * 2019-01-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110248048B (zh) * 2019-06-21 2021-11-09 苏宁云计算有限公司 一种视频抖动的检测方法及装置
CN110415287B (zh) * 2019-07-11 2021-08-13 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN111290380A (zh) * 2020-02-06 2020-06-16 四川长虹电器股份有限公司 一种人眼视域内智能前行行李箱系统
CN112580463A (zh) * 2020-12-08 2021-03-30 北京华捷艾米科技有限公司 三维人体骨架数据识别方法及装置
CN113819960B (zh) * 2021-01-27 2022-05-20 深圳信息职业技术学院 污水处理药池流量检测方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视系统中2d视频到3d视频的转换方法
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视系统中2d视频到3d视频的转换方法
CN101640809A (zh) * 2009-08-17 2010-02-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
CN103053165A (zh) * 2011-08-18 2013-04-17 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法

Also Published As

Publication number Publication date
CN103826032A (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
CN103826032B (zh) 深度图后期处理方法
US11189093B2 (en) Methods and systems for detecting and combining structural features in 3D reconstruction
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN102592275B (zh) 虚拟视点绘制方法
CN109903327A (zh) 一种稀疏点云的目标物尺寸测量方法
CN103971366B (zh) 一种基于双权重聚合的立体匹配方法
CN106340036A (zh) 一种基于双目立体视觉的立体匹配方法
CN106408513B (zh) 深度图超分辨率重建方法
CN108335352A (zh) 一种面向多视图大规模三维重建场景的纹理映射方法
CN104077808A (zh) 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN103761765B (zh) 基于映射边界优化的三维物体模型纹理映射方法
CN106355552B (zh) 一种基于虚拟视点绘制质量的深度图上采样方法
US10475229B2 (en) Information processing apparatus and information processing method
WO2015188666A1 (zh) 三维视频滤波方法和装置
CN115171096A (zh) 一种基于rgb图像与激光点云融合的3d目标检测方法
US9959672B2 (en) Color-based dynamic sub-division to generate 3D mesh
CN116452752A (zh) 联合单目稠密slam与残差网络的肠壁重建方法
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
CN113610863A (zh) 多曝光图像融合质量评估方法
Han et al. 3D reconstruction of dense model based on the sparse frames using RGBD camera
Liu et al. Semi-global depth from focus
Kadmin et al. Improvement of Disparity Measurement of Stereo Vision Algorithm Using Modified Dynamic Cost Volume
Liu et al. Binocular active stereo matching based on multi-scale random forest
Pastay et al. Deep Insights into 3D Face Reconstruction from Blurred 2D Inputs: A Comprehensive Framework
Weon et al. Individualized 3D Face Model Reconstruction using Two Orthogonal Face Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant