CN107977938A - 一种基于光场的Kinect深度图像修复方法 - Google Patents

一种基于光场的Kinect深度图像修复方法 Download PDF

Info

Publication number
CN107977938A
CN107977938A CN201711189116.4A CN201711189116A CN107977938A CN 107977938 A CN107977938 A CN 107977938A CN 201711189116 A CN201711189116 A CN 201711189116A CN 107977938 A CN107977938 A CN 107977938A
Authority
CN
China
Prior art keywords
image
light field
depth
kinect
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711189116.4A
Other languages
English (en)
Inventor
孙霁泽
杨昕欣
刁为民
马抒恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201711189116.4A priority Critical patent/CN107977938A/zh
Publication of CN107977938A publication Critical patent/CN107977938A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光场的Kinect深度图像修复方法,通过采集场景的光场信息,重建场景或物体的一部分深度信息,利用此信息来修复Kinect深度摄像机采集到的深度图像中的空洞部分。本发明结合了光场与Kinect的优势来填补双方的不足,光场的关注点是图像中的色差,色彩丰富的场景利于提取较多的深度数据,而Kinect对于颜色不敏感,但Kinect很难分辨物体的边缘等深度差较大的部分,同时边缘部分的色差比较大,有利于使用光场来提取深度数据。本发明利用光场提取真实的深度数据,实现了Kinect深度图像的修复,提高精度,获取比较精确、完整的深度数据。

Description

一种基于光场的Kinect深度图像修复方法
技术领域
本发明属于光场、三维重建技术领域,具体涉及一种基于光场的Kinect深度图像修复方 法。
背景技术
三维重建是计算机视觉领域热门的研究方向之一,它研究如何通过物体的二维信息获取 物体在空间中的三维信息。借助图像与传感器,通过算法处理可以获取到相应的深度数据, 根据计算机图形学的相关知识,可以重建点云,一定程度上还原三维空间中的物体。三维重 建技术有助于记录保存三维空间的信息,记录下人类无法到达的空间中的三维信息。三维重 建技术在娱乐、教育、军事、生活、电商、医疗等方面均有广阔的应用场景,3D电影、游 戏、实验环境仿真、作战环境重建、医疗诊断、虚拟现实都是很好的体现。随着计算机视觉 技术的发展,处理器和图形处理器的功能越来越强大,同时更多地传感器设备的出现,使三 维重建技术快速发展。
随着虚拟现实技术的发展,三维重建技术也出现在了大众的视野中,而且越来越多的企 业、研究所投入到了三维重建的研究中,有关三维重建的开源项目也越来越多。2015年微软 发布的混合现实设备HoloLens上,携带了一个深度测量传感器用于测量周围环境的三维数 据。Google的“project tango”项目也是致力于实现快速、准确的三维重建。随着电商的兴 起,人们在购物时可以打破空间的束缚,借助虚拟现实技术和三维重建技,可以实现虚拟购 物令消费者近距离观察甚至“试用”商品。
三维重建技术的应用会越来越广阔,并且有着很大的发展空间,有很高的研究价值。三 维重建的基础就是获取场景深度图像,根据图像以及相机内外参生成点云数据,然后渲染三 维实体。深度图像的质量决定了重建的质量,在处理多视角点云数据时,深度图像的质量决 定了点云配准融合的精度。
发明内容
本发明要解决的技术问题为:由于设备本身的缺陷以及场景复杂度的不同,Kinect采集 的原始深度图像存在或多或少的空洞噪声,主要表现为噪声部分深度为零,其中场景中物体 的边缘出现的噪声是比较难修复的,本发明主要利用光场提取物体边缘的深度,对原始深度 图像进行修复。
本发明采用的技术方案为:一种基于光场的Kinect深度图像修复方法,所述方法包括:
步骤1、利用Kinect获取场景或物体的深度图像;
步骤2、根据所述场景或物体的深度图像,使用滤波器处理初始深度图像;
步骤3、利用Kinect的彩色摄像头或其他拍摄设备采集光场数据;
步骤4、根据所述光场数据,重构为对极平面图像(EPI,Epipolar Plane Image)组;
步骤5、根据所述对极平面图像组,进行图像边缘检测,提取图像中的直线特征;
步骤6、根据所述进行边缘检测后的对极平面图像组,进行图像膨胀,使直线特征更明 显;
步骤7、根据所述提取直线特征的图像组,利用直线检测算法检测直线的斜率;
步骤8、根据所述检测到的直线斜率,换算为相应的深度数据,合成深度图像;
步骤9、根据所述利用光场数据生成的深度图像,与Kinect深度图像融合为新的深度图 像。
其中,利用Kinect深度摄像机获取场景或物体的深度图像,其图像的表现形式为灰度图 像,包含相对空间点距离深度摄像机的投影距离。
其中,对初始深度图像,使用高斯滤波、中值滤波、双边滤波等方法进行处理。
其中,光场数据的采集利用彩色摄像机完成,有两种采集形式,一是直线型相机阵列, 二是单相机直线顺序采集。
其中,对光场图像组,提取每幅图像的同一行数据按顺序重组为对极平面图像组。
其中,使用Canny算子对对极平面图像进行边缘检测,提取图像边缘特征。
其中,对于边缘检测后的对极平面图像组,进行图像膨胀,使直线特征更明显,有利于 进行直线斜率检测。
其中,对于处理后的对极平面图像,根据处理前后的对极平面组的图像特征,计算图像 中的直线斜率。
其中,利用光场重建的边缘深度图像与Kinect采集并处理的深度图像融合,合成完整的 深度图像。
本发明与现有技术相比的优点在于:
(1)本发明从场景本身出发,提取真实的边缘深度。而非用现有深度数据估计预测边 缘深度。
(2)本发明修复后的图像边缘部分更加光滑。
(3)本发明对场景中的线、杆等较细物体的修复效果较好。
附图说明
图1为相机阵列采集光场的示意图。
图2为对极平面图像组中的一幅图像,由光场图像组中第300行像素依次排列重组而成。 原始光场数据中的彩色图像的分辨率为1920×1080,共拍摄82张。
图3为图2使用Canny算子进行边缘检测,并进行图像膨胀后的图像。
图4为图3进行直线检测并提取斜率后的直线图像。
图5为经过滤波后的Kinect采集的图像。
图6为利用光场数据生成的边缘深度数据。
图7为融合后的深度图像。
图8为本发明一种基于光场的Kinect深度图像修复方法的流程图。
具体实施方式
下面结合附图以及具体实施例进一步说明本发明。
如图8所示,本发明主要使用光场相关技术对Kinect采集到的深度图像进行修复,使 Kinect采集到的深度图像更加完整,空洞更少,具体的处理过程如下:
1.首先使用Kinect二代采集场景的深度图像,由于设备本身的性能限制,被采集场景或 物体与Kinect深度摄像机的距离应在0.5~4.5米之间。
2.对采集到的深度图像,需要进行滤波处理来滤除图像中的噪点,剔除一部分无效数据, 同时使深度数据变化更加平滑。
3.采集光场数据,一般的光场采集设备有两种,一是光场相机,二是相机阵列,光场相 机采集的光线角度变化较小,相机阵列采集的光线的角度变化较大,本发明选择使用相机阵 列方式采集光场数据,将彩色摄像机放置在平直导轨上,每隔固定距离拍摄一张图像,采集 的图像越多,越有利于深度图像的修复。
4.对原始光场数据,即不同位置拍摄的彩色图像组,需要进行重构,生成对极平面图像 组,将彩色图像组中的同一行像素提取出来,按顺序依次重新排列,合成对极平面图像。图 像中的斜线含有对应物体的深度信息。
5.对于对极平面图像组,使用Canny算子进行边缘检测,提取出场景中物体的边缘信息, 由于对极图像数据结构的特殊性,边缘以斜线为主,同时夹杂一些噪声点。
6.对于边缘检测后的对极平面图像组,为了方便直线斜率检测以及后续的融合,需要将 图像边缘扩展,可以对图像进行图像膨胀等操作。
7.对极平面组中的直线斜率与实际场景深度成正比,为了提取直线的斜率,可以对图像 进行Hough变换,也可以结合上述5、6步的图像综合提取直线斜率,以便增加斜率的准确 性。
8.将对极平面图像中的直线依次提取斜率后,转换为深度数据,并以图像的形式表现出 来,合成出边缘深度图像。
9.最后,根据深度摄像机与彩色摄像机的内外参,对两幅深度图像进行匹配融合,如果 相机的内外参未知,需要对摄像机进行标定。
实施例
首先使用Kinect采集原始深度图像,如图2,同时记录采集位置,该位置有利于后期深 度图像的融合。采集后的深度图像一般含有噪声,根据噪声类型选择适合的滤波器进行滤波。
选择合适的彩色摄像机,可以使用Kinect中的彩色摄像机,它有利于后期深度图像的融 合。以Kinect采集深度图像时的位置为基准点,借助导轨,平滑采集在基准点左右方向上各 30~50幅彩色图像,每个采集点之间的间隔为5mm或10mm,如图1。
对于采集到的光场图像组(图像分辨率1920×1080,共80幅图像),依次提取同一行的 像素点,按采集点的顺序依次排列每一行像素,形成1080幅对极平面图像,每幅图像分辨 率为1920×80,如图3。
为了提取场景中物体边缘的深度数据,即Kinect原始图像中空洞的部分,需要对对极平 面图像组进行边缘检测,优先选择Canny算子对其进行边缘检测。
由于在进行深度图像融合时,原始深度图像中的空洞部分会使光场生成的深度图像中的 对应部分缺失,需要对边缘检测后的对极平面图像进行图像膨胀操作,一方面使后续的直线 识别操作更加简单,还可以一定程度上填补深度图像融合操作造成的深度数据缺失。图4为 经过边缘检测以及图像膨胀操作的图像。
图像中的直线检测可以使用Hough变换法,是Hough变换有一定的局限性,效果较差。 将对极平面图像和边缘检测后的对极平面图像相结合,增加直线的筛选条件,实现滤除不需 要的直线,提取关键直线,有利于深度图像的恢复,尽量做到速度快,质量好。图5为直线 检测后的直线。
对所有的对极平面图像进行直线检测,得到每个物体边缘像素点的斜率。直线的斜率与 场景的深度关系为Z=k·f,其中Z为像素点的深度,k为直线斜率,f为摄像机的焦距。 根据斜率计算深度,并生成深度图像,如图6。
将Kinect采集到的深度图像与光场生成的深度图像进行融合前,需要对Kinect深度相 机以及彩色摄像机进行标定,获取相机的内外参,根据原始深度数据、相机内外参,将不同 分辨率的深度数据图像融合在一起,如图7所示。

Claims (9)

1.一种基于光场的Kinect深度图像修复方法,其特征是,所述方法包括:
步骤1、利用Kinect获取场景或物体的深度图像;
步骤2、根据所述场景或物体的深度图像,使用滤波器处理初始深度图像;
步骤3、利用Kinect的彩色摄像头或其他拍摄设备采集光场数据;
步骤4、根据所述光场数据,重构为对极平面图像(EPI,Epipolar Plane Image)组;
步骤5、根据所述对极平面图像组,进行图像边缘检测,提取图像中的直线特征;
步骤6、根据所述进行边缘检测后的对极平面图像组,进行图像膨胀,使直线特征更明显;
步骤7、根据所述提取直线特征的图像组,利用直线检测算法检测直线的斜率;
步骤8、根据所述检测到的直线斜率,换算为相应的深度数据,合成深度图像;
步骤9、根据所述利用光场数据生成的深度图像,与Kinect深度图像融合为新的深度图像。
2.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,利用Kinect深度摄像机获取场景或物体的深度图像,其图像的表现形式为灰度图像,包含相对空间点距离深度摄像机的投影距离。
3.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,对初始深度图像,使用高斯滤波、中值滤波、双边滤波等方法进行处理。
4.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,光场数据的采集利用彩色摄像机完成,有两种采集形式,一是直线型相机阵列,二是单相机直线顺序采集。
5.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,对光场图像组,提取每幅图像的同一行数据按顺序重组为对极平面图像组。
6.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,使用Canny算子对对极平面图像进行边缘检测,提取图像边缘特征。
7.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,对于边缘检测后的对极平面图像组,进行图像膨胀,使直线特征更明显,有利于进行直线斜率检测。
8.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,对于处理后的对极平面图像,根据处理前后的对极平面组的图像特征,计算图像中的直线斜率。
9.根据权利要求1所述的一种基于光场的Kinect深度图像修复方法,其特征是,利用光场重建的边缘深度图像与Kinect采集并处理的深度图像融合,合成完整的深度图像。
CN201711189116.4A 2017-11-24 2017-11-24 一种基于光场的Kinect深度图像修复方法 Pending CN107977938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711189116.4A CN107977938A (zh) 2017-11-24 2017-11-24 一种基于光场的Kinect深度图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711189116.4A CN107977938A (zh) 2017-11-24 2017-11-24 一种基于光场的Kinect深度图像修复方法

Publications (1)

Publication Number Publication Date
CN107977938A true CN107977938A (zh) 2018-05-01

Family

ID=62011414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711189116.4A Pending CN107977938A (zh) 2017-11-24 2017-11-24 一种基于光场的Kinect深度图像修复方法

Country Status (1)

Country Link
CN (1) CN107977938A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166125A (zh) * 2018-07-06 2019-01-08 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN110827209A (zh) * 2019-09-26 2020-02-21 西安交通大学 一种联合颜色与深度信息的自适应深度图像修复方法
CN113298943A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于光场成像的esdf地图构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182406A1 (en) * 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
CN104851089A (zh) * 2015-04-28 2015-08-19 中国人民解放军国防科学技术大学 一种基于三维光场的静态场景前景分割方法和装置
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN107105216A (zh) * 2017-06-02 2017-08-29 北京航空航天大学 一种基于针孔阵列的连续视差、广视角的三维光场显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182406A1 (en) * 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
CN104851089A (zh) * 2015-04-28 2015-08-19 中国人民解放军国防科学技术大学 一种基于三维光场的静态场景前景分割方法和装置
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN107105216A (zh) * 2017-06-02 2017-08-29 北京航空航天大学 一种基于针孔阵列的连续视差、广视角的三维光场显示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166125A (zh) * 2018-07-06 2019-01-08 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN109166125B (zh) * 2018-07-06 2021-03-12 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN109685732A (zh) * 2018-12-18 2019-04-26 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN109685732B (zh) * 2018-12-18 2023-02-17 重庆邮电大学 一种基于边界捕捉的深度图像高精度修复方法
CN110047430A (zh) * 2019-04-26 2019-07-23 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN110047430B (zh) * 2019-04-26 2020-11-06 京东方科技集团股份有限公司 光场数据重构方法、光场数据重构器件及光场显示装置
CN110827209A (zh) * 2019-09-26 2020-02-21 西安交通大学 一种联合颜色与深度信息的自适应深度图像修复方法
CN113298943A (zh) * 2021-06-10 2021-08-24 西北工业大学 一种基于光场成像的esdf地图构建方法

Similar Documents

Publication Publication Date Title
Rematas et al. Soccer on your tabletop
CN107977938A (zh) 一种基于光场的Kinect深度图像修复方法
CN106802138B (zh) 一种三维扫描系统及其扫描方法
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CA2961921C (en) Camera calibration method using a calibration target
US20200234397A1 (en) Automatic view mapping for single-image and multi-view captures
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
Tao et al. Depth from combining defocus and correspondence using light-field cameras
Strecha et al. On benchmarking camera calibration and multi-view stereo for high resolution imagery
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
CN109087388A (zh) 基于深度传感器的物体三维建模方法
US10950032B2 (en) Object capture coverage evaluation
CN109544679A (zh) 管道内壁的三维重建方法
Cao et al. Sparse photometric 3D face reconstruction guided by morphable models
EP2828834A2 (fr) Modèle et procédé de production de modèle 3d photo-réalistes
WO2015074718A1 (en) A light field processing method
Wenninger et al. Realistic virtual humans from smartphone videos
CN104933704B (zh) 一种三维立体扫描方法及系统
CN110378995A (zh) 一种利用投射特征进行三维空间建模的方法
Hua et al. Background extraction using random walk image fusion
Luo et al. Sparse RGB-D images create a real thing: A flexible voxel based 3D reconstruction pipeline for single object
JP2022518402A (ja) 三次元再構成の方法及び装置
CN111899293B (zh) Ar应用中的虚实遮挡处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180501