CN108090877A - 一种基于图像序列的rgb-d相机深度图像修复方法 - Google Patents

一种基于图像序列的rgb-d相机深度图像修复方法 Download PDF

Info

Publication number
CN108090877A
CN108090877A CN201711226687.0A CN201711226687A CN108090877A CN 108090877 A CN108090877 A CN 108090877A CN 201711226687 A CN201711226687 A CN 201711226687A CN 108090877 A CN108090877 A CN 108090877A
Authority
CN
China
Prior art keywords
camera
rgb
image
depth image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711226687.0A
Other languages
English (en)
Inventor
韩小宁
冷雨泉
付明亮
马维斯
占志鹏
任利学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shen Shi Science And Technology Co Ltd
Original Assignee
Shenzhen Shen Shi Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shen Shi Science And Technology Co Ltd filed Critical Shenzhen Shen Shi Science And Technology Co Ltd
Priority to CN201711226687.0A priority Critical patent/CN108090877A/zh
Publication of CN108090877A publication Critical patent/CN108090877A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像序列的RGB‑D相机深度图像修复方法，其特征在于利用图像序列中连续帧的RGB图像进行特征点提取并进行匹配，通过求解PnP问题，计算获取两幅图像间的相机相对位姿变化，将前一帧深度图像上的像素重投影到当前帧深度图像。上述过程重复执行，从而实现当前帧深度图像的修复。

Description

一种基于图像序列的RGB-D相机深度图像修复方法
技术领域
本发明涉及图像处理及计算机视觉领域，具体地说是一种基于图像序列的RGB-D相机深度图像修复方法。
背景技术
计算视觉在现实生活中有着广泛的应用，但日常使用的RGB相机只能获取视野的色彩信息，而RGB-D相机在提供常用RGB图像的同时，能够提供对应的深度信息，RGB-D相机的推出迅速引起了开发人员的兴趣。但目前所使用的RGB-D相机所获取的深度图像质量较低，在环境中存在光滑表面或者遮挡时，相机无法获得深度信息，从而在深度图像上形成较大“孔洞”。这些孔洞严重影响了深度图像的应用。
目前的方法主要针对单幅深度图像进行修复，如联合滤波方法、基于图像分割的方法。前者对“孔洞”进行迭代修复，误差会逐渐累积。而后者当划分的图像块内有效像素较少时，会产生“过拟合”。
发明内容
针对现有不足，本发明提出了基于图像序列的RGB-D相机深度图像修复方法，利用相机对场景观测获得的时序信息，实现对当前帧深度图像的部分修复。
本发明为实现上述目的，所采用的技术方案是：
使用针眼模型对RGB-D相机标定，包括：RGB相机与深度相机的内部参数标定；RGB相机与深度相机的相对位置参数标定。
经过标定的相机，可对深度图像进行投影变换，并调整RGB的大小，使深度图像满足与RGB图像的像素间的一一对应关系。一种基于特殊点的图像匹配方法，包括：
步骤1：利用两帧的RGB图像进行匹配，得到匹配的特征点对集合。
步骤2；对匹配完成的特征点对进行筛选，得到满足匹配要求的特征点对。
所述相机相对位姿计算包括以下步骤：
步骤1：将上一帧中已匹配的特征点投影到三维空间。
步骤2：利用上一阶段得到的匹配信息，通过求解PnP问题，计算两帧间的相机位姿变化。
所述重投影过程包括以下步骤：
步骤1；上一帧深度图像重投影。利用上述步骤得到的相机相对位姿变化，将上一帧深度图像逐像素重投影到当前深度图像平面。
步骤2：对当前帧深度图像修复。对当前深度图像进行遍历，若像素值不存在，则选择上一帧投影的像素进行修复。
附图说明
附图仅用来对本发明进行辅助性解释，作为本发明申请内容的一部分，并不对本发明产生限定。附图包含：
图1是本发明的程序流程图；
图2是本发明的两帧RGB图像匹配结果；
图3是本发明的使用效果图(图像来自公开数据集RGB-D Scenes Dataset：https://rgbd-dataset.cs.washington.edu/),左图为原始图像，右图为经过帧间重投影修复得到的结果。
具体实施方式
下面将结合附图以及具体实施案例来详细说明本发明的实施方式，案例为本发明的示意性案例，并不作为本发明的限定。
本发明的实施案例如下：
如图1所示，本发明公开了一种基于图像序列的深度图像修复方法，通过计算两帧间的相机位姿变化，将上一帧深度图像重投影到当前帧，从而实现对当前帧深度图像的修复，具体方法由如下两个部分实现：
1.前期准备：
Kinect相机标定。通过当前通用方法对Kinect相机进行标定，得到相机的内部参数和两者间的位姿关系。
RGB图像与深度图像对齐。利用得到的RGB相机与深度相机间的位姿关系，将RGB图像与深度图像对齐，保证像素间的对应关系。通过标定与对齐，RGB相机与深度相机的内部参数可表示为：K＝{cx，cy，fx，fy，s}，其中，cx，cy为相机成像平面投影中心坐标，fx，fy分别为相机水平、垂直方向焦距，s为缩放比例。
2.修复。
步骤1：连续帧位姿变化计算。通过对last_frame(上一帧)和this_frame(当前帧)两帧RGB图像进行匹配，并对匹配点进行筛选，得到匹配点对KP＝{(pi-1，1，pi，2)，(pi-1，2，pi，2)，...，(pi-1，n，pi，n)}，其中pi，j＝(ui，j，vi，j)为第i帧的第j个匹配点，包含该点在图像上的坐标。根据该点在深度图像上的像素值d，该点三维坐标计算公式为：
根据匹配点间的对应关系，可求解PnP问题得到两帧间的相机位姿变化
步骤2：重投影last_frame。根据得到的相机位姿变化关系，将last_frame中深度图像Di-1的所有有效像素重投影到当前帧对应的相机坐标系下，得到重投影集合D′i-1。
步骤3：帧间修复。遍历当前帧深度图像Di，若像素(u，v)无效，则在D′i-1中存在对应像素(u，v)，则进行修复
D(u，v)＝D′(u，v)
步骤4：将last_frame＝this_frame，获取新的观测作为this_frame，重复步骤1-3，从而实现图像序列的修复。

Claims (6)

1.一种基于图像序列的RGB-D相机深度图像修复方法，其特征在于，利用相机对场景连续的观测，通过计算帧间相对位置关系，将前一帧深度图像重投影到当前帧深度图平面像，从而完成当前帧部分像素的修复，再结合其他单幅深度图像修复方法，完成当前帧深度图像的修复工作；上述步骤重复进行，依次修复深度图像序列。
2.根据权利要求1所述基于图像序列的RGB-D相机深度图像修复方法，其特征在于，作为前期准备工作，RGB-D相机标定，包括：RGB相机与深度相机的内部参数标定和RGB相机与深度相机的相对位置参数标定；经过标定的相机，可对深度图像进行投影变换，并调整RGB的大小，使深度图像满足与RGB图像的像素间的一一对应关系。
3.根据权利要求1所述基于图像序列的RGB-D相机深度图像修复方法，其特征在于，使用图像匹配方法对两帧RGB图像进行匹配，包括：利用两帧的RGB图像进行匹配，得到匹配的特征点对集合；对匹配完成的特征点对进行筛选，得到满足匹配要求的特征点对。
4.根据权利要求1所述基于图像序列的RGB-D相机深度图像修复方法，其特征在于，权利要求3中描述的方法进行相机相对位姿计算，包括：将上一帧中已匹配的特征点投影到三维空间；利用上一阶段得到的匹配信息，通过求解PnP问题，计算两帧间的相机位姿变化。
5.根据权利要求1所述基于图像序列的RGB-D相机深度图像修复方法，其特征在于，利用权利要求中得到的相机相对位姿变化进行重投影，包括：上一帧深度图像重投影。利用上述步骤得到的相机相对位姿变化，将上一帧深度图像逐像素重投影到当前深度图像平面；对当前帧深度图像修复。对当前深度图像进行遍历，若像素值不存在，则选择上一帧投影的像素进行修复。
6.根据权利要求1所述基于图像序列的RGB-D相机深度图像修复方法，其特征在于权利要求3-5所述各步骤在修复过程中按次序重复执行。
CN201711226687.0A 2017-11-29 2017-11-29 一种基于图像序列的rgb-d相机深度图像修复方法 Pending CN108090877A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711226687.0A CN108090877A (zh) 2017-11-29 2017-11-29 一种基于图像序列的rgb-d相机深度图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711226687.0A CN108090877A (zh) 2017-11-29 2017-11-29 一种基于图像序列的rgb-d相机深度图像修复方法

Publications (1)

Publication Number Publication Date
CN108090877A true CN108090877A (zh) 2018-05-29

Family

ID=62173372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711226687.0A Pending CN108090877A (zh) 2017-11-29 2017-11-29 一种基于图像序列的rgb-d相机深度图像修复方法

Country Status (1)

Country Link
CN (1) CN108090877A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389674A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 数据处理方法及装置、mec服务器及存储介质
CN109700465A (zh) * 2019-01-07 2019-05-03 广东体达康医疗科技有限公司 一种移动式三维伤口扫描设备及其工作流程
CN110322507A (zh) * 2019-06-04 2019-10-11 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
WO2020246288A1 (ja) * 2019-06-07 2020-12-10 株式会社前川製作所 画像処理装置、画像処理プログラム及び画像処理方法
WO2023272524A1 (zh) * 2021-06-29 2023-01-05 深圳市大疆创新科技有限公司 双目拍摄装置及确定其观测深度的方法、装置、可移动平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561258A (zh) * 2013-09-25 2014-02-05 同济大学 一种Kinect深度视频时空联合修复方法
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法
CN106504321A (zh) * 2016-11-07 2017-03-15 达理 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
US20170084075A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Reflectance parameter estimation in real scenes using an rgb-d sequence

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561258A (zh) * 2013-09-25 2014-02-05 同济大学 一种Kinect深度视频时空联合修复方法
US20170084075A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing Reflectance parameter estimation in real scenes using an rgb-d sequence
CN105894503A (zh) * 2016-03-30 2016-08-24 江苏大学 一种对Kinect植株彩色和深度检测图像的修复方法
CN106504321A (zh) * 2016-11-07 2017-03-15 达理 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389674A (zh) * 2018-09-30 2019-02-26 Oppo广东移动通信有限公司 数据处理方法及装置、mec服务器及存储介质
CN109700465A (zh) * 2019-01-07 2019-05-03 广东体达康医疗科技有限公司 一种移动式三维伤口扫描设备及其工作流程
CN110322507A (zh) * 2019-06-04 2019-10-11 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
CN110322507B (zh) * 2019-06-04 2023-04-07 东南大学 一种基于深度重投影和空间一致性特征匹配的方法
WO2020246288A1 (ja) * 2019-06-07 2020-12-10 株式会社前川製作所 画像処理装置、画像処理プログラム及び画像処理方法
JPWO2020246288A1 (ja) * 2019-06-07 2021-10-21 株式会社前川製作所 画像処理装置、画像処理プログラム及び画像処理方法
CN113574367A (zh) * 2019-06-07 2021-10-29 株式会社前川制作所 图像处理装置、图像处理程序及图像处理方法
JP7128356B2 (ja) 2019-06-07 2022-08-30 株式会社前川製作所 画像処理装置、画像処理プログラム及び画像処理方法
WO2023272524A1 (zh) * 2021-06-29 2023-01-05 深圳市大疆创新科技有限公司 双目拍摄装置及确定其观测深度的方法、装置、可移动平台

Similar Documents

Publication Publication Date Title
CN111047510B (zh) 一种基于标定的大视场角图像实时拼接方法
CN108090877A (zh) 一种基于图像序列的rgb-d相机深度图像修复方法
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
CN104408701B (zh) 一种大场景视频图像拼接方法
CN105374019B (zh) 一种多深度图融合方法及装置
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
JP5306652B2 (ja) 集積された画像プロセッサ
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
CN106060493A (zh) 多源投影无缝边缘拼接方法及系统
CN101996407B (zh) 一种多相机颜色标定方法
CA2985045A1 (en) Novel view synthesis using deep convolutional neural networks
CN102938145B (zh) 一种拼接类全景图的一致性调整方法及系统
JP7387434B2 (ja) 画像生成方法および画像生成装置
JP6513234B2 (ja) Ｌｅｄディスプレイに用いられる画像処理方法及び装置
TW201243763A (en) Method for 3D video content generation
CN103810685A (zh) 一种深度图的超分辨率处理方法
CN105005964B (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN104935909A (zh) 一种基于深度信息的多幅图超分辨方法
CN112312106B (zh) 一种基于色彩空间转换的投影图像颜色校正方法
CN114049464B (zh) 一种三维模型的重建方法及设备
CN105894443A (zh) 一种基于改进的surf算法的实时视频拼接方法
JP3988879B2 (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529

WD01 Invention patent application deemed withdrawn after publication