CN107169933B - 一种基于tof深度相机的边缘反射像素校正方法 - Google Patents

一种基于tof深度相机的边缘反射像素校正方法 Download PDF

Info

Publication number
CN107169933B
CN107169933B CN201710245876.6A CN201710245876A CN107169933B CN 107169933 B CN107169933 B CN 107169933B CN 201710245876 A CN201710245876 A CN 201710245876A CN 107169933 B CN107169933 B CN 107169933B
Authority
CN
China
Prior art keywords
edge
pixel
depth map
map
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710245876.6A
Other languages
English (en)
Other versions
CN107169933A (zh
Inventor
吴旷
钱锋
姚金良
张秀达
陈嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN201710245876.6A priority Critical patent/CN107169933B/zh
Publication of CN107169933A publication Critical patent/CN107169933A/zh
Application granted granted Critical
Publication of CN107169933B publication Critical patent/CN107169933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

本发明提供一种基于TOF深度相机的边缘反射像素校正方法，包括步骤建立视线深度图、解算深度图中像素法向量、建立边缘置信度图、边缘像素判定、边缘像素插补；本发明通过设定角度阈值判定边缘像素，并通过插补的方式修复边缘像素点，最终将边缘像素点的空洞修补，实现对深度图的边缘反射像素的校正。本发明快速解决深度图边缘像素的去噪问题，方法稳定高效，深度图修复效果极佳。

Description

一种基于TOF深度相机的边缘反射像素校正方法
技术领域
本发明涉及边缘像素校正，具体涉及一种基于TOF深度相机的边缘反射像素校正方法。
背景技术
TOF是飞行时间(Time of Flight)技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的色度图方式呈现出来。TOF深度相机是一种使用TOF技术的深度视觉成像装置，TOF深度相机通过图像传感器获得红外图像之后经过深度解算，得到含有每个像素在场景中距离值的深度图。在使用TOF深度相机对物体进行深度图捕捉过程中，通常会获得稠密的深度图，但也正是由于TOF深度相机拍摄得到稠密深度图，场景中有前景和背景的存在导致在目标边缘个别像素的位置上，既拍到了前景的部分内容又拍到了背景的部分内容，最后解算出一个介于前景和背景的深度值，即在场景的边缘区域出现边缘像素。这种边缘点像素也被称为离群点，使得本来的前景和背景图像区块之间产生一个渐变的过度。它不是真实存在的渐变目标深度图，而是由于拍摄中引入的深度图噪声点，目前还没有一种对此类边缘像素的处理方法。
发明内容
本发明的目的在于克服现有技术存在的以上问题，提供一种基于TOF深度相机的边缘反射像素校正方法。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于TOF深度相机的边缘反射像素校正方法，包括以下步骤：
建立视线深度图，获取深度相机拍摄坐标原点，建立坐标原点与深度图各像素点的视角连线作为视线；
解算深度图中像素法向量，得到深度图中单个像素点单位法向量；
建立边缘置信度图，结合单个像素视线与单位法向量求解单个像素点的视线与法向量夹角，结合角度容差机制生成深度图中像素点置信度图；
边缘像素判定，设定角度阈值，像素点视线与法向量夹角大于所述的角度阈值则判定为边缘像素点；
估值反射系数，结合灰度图的相位信息与强度信息估值边缘像素点的反射系数；
边缘像素插补，获取边缘像素点信息，结合灰度图采用邻域插补对边缘像素点进行修复。
进一步的，还包括步骤获取深度图信息，利用深度相机获取深度图信息与红外灰度图信息，所述的深度图信息用于获取几何特征，红外灰度图信息用于获取纹理特征。
进一步的，所述的步骤解算深度图中像素法向量采用3×3邻域的局部向量法求解深度图中像素点的单位法向量。
进一步的，所述的角度阈值为50°～90°。
进一步的，所述的邻域插补采用N×N邻域插值补偿，公式为
Figure GDA0002548376490000031
其中ωi为对应领域像素点的权因子；i∈N×N，N为邻域点数量。
进一步的，所述的N的取值范围为3～12。
进一步的，所述的N值为5，公式为
Figure GDA0002548376490000032
本发明的有益效果是:本发明提供一种基于TOF深度相机的边缘反射像素校正方法，包括步骤建立视线深度图、解算深度图中像素法向量、建立边缘置信度图、边缘像素判定、边缘像素插补；本发明通过设定角度阈值判定边缘像素，并通过插补的方式修复边缘像素点，最终将边缘像素点的空洞修补，实现对深度图的边缘反射像素的校正。本发明快速解决深度图边缘像素的去噪问题，方法稳定高效，深度图修复效果极佳。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明的一种基于TOF深度相机的边缘反射像素校正方法流程示意图；
图2是本发明的一种基于TOF深度相机的平面深度示意图；
图3是本发明的一种基于TOF深度相机的边缘反射像素校正方法原理示意图；
图4是本发明的像素法向量求解原理示意图；
图5是本发明的5×5邻域插补原理示意图；
图6是未经本发明的处理的深度图；
图7是经本发明一种基于TOF深度相机的边缘反射像素校正方法处理后的深度图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
参照图1-7所示，一种基于TOF深度相机的边缘反射像素校正方法，如图1所示，包括以下步骤：
获取深度图信息，利用深度相机获取深度图信息与红外灰度图信息，深度图信息用于获取算法所需的几何特征，红外灰度图信息用于获取算法所需的纹理特征；如图2所示，为基于TOF深度相机平面深度示意图，边缘像素为圈中所示，一般的，无法保证绝对垂直拍摄，但对拍摄图像作纵截面处理，得到垂直TOF深度相机中心视线的纵截面深度图，即为图2所示情况，应当理解，获取图像信息为TOF相机拍摄过程或直接采用已有深度图像。
建立视线深度图，如图3所示，获取深度相机拍摄坐标原点，建立坐标原点与深度图各像素点的视角连线作为视线。
解算深度图中像素法向量，得到深度图中单个像素点单位法向量，具体采用3×3邻域的局部向量法求解深度图中像素点的单位法向量，如图4所示，I5为中心像素点,公式如下：
Figure GDA0002548376490000051
Figure GDA0002548376490000052
Figure GDA0002548376490000053
Figure GDA0002548376490000054
Figure GDA0002548376490000055
Figure GDA0002548376490000056
其中，
Figure GDA0002548376490000057
即为I5单位法向量，求解法向量的3x3邻域运算仅为求解法向量中的一种，求取法向量具有平滑的效果，有一定的抗噪声的效果。应当理解，建立视线深度图与解算深度图中像素法向量为独立步骤，并不涉及步骤具体顺序，图1中表述仅为一实施例，不作步骤顺序限定。
建立边缘置信度图，如图4所示，结合单个像素视线与单位法向量求解单个像素点的视线与法向量夹角，由于像素点密度不同，计算出的法向量与视线仅为一较真的估计值，都存在一定的置信度，结合角度容差机制生成深度图中像素点置信度图；
边缘像素判定，结合3所示，设定角度阈值α，一般的角度阈值α取值范围为50°～90°，像素点视线与法向量夹角大于所述的角度阈值则判定为边缘像素点，即得到P1、P2、P3、P4判定，
Figure GDA0002548376490000058
Figure GDA0002548376490000059
Figure GDA0002548376490000061
Figure GDA0002548376490000062
在一实施例中，α＝70°，即得P1、P2、P3、P4为边缘像素点。
估值反射系数，结合灰度图的相位信息与强度信息估值边缘像素点的反射系数ε，反射系数隐式公式为
ε＝f(θ,Am,Depth)
式中，Am强度信息，θ、Depth为相位信息。
边缘像素插补，获取边缘像素点信息，结合灰度图采用邻域插补对边缘像素点进行修复，公式为：
Figure GDA0002548376490000063
其中N为邻域点数量，ωi为对应领域像素点的权因子，一般的N值的取值范围为3～13；I为像素值；Ii为N×N窗口内邻域像素值。在一实施例中，如图5所示，邻域插补采用5×5邻域插值补偿，在5×5的零像素点为中心的邻域内，中心零像素点与邻域内的像素点有5种距离关系，如图5所示，,令像素点的尺寸为p，在最邻近中心零像素点的8个像素中，有四个像素点与中心零像素点的距离权重为ω1＝p，记为第一组像素点；另外四个对角相邻像素点与中心零像素点的连线距离权重为
Figure GDA0002548376490000064
记为第二组像素点。相对稍远的16个像素点又可分为3种距离关系，即四个像素点与中心零像素点的连线距离权重为ω3＝2p，记为第三组像素点；8个像素点与中心零像素点的连线距离权重为
Figure GDA0002548376490000065
记为第四组像素点，另外四个像素点与中心零像素点的连线距离权重为
Figure GDA0002548376490000071
记为第五组像素点，最后得到
Figure GDA0002548376490000072
应当理解，5×5邻域插值补偿仅为N×N中的一种，不应局限本发明的范围。
本发明提供一种基于TOF深度相机的边缘反射像素校正方法，包括步骤建立视线深度图、解算深度图中像素法向量、建立边缘置信度图、边缘像素判定、边缘像素插补；本发明通过设定角度阈值判定边缘像素，并通过插补的方式修复边缘像素点，最终将边缘像素点的空洞修补，实现对深度图的边缘反射像素的校正。本发明快速解决深度图边缘像素的去噪问题，方法稳定高效，深度图修复效果极佳。如图6所示，为一未经本发明的处理的深度图，边缘像素的过渡点噪声像素较多，采用本发明一种基于TOF深度相机的边缘反射像素校正方法处理后，如图7所示，边缘像素修复后，深度图整体效果显著提升。
以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (7)

1.一种基于TOF深度相机的边缘反射像素校正方法，其特征在于，包括以下步骤：
建立视线深度图，获取深度相机拍摄坐标原点，建立坐标原点与深度图各像素点的视角连线作为视线；
解算深度图中像素法向量，得到深度图中单个像素点单位法向量；
建立边缘置信度图，结合单个像素视线与单位法向量求解单个像素点的视线与法向量夹角，结合角度容差机制生成深度图中像素点置信度图；
边缘像素判定，设定角度阈值，像素点视线与法向量夹角大于所述的角度阈值则判定为边缘像素点；
估值反射系数，结合灰度图的相位信息与强度信息估值边缘像素点的反射系数；
边缘像素插补，获取边缘像素点信息，结合灰度图采用邻域插补对边缘像素点进行修复。
2.根据权利要求1所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：还包括步骤获取深度图信息，利用深度相机获取深度图信息与红外灰度图信息,所述的深度图信息用于获取几何特征，红外灰度图信息用于获取纹理特征。
3.根据权利要求1所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：所述的步骤解算深度图中像素法向量采用3×3邻域的局部向量法求解深度图中像素点的单位法向量。
4.根据权利要求1所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：所述的角度阈值为50°～90°。
5.根据权利要求1至4其中之一所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：所述的邻域插补采用N×N邻域插值补偿，公式为
Figure FDA0002548376480000021
其中ωi为对应领域像素点的权因子；i∈N×N，N为邻域点数量。
6.根据权利要求5所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：所述的N的取值范围为3～12。
7.根据权利要求6所述的一种基于TOF深度相机的边缘反射像素校正方法，其特征在于：所述的N值为5，公式为
Figure FDA0002548376480000022
CN201710245876.6A 2017-04-14 2017-04-14 一种基于tof深度相机的边缘反射像素校正方法 Active CN107169933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710245876.6A CN107169933B (zh) 2017-04-14 2017-04-14 一种基于tof深度相机的边缘反射像素校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710245876.6A CN107169933B (zh) 2017-04-14 2017-04-14 一种基于tof深度相机的边缘反射像素校正方法

Publications (2)

Publication Number Publication Date
CN107169933A CN107169933A (zh) 2017-09-15
CN107169933B true CN107169933B (zh) 2020-08-18

Family

ID=59849688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710245876.6A Active CN107169933B (zh) 2017-04-14 2017-04-14 一种基于tof深度相机的边缘反射像素校正方法

Country Status (1)

Country Link
CN (1) CN107169933B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961184B (zh) * 2018-06-28 2021-04-20 北京邮电大学 一种深度图像的校正方法、装置及设备
CN110956603B (zh) * 2018-09-25 2023-04-21 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN110211189A (zh) * 2019-05-21 2019-09-06 清华大学 ToF相机深度误差建模校正方法及装置
CN111932576B (zh) * 2020-07-15 2023-10-31 中国科学院上海微系统与信息技术研究所 一种基于深度相机的物体边界测量方法和装置
CN113126944B (zh) * 2021-05-17 2021-11-09 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN114283195B (zh) * 2022-03-03 2022-07-26 荣耀终端有限公司 生成动态图像的方法、电子设备及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1449543A (zh) * 2000-09-14 2003-10-15 夏普公司 图像处理装置、图像处理方法和记录该方法的记录介质
CN101763649A (zh) * 2009-12-30 2010-06-30 北京航空航天大学 一种增强模型轮廓的表面点绘制方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法
CN103440664A (zh) * 2013-09-05 2013-12-11 Tcl集团股份有限公司 一种生成高分辨率深度图的方法、系统及计算设备
CN103544492A (zh) * 2013-08-06 2014-01-29 Tcl集团股份有限公司 基于深度图像三维曲面几何特征的目标识别方法和装置
CN104318569A (zh) * 2014-10-27 2015-01-28 北京工业大学 基于深度变分模型的空间显著性区域提取方法
CN104361575A (zh) * 2014-10-20 2015-02-18 湖南戍融智能科技有限公司 深度图像中的自动地面检测及摄像机相对位姿估计方法
CN104778701A (zh) * 2015-04-15 2015-07-15 浙江大学 一种基于rgb-d传感器的局部图像描述方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106485675A (zh) * 2016-09-27 2017-03-08 哈尔滨工程大学 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1449543A (zh) * 2000-09-14 2003-10-15 夏普公司 图像处理装置、图像处理方法和记录该方法的记录介质
CN101763649A (zh) * 2009-12-30 2010-06-30 北京航空航天大学 一种增强模型轮廓的表面点绘制方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法
CN103544492A (zh) * 2013-08-06 2014-01-29 Tcl集团股份有限公司 基于深度图像三维曲面几何特征的目标识别方法和装置
CN103440664A (zh) * 2013-09-05 2013-12-11 Tcl集团股份有限公司 一种生成高分辨率深度图的方法、系统及计算设备
CN104361575A (zh) * 2014-10-20 2015-02-18 湖南戍融智能科技有限公司 深度图像中的自动地面检测及摄像机相对位姿估计方法
CN104318569A (zh) * 2014-10-27 2015-01-28 北京工业大学 基于深度变分模型的空间显著性区域提取方法
CN104778701A (zh) * 2015-04-15 2015-07-15 浙江大学 一种基于rgb-d传感器的局部图像描述方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106485675A (zh) * 2016-09-27 2017-03-08 哈尔滨工程大学 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法

Also Published As

Publication number Publication date
CN107169933A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN107169933B (zh) 一种基于tof深度相机的边缘反射像素校正方法
US9972067B2 (en) System and method for upsampling of sparse point cloud for 3D registration
JP6244407B2 (ja) 深度測定の品質の向上
WO2017054589A1 (zh) 一种多深度图融合方法及装置
KR101742120B1 (ko) 영상 처리 장치 및 방법
US8054881B2 (en) Video stabilization in real-time using computationally efficient corner detection and correspondence
CN109155066B (zh) 用于机动车辆的环境区域的两个图像之间的运动估计的方法，计算装置，驾驶员辅助系统以及机动车辆
US9390511B2 (en) Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data
Meilland et al. A unified rolling shutter and motion blur model for 3D visual registration
Milani et al. Joint denoising and interpolation of depth maps for MS Kinect sensors
CN107680140B (zh) 一种基于Kinect相机的深度图像高分辨率重构方法
Cherian et al. Accurate 3D ground plane estimation from a single image
JP2011060282A (ja) 動き領域の非線形スムージングを用いた動き検出方法およびシステム
CN107610144A (zh) 一种改进的基于最大类间方差法的红外图像分割算法
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
Lin et al. The initial study of LLS-based binocular stereo-vision system on underwater 3D image reconstruction in the laboratory
JP4394487B2 (ja) ステレオ画像処理装置
Kang et al. Disparity map generation for color image using TOF depth camera
WO2008102898A1 (ja) 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
Eichenseer et al. Motion estimation for fisheye video sequences combining perspective projection with camera calibration information
Geiger Monocular road mosaicing for urban environments
CN113723432A (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
JP6492603B2 (ja) 画像処理装置、システム、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 323000 room 303-5, block B, building 1, No. 268, Shiniu Road, nanmingshan street, Liandu District, Lishui City, Zhejiang Province

Applicant after: Zhejiang Guangpo Intelligent Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province 310030 Xihu District three Town Shi Xiang Road No. 859 Zijin and building 3 building 1301-1 room

Applicant before: HANGZHOU GENIUS PROS TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Pixel Correction Method for Edge Reflection Based on TOF Depth Camera

Effective date of registration: 20230529

Granted publication date: 20200818

Pledgee: Lishui Economic Development Zone Sub branch of Bank of China Ltd.

Pledgor: Zhejiang Guangpo Intelligent Technology Co.,Ltd.

Registration number: Y2023330000990

PE01 Entry into force of the registration of the contract for pledge of patent right