CN110276791A - 一种参数可配置的深度相机仿真方法 - Google Patents

Abstract

本发明公开一种参数可配置的深度相机仿真方法，首先获取3D场景、深度相机的内部参数和噪声分布；根据3D场景和内部参数获取正常点视点坐标、纹理信息、红外线与物体表面法线的夹角。根据纹理信息和红外线与物体表面法线的夹角，进行遮罩处理，设置遮罩处理区域的可见空间点深度值缺失，并更改相应屏幕点的坐标信息；并对经过遮罩处理后屏幕点的坐标进行逆变换，得到屏幕点在世界坐标系下的计算深度值；随后根据噪声分布，获取深度相机轴向和径向深度噪声分布信息；并将获取的计算深度值和深度噪声分布信息合成最终的深度信息。最后将虚拟相机获取的最终深度值利用颜色索引条，结合空间点的像素坐标逐一赋予颜色信息，得到深度图像并输出深度数据。

Description

一种参数可配置的深度相机仿真方法

技术领域

本发明涉及虚拟现实技术、仿真技术，设计一种深度相机仿真方法，具体来说是一种参数可配置的深度相机仿真方法。

背景技术

深度相机是建立在视觉应用中的重要传感器，在无人驾驶、计算机领域、机器人领域以及无人机导航等起着重要的作用。为了确保相关算法在实际执行时的效果和安全性，需要对其进行充分大量的测试，采用深度相机的测试，多依赖于真实的场景或经过记录的视频，尽管可信性强，但样本单一，真值获取困难，难以适应真实场景的复杂性和变化性。

随着计算机处理能力的提高以及计算机图形学的发展，基于计算机图形学和虚拟现实技术的深度相机仿真方法，在基于深度相机的计算机视觉应用算法测试中起到了越来越重要的作用。由此构建的基于虚拟深度相机的测试方法，大幅提高了相关算法的测试效率，降低了测试成本，具有很强的应用价值。

但目前，已有的深度相机仿真方法主要存在如下问题：

1、当前的深度相机仿真多实现了深度相机的机理，但没有针对深度相机的实现原理进行充分的仿真；

2、已有的深度相机仿真方法扩展性差，而且未能综合考虑相机的参数以及噪声分布等影响。

发明内容

本发明为了解决深度相机的深度相机实现原理仿真不够充分、可扩展性不够强、噪声模拟不够真实的问题，提出了一种参数可配置的深度相机仿真方法，主要包括以下几个步骤：

步骤一：构建3D场景，输入深度相机参数和深度相机的噪声分布。

步骤二：根据构建的3D场景和深度相机参数，获取空间点归一化设备坐标及空间点的像素坐标，并获取3D场景中物体表面法线数据信息，同时计算红外线与物体表面法线的夹角。

步骤三：获取3D场景的材质信息，并根据步骤二中获取的红外线与物体表面法线的夹角，对红外线不能照射的区域进行遮罩处理，设置遮罩处理区域的可见空间点深度值缺失，并更改相应空间点在归一化设备坐标系下的深度值。

步骤四：对经过遮罩函数处理后空间点的空间点的在归一化设备坐标系下的坐标进行逆变换，得到空间点在世界坐标系下的真实深度值。

步骤五：根据输入的深度相机的噪声分布图，获取深度相机在轴向和径向方向的深度偏差信息，并合成为虚拟深度相机得到的空间点的深度值。

步骤六：按照输入的输出深度图的类型，将虚拟相机获取的最终深度值利用颜色索引条，结合空间点的像素坐标逐一赋予颜色信息，得到深度图像并输出深度数据。

本发明具有以下优点：

1、本发明参数可配置的深度相机仿真方法，在实现深度相机肌理的同时对深度相机的实现原理进行了充分的仿真，使深度相机仿真的可靠性更强；

2、本发明参数可配置的深度相机仿真方法，读取深度相机的深度噪声分布图或者分布曲线获取深度相机的深度噪声信息，在一定程度上减小了深度相机仿真的复杂度，并保证深度相机仿真的真实性；

3、本发明参数可配置的深度相机仿真方法，虚拟深度相机参数可配置，可以对视场角、分辨率、输出深度图类型，、最佳工作范围等参数进行设置，提高了虚拟深度相机的通用性和可扩展性；

4、参数可配置的深度相机仿真方法，在输出深度数据的同时提供输出彩色深度图和灰阶深度图两种选择，为基于深度相机的计算机视觉应用算法测试提供所需的深度信息展示形式。

附图说明

图1为本发明参数可配置的深度相机仿真方法流程图。

图2为本发明参数可配置的深度相机仿真方法中顶点处理流程示意图。

图3为本发明参数可配置的深度相机仿真方法中深度相机透视投影及坐标定义示意图。

图4为本发明参数可配置的深度相机仿真方法中深度噪声获取示意图。

图5为本发明参数可配置的深度相机仿真方法中由深度值获取深度图的示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明参数可配置的深度相机仿真方法，如图1所示，具体步骤如下：

步骤一：构建3D场景，输入深度相机参数和深度相机的噪声分布；

深度相机的构建依托于Unity引擎，在Unity中构建3D场景，并设计UI界面与虚拟深度相机的参数输入接口，虚拟深度相机通过参数输入接口获取在UI界面输入的深度相机参数和深度相机的噪声分布。其中，深度相机参数主要包括FOV(包括水平视场角和垂直视场角)、分辨率、焦距、输出深度图的类型(包括彩色深度图和灰阶深度图)、红外线的反射属性以及深度相机的最佳工作范围。在本发明实施例中深度相机的噪声分布主要涉及轴向相关的深度噪声曲线和径向相关的深度噪声分布图。

步骤二：进行顶点处理，根据Unity引擎中构建的3D场景和深度相机参数，获取空间点归一化设备坐标及像素坐标，并获取3D场景中物体表面法线数据信息，同时计算红外线与物体表面法线的夹角，如图2所示。

首先根据Unity引擎中构建的3D场景,获取空间点的世界坐标；

其次，将空间点的世界坐标结合深度相机参数进行坐标变换，得到空间点的像素坐标。坐标变换的具体过程如下：

空间点先从世界坐标系转换到透视投影空间坐标系下，变换过程如下：

P_clip＝P_wordM_vM_p (1)

式中，P_clip为空间点在透视投影空间坐标系下的坐标，P_word为空间点在世界坐标系下的坐标，M_v为视图变换矩阵，M_p为透视投影变换矩阵。

上述M_v的计算过程如下：

→

设虚拟深度相机在世界坐标系下的位置为P_cam，垂直于摄像机向上的方向为V以及任一空间点P，则有：

透视投影变换矩阵M_p的计算过程如下：

根据输入的深度相机参数，包括水平视场角α、垂直视场角β、分辨率Res、深度相机的最佳工作范围的最近深度z_n和最远深度z_f,如图3所示，在视锥体近裁剪面上建立坐标系，其中坐标原点为相机光轴与近裁剪面的交点，设近裁剪面与坐标系轴的交点的所在轴坐标分别为a、b、c、d，则透视投影变换矩阵M_p为

式(3)中，a、b、c、d满足：

透视投影变换之后进行裁剪变换并进行透视除法得到空间点归一化设备坐标(x_ndc y_ndc z_ndc)^T。结合获取的深度相机的分辨率Res＝W_p×H_p(W_p代表屏幕宽，H_p代表屏幕高，单位都为像素数)，设(x,y)为视窗的左下角坐标，则空间点的像素坐标(x_s,y_s)为

最后，为虚拟深度相机构建红外线发射装置，并利用着色器直接获取3D场景中物体表面法线数据信息，根据3D场景空间点的世界坐标，经过夹角运算得到深度相机发出的红外线与物体表面的夹角θ为：

其中，代表物体表面的法线方向，代表红外线的方向。

步骤三：利用着色器获取的3D场景的材质信息，并根据步骤二中获取的红外线与物体表面法线的夹角θ，对红外线不能照射的区域进行遮罩处理，以确定虚拟深度相机获取的该区域的可见空间点的深度值缺失，更改相应空间点在归一化设备坐标系下的深度值。

当深度相机发射的红外线与物体发生碰撞时，对于与每一根红外线发生碰撞的平面的角度和位置进行记录，位于该红外线延长线上的空间点组成的区域都属于红外线被遮挡区域，设置红外线被遮挡区域的空间点的深度信息缺失；由于物体表面的材质属性，部分材质会对深度相机产生的红外线产生高光反射，当具有反射性强的材质的物体尤其是玻璃材质与深度相机的距离D位于一定范围[D₁,D₂]内时，物体表面的产生存在深度信息缺失的圆形区域，设区域半径为r。在本发明实施例中仅对在玻璃材质的物体表面产生的深度信息缺失的圆形区域大小进行规定如下：

其中k为比例系数，r₀为D₁处的深度信息缺失的圆形区域半径。

当3D场景中物体表面的点存在深度信息缺失时，遮罩函数值M定义为0；当3D场景中物体表面的点不存在深度信息缺失时，遮罩函数值M定义为1。以下是本发明实施例中遮罩函数M的定义：

式中，P代表3D场景中物体表面的点，P∈OccludedScale代表点P位于红外线被遮挡区域，P∈GlossScale代表点P位于物体表面的高光反射区域。

将空间点的深度值与遮罩函数进行与运算，使深度信息缺失的区域的空间点的深度值全设置为0，而其余空间点的深度值保持不变。

步骤四：对经过遮罩函数处理后空间点的在归一化设备坐标系下的坐标进行逆变换，得到空间点在世界坐标系下的真实深度值。

根据步骤二，空间点从世界坐标系到归一化设备坐标的转换关系，先进行透视除法逆变换得到可见空间点在透视投影空间下的坐标P_clip；

则世界坐标系下的坐标为P_word＝P_clip(M_vM_p)^-1。根据P_word可直接获取场景中视角范围内可见物体表面点的真实深度信息d₀。

步骤五：根据输入的深度相机的噪声分布图，获取深度相机在轴向和径向方向的深度偏差信息，并合成为虚拟深度相机得到的空间点的深度值；

如图4所示，本发明实施例中，选取轴向相关的深度噪声曲线图和径向相关的深度噪声分布图输入到Unity引擎中设计的深度相机噪声处理接口，同时输入每个深度噪声曲线图的横纵坐标的取值范围，并进行对应的转换：

轴向相关的深度噪声曲线图为沿相机光轴方向的不同距离L处的红外线与物体表面法线之间的角度θ(°)和轴向深度偏差σ_A(mm)之间的关系曲线。编写脚本和着色器将输入的轴向噪声曲线图转换为二维纹理图片，读取图片左下角和右上角的纹理坐标值，分别设为 (u₁,v₁)和(u₂,v₂)，建立一个二维数组A，将图片上出现的每一条曲线的颜色对应记录其代表的距离值L的大小。设深度噪声曲线图的横纵坐标的取值范围为[a₁,a₂]和[b₁,b₂]。根据步骤四计算得到的空间点的真实深度信息d₀以及红外线与3D物体表面法线之间的夹角θ，按如下方法查找对应的轴向深度偏差σ_A(mm)：

首先，根据空间点P的真实深度信息d₀，查找二维数组A，找到与d₀在距离值上相同的曲线颜色C₁或者与d₀在距离值上最相近的两条曲线对应的颜色C₂和C₃。

其次，红外线与3D物体表面法线之间的夹角θ的轴向噪声偏差为σ_A，则此时对应轴向深度噪声曲线图的纹理坐标(u,v)的横坐标计算如下：

当d₀恰好找到相同距离的噪声曲线，结合曲线颜色为C₁和u的大小找到对应的纹理坐标的纵坐标值v；

当d₀找不到相同距离的噪声曲线时，结合找到的两条最相近曲线颜色C₂和C₃、这两条曲线对应的距离值为L1和L2，找到两条曲线上对应的横坐标为u的点的纵坐标分别设为h₁和 h₂(h₁＜h₂)，则d₀对应的纹理纵坐标值可估算为：

最后，根据纹理坐标的纵坐标u值，计算得到轴向深度偏差值σ_A

在轴向上的噪声分布可近似为高斯分布，根据偏差值获得该空间点的深度噪声分布为 N(0,σ_A)，在[b₁,b₂]范围内获取符合该分布的一个随机轴向深度噪声值d₁。

径向相关的深度噪声分布图为垂直于相机光轴的平面上径向深度偏差σ_B(mm)的关系分布图。获取Unity设置的相应接口输入的颜色索引条的取值范围[e₁,e₂]，空间点P的像素坐标(m,n)，分别将颜色索引条和径向先关的噪声分布图转换为Unity中的二维纹理图片，利用与获取轴向深度偏差值σ_A相似方法，获取径向深度偏差值σ_B，具体过程如下：

首先，根据空间P的像素坐标(m,n)求取对应径向噪声分布图中的对应纹理坐标。设径向噪声分布图对应纹理坐标的左上角坐标和右下角坐标分别为(r₁,s₁)和(r₂,s₂)，则空间点P的像素坐标对应径向噪声分布图中的纹理坐标(p,q)有

其中，W_p和H_p由深度相机的分辨率得到，W_p代表屏幕宽，H_p代表屏幕高，单位都为像素数。

其次，根据空间点的像素坐标对应的径向噪声分布图中的纹理坐标(p,q)，直接读取该坐标处的颜色值C₄。

最后，根据C₄，检索颜色检索条中对应的纹理坐标值(i,j)以及颜色索引条的取值范围 [w₁,w₂]，设颜色检索条的右上角右下角的二维纹理纵坐标分别为e₁和e₂，计算径向偏差值σ_B：

在径向上的噪声分布可近似为高斯分布，根据偏差值获得空间点的深度噪声分布为 N(0,σ_B)，在[w₁,w₂]范围内获取符合该分布的一个随机径向深度噪声值d₂。

将得到的随机轴向噪声值d₁和随机径向噪声值d₂，结合步骤四获得的世界坐标系下的真实深度值d₀，进行虚拟深度相机获取的深度值d的合成：

d＝d₀+d₁+d₂。 (14)

步骤六：按照输入的输出深度图的类型，将虚拟相机获取的最终深度值利用颜色索引条，结合空间点的像素坐标逐一赋予颜色信息，得到深度图像并输出深度数据。

如图5所示，根据深度虚拟相机的使用者输入的深度图输出类型，可以选择性输出彩色深度图像和灰阶深度图像。建立深度值的大小与颜色之间的对应关系，为每个深度值对应的空间点像素坐标赋予RGB信息，最终进行显示，得到深度图。

Claims (9)

1.一种参数可配置的深度相机仿真方法，其特征在于：具体步骤为：

步骤一：构建3D场景，输入深度相机参数和深度相机的噪声分布；

步骤二：根据构建的3D场景和深度相机参数，获取空间点归一化设备坐标及空间点的像素坐标，并获取3D场景中物体表面法线数据信息，同时计算红外线与物体表面法线的夹角；

步骤三：获取3D场景的材质信息，并根据步骤二中获取的红外线与物体表面法线的夹角，对红外线不能照射的区域进行遮罩处理，设置遮罩处理区域的可见空间点深度值缺失，并更改相应空间点在归一化设备坐标系下的深度值；

步骤四：对经过遮罩函数处理后空间点的在归一化设备坐标系下的坐标进行逆变换，得到空间点在世界坐标系下的真实深度值；

步骤五：根据输入的深度相机的噪声分布，获取深度相机在轴向和径向方向的深度偏差信息，并合成虚拟深度相机最终获取的深度值。

步骤六：按照输入的输出深度图的类型，将虚拟相机获取的最终深度值利用颜色索引条，结合空间点的像素坐标逐一赋予颜色信息，得到深度图像并输出深度数据。

2.如权利要求1所述一种参数可配置的深度相机仿真方法，其特征在于：步骤二具体方法为：

首先根据构建的3D场景,获取空间点的世界坐标；

其次，将空间点的世界坐标结合深度相机参数进行坐标变换，得到空间点的像素坐标；

为虚拟深度相机构建红外线发射装置，并利用着色器直接获取3D场景中物体表面法线数据信息，根据3D场景空间点的世界坐标，经过夹角运算得到深度相机发出的红外线与物体表面的夹角。

3.如权利要求2所述一种参数可配置的深度相机仿真方法，其特征在于：坐标变换的具体过程如下：

空间点先从世界坐标系转换到透视投影空间坐标系下，变换过程如下：

P_clip＝P_wordM_vM_p (1)

式中，P_clip为空间点在透视投影空间坐标系下的坐标，P_word为空间点在世界坐标系下的坐标，M_v为视图变换矩阵，M_p为透视投影变换矩阵。

4.如权利要求3所述一种参数可配置的深度相机仿真方法，其特征在于：M_v的计算过程为：

设虚拟深度相机在世界坐标系下的位置为P_cam，垂直于摄像机向上的方向为以及任一空间点P，则有：

透视投影变换矩阵M_p的计算过程如下：

根据输入的深度相机参数，包括水平视场角α、垂直视场角β、分辨率Res、深度相机的最佳工作范围的最近深度z_n和最远深度z_f，在视锥体近裁剪面上建立坐标系，其中坐标原点为相机光轴与近裁剪面的交点，设近裁剪面与坐标系轴的交点的所在轴坐标分别为a、b、c、d，则透视投影变换矩阵M_p为：

式(3)中，a、b、c、d满足：

透视投影变换之后进行裁剪变换并进行透视除法得到归一化设备坐标(x_ndc y_ndc z_ndc)^T。结合获取的深度相机的分辨率Res＝W_p×H_p(W_p代表屏幕宽，H_p代表屏幕高，单位都为像素数)，设(x,y)为视窗的左下角坐标，则空间点的像素坐标(x_s,y_s)为

5.如权利要求1所述一种参数可配置的深度相机仿真方法，其特征在于：步骤三中，当3D场景中物体表面的点存在深度信息缺失时，遮罩函数值M定义为0；当3D场景中物体表面的点不存在深度信息缺失时，遮罩函数值M定义为1。以下是本发明实施例中遮罩函数M的定义：

式中，P代表3D场景中物体表面的点，P∈OccludedScale代表点P位于红外线被遮挡区域，P∈GlossScale代表点P位于物体表面的高光反射区域。

将空间点的深度值与遮罩函数进行与运算，使深度信息缺失的区域的空间点的深度值全设置为0，而其余空间点的深度值保持不变。

6.如权利要求1所述一种参数可配置的深度相机仿真方法，其特征在于：步骤4的具体方法为：根据步骤二，空间点从世界坐标系到归一化设备坐标的转换关系，先进行透视除法逆变换得到可见空间点在透视投影空间下的坐标P_clip，则世界坐标系下的坐标为P_word＝P_clip(M_vM_p)^-1；根据P_word可直接获取场景中视角范围内可见物体表面点的真实深度信息d₀。

7.如权利要求1所述一种参数可配置的深度相机仿真方法，其特征在于：步骤5的具体方法为：

将轴向相关的深度噪声曲线图和径向相关的深度噪声分布图输入到深度相机噪声处理接口，同时输入每个深度噪声曲线图的横纵坐标的取值范围，并进行对应的转换：

轴向相关的深度噪声曲线图为沿相机光轴方向的不同距离L处的红外线与物体表面法线之间的角度θ和轴向深度偏差σ_A之间的关系曲线；编写脚本和着色器将输入的轴向噪声曲线图转换为二维纹理图片，读取图片左下角和右上角的纹理坐标值，分别设为(u₁,v₁)和(u₂,v₂)，建立一个二维数组A，将图片上出现的每一条曲线的颜色对应记录其代表的距离值L的大小。设深度噪声曲线图的横纵坐标的取值范围为[a₁,a₂]和[b₁,b₂]；根据步骤四计算得到的空间点的真实深度信息d₀以及红外线与3D物体表面法线之间的夹角θ，得到对应的轴向深度偏差σ_A；

在轴向上的噪声分布可近似为高斯分布，根据偏差值获得该空间点的深度噪声分布为N(0,σ_A)，在[b₁,b₂]范围内获取符合该分布的一个随机轴向深度噪声值d₁；

径向相关的深度噪声分布图为垂直于相机光轴的平面上径向深度偏差σ_B(mm)的关系分布图。获取Unity设置的相应接口输入的颜色索引条的取值范围[e₁,e₂]，空间点P的像素坐标(m,n)，分别将颜色索引条和径向先关的噪声分布图转换为Unity中的二维纹理图片，利用与获取轴向深度偏差值σ_A相似方法，获取径向深度偏差值σ_B：

在径向上的噪声分布可近似为高斯分布，根据偏差值获得空间点的深度噪声分布为N(0,σ_B)，在[w₁,w₂]范围内获取符合该分布的一个随机径向深度噪声值d₂；

将得到的随机轴向噪声值d₁和随机径向噪声值d₂，结合步骤四获得的世界坐标系下的真实深度值d₀，进行虚拟深度相机获取的深度值d的合成：

d＝d₀+d₁+d₂。

8.如权利要求7所述一种参数可配置的深度相机仿真方法，其特征在于：按如下方法查找对应的轴向深度偏差σ_A：

首先，根据空间点P的真实深度信息d₀，查找二维数组A，找到与d₀在距离值上相同的曲线颜色C₁或者与d₀在距离值上最相近的两条曲线对应的颜色C₂和C₃；

其次，红外线与3D物体表面法线之间的夹角θ的轴向噪声偏差为σ_A，则此时对应轴向深度噪声曲线图的纹理坐标(u,v)的横坐标计算如下：

当d₀恰好找到相同距离的噪声曲线，结合曲线颜色为C₁和u的大小找到对应的纹理坐标的纵坐标值v；

当d₀找不到相同距离的噪声曲线时，结合找到的两条最相近曲线颜色C₂和C₃、这两条曲线对应的距离值为L₁和L₂，找到两条曲线上对应的横坐标为u的点的纵坐标分别设为h₁和h₂(h₁＜h₂)，则d₀对应的纹理纵坐标值可估算为：

最后，根据纹理坐标的纵坐标u值，计算得到轴向深度偏差值σ_A

9.如权利要求7所述一种参数可配置的深度相机仿真方法，其特征在于：径向深度偏差值σ_B具体获取过程如下：

首先，根据空间P的像素坐标(m,n)求取对应径向噪声分布图中的对应纹理坐标。设径向噪声分布图对应纹理坐标的左上角坐标和右下角坐标分别为(r₁,s₁)和(r₂,s₂)，则空间点P的像素坐标对应径向噪声分布图中的纹理坐标(p,q)有

其中，W_p和H_p由深度相机的分辨率得到，W_p代表屏幕宽，H_p代表屏幕高，单位都为像素数；

其次，根据空间点的像素坐标对应的径向噪声分布图中的纹理坐标(p,q)，直接读取该坐标处的颜色值C₄；

最后，根据C₄，检索颜色检索条中对应的纹理坐标值(i,j)以及颜色索引条的取值范围[w₁,w₂]，设颜色检索条的右上角右下角的二维纹理纵坐标分别为e₁和e₂，计算径向偏差值σ_B：