CN114935316B - 基于光学跟踪与单目视觉的标准深度图像生成方法 - Google Patents

Abstract

基于光学跟踪与单目视觉的标准深度图像生成方法属于计算机视觉成像技术领域，目的在于解决现有技术中存在的深度相机在狭小场景内难以获取深度信息的局限性的问题。本发明包括以下步骤：构建测量装置，所述测量装置包括光学跟踪系统、带有四个标记求的单目相机以及标定板，标定板坐标系原点设为O_A，单目相机的光心O_B设为相机坐标系原点，标记球坐标系设为O_C，光学跟踪系统坐标系设为O_D；计算得到测量装置中所有坐标系之间的转换关系；改变单目相机视点进行三角测量，并计算改变单目相机视点前后每一个特征点的深度值，得到初始深度图像；对初始深度图像的弱纹理区域进行深度补全，获得补全后的标准深度图像。

Description

基于光学跟踪与单目视觉的标准深度图像生成方法

技术领域

本发明属于计算机视觉成像技术领域，具体涉及一种基于光学跟踪与单目视觉的标准深度图像生成方法。

背景技术

目前深度信息最直接的获取来源为深度相机，通过简单拍摄即可获得对应场景的深度图。深度相机受到使用场景的限制，在相对狭窄的空间里很难发挥作用。深度学习领域，有研究者使用神经网络来估计图像深度，用作训练方向的深度图却通过图像合成的方式生成，这样的数据并不能作为标准深度图像来使用。

现有的测量方法，不论是通过深度相机直接获取场景深度还是通过双目相机进行测量的办法，在极为狭小的空间内都很难发挥作用。使用深度相机的方法方法会受到使用场景的限制。当获取深度图的场景狭小且亮度变化不明显时，深度相机就很难完成深度图获取的任务。

发明内容

本发明的目的在于提出一种基于光学跟踪与单目视觉的标准深度图像生成方法，解决现有技术中存在的深度相机在狭小场景内难以获取深度信息的局限性的问题，使用基于单目相机和光学跟踪系统的测量方法来突破狭小环境带来的局限性。在不影响深度图生成质量的情况下，完成狭小场景内的标准深度图像生成任务。

为实现上述目的，本发明的基于光学跟踪与单目视觉的标准深度图像生成方法包括以下步骤：

步骤一：构建测量装置，所述测量装置包括光学跟踪系统、带有四个标记求的单目相机以及标定板，标定板坐标系原点设为O_A，单目相机的光心O_B设为相机坐标系原点，标记球坐标系设为O_C，光学跟踪系统坐标系设为O_D；

步骤二：计算得到步骤一中的测量装置中所有坐标系之间的转换关系；

步骤三：改变步骤一中单目相机视点进行三角测量，并计算改变单目相机视点前后每一个特征点的深度值，得到初始深度图像；

步骤四：对步骤三中获得的初始深度图像的弱纹理区域进行深度补全，获得补全后的标准深度图像。

步骤二中所述的计算得到所有坐标系之间的转换关系具体为：

将光学跟踪坐标系设置为世界坐标系，在时刻k，标记球相对于世界坐标系的位姿为M_k，通过光学跟踪系统直接获得；

相机坐标系相对于标定板坐标系的位姿为N_k，通过相机标定直接获得；

将标记球坐标系与相机坐标系之间的转换矩阵记为X，则有：

M_kX＝N_k (1)

同样的在k+1时刻有：

M_k+1X＝N_k+1 (2)

那么：

最终求解方程为：

MX＝XN (4)

其中：

拍摄十组图片组成线性方程组来求解得到X矩阵。

步骤三中所述的每一个特征点的深度值的计算过程为：

第一视点相机光心设为O_E，转换后的第二视点相机光心设为O_F；两个视点间坐标系的变换矩阵为T_EF，所述T_EF包括旋转矩阵R_EF和平移向量t_EF；

在第一视点拍摄图像I_E中存在特征点p_e，对应第二视点拍摄图像I_F中的特征点p_f；O_Ep_e与O_Fp_f交于一个相同的空间点P，按照极平面的定义，设特征点p_e与p_f的归一化坐标分别为x_e和x_f；则它们满足：

s_fx_f＝s_eR_EFx_e+t_EF (6)

其中：s_e为第一视点拍摄图像I_E中特征点p_e深度；

s_f为第二视点拍摄图像I_F中特征点p_f深度；

求解s_e，将公式(6)等式两端乘特征点归一化坐标的反对称矩阵x_f^，变为如下形式：

s_fx_f^x_f＝0＝s_ex_f^R_EFx_e+x_f^t_EF (7)

将得到的s_e代入公式(6)求解s_f。

步骤三中三角测量过程中还包括解决累计漂移问题，具体为：

采用局部光束平差的方法调整单目相机的位姿，使两个特征点s_e和s_f来自于同一个空间点P的投影；其中u_i为空间点投影的像素坐标，K为单目相机内参，s_i为像素坐标与图像坐标系之间的缩放比例，像素u_i位置与空间点P位置关系为：

s_iu_i＝KT_EFP_i (8)

其中：P_i为3D点的空间坐标；

将各个特征点的误差构成一个最小二乘问题，根据公式(9)实时更新最优的相机位姿，使误差最小化：

其中：P_i为3D点的空间坐标；

T_EF ^*代表更新优化后的变换矩阵。

步骤四中所述的对步骤三中获得的初始深度图像的弱纹理区域进行深度补全具体为：

1)采用亮度一致性分割的方法将拍摄的原始图像中的弱纹理区域分割出来，弱纹理区域满足条件：弱纹理处视差的连续性，弱纹理区域中必定会存在一些可见纹理，弱纹理区域所表示的表面能用一个平面来近似；

2)每个像素点用一个五维向量表示，前两维表示像素点坐标，后三维为像素点的颜色分量；从颜色分布最密集的地方开始，借助一个滑动窗口将像素点归类并统一像素值，滑动窗口中包含了滑动区间和区间内像素点归类的标准；

3)对原始图像基于颜色的亮度一致性分割，分割成多个小块，将初步分割的每一个小块设为S_i，将每一小块内的视差联通块设为S_ik，根据假设每个块都可以近似成一个平面，寻找各个S_i块中的最优视差平面；

4)选择使能量方程最小化的最优视差平面作为最佳拟合平面，将弱纹理区域内的视差全部替换为最佳拟合平面所对应的视差；根据深度与视差的关系，将视差补全后的图像转换为密集深度图，作为标准深度图像。

本发明的有益效果为：本发明使用小体积单目相机来代替大型深度相机，解决狭小场景带来的局限性，与大场景使用的深度相机相比，大幅度降低了使用成本。单目相机在体积上能适用于更多的场景，使深度图测量任务不再受到场景的限制。在测量中通过改变单目相机视点的方法来模拟双目相机成像，使用三角测量方法计算每一个特征点的深度值。本发明使用局部光束平差方法来解决累积漂移问题。完成上述步骤后，对弱纹理区域进行深度补全，本发明采用亮度一致性分割的方法将稀疏深度图分块，在分割出的每个子块中对特征点缺失的区域进行深度值填充。最终得到高质量深度图。由本申请获得的标准深度图像，可用于判断基于深度学习的图像深度估计算法的精度。

附图说明

图1为本发明的基于光学跟踪与单目视觉的标准深度图像生成方法构建的测量装置结构示意图；

图2为本发明的基于光学跟踪与单目视觉的标准深度图像生成方法中三角测量示意图；

其中：1、光学跟踪系统，2、单目相机，3、标记球，4、标定板。

具体实施方式

下面结合附图对本发明的实施方式作进一步说明。

参见附图1和附图2，本发明的基于光学跟踪与单目视觉的标准深度图像生成方法包括以下步骤：

步骤一：构建测量装置，所述测量装置包括光学跟踪系统1、带有四个标记求的单目相机2以及标定板4，标定板4坐标系原点设为O_A，单目相机2的光心O_B设为相机坐标系原点，标记球3坐标系设为O_C，光学跟踪系统1坐标系设为O_D；

步骤二：计算得到步骤一中的测量装置中所有坐标系之间的转换关系；

步骤三：改变步骤一中单目相机2视点进行三角测量，并计算改变单目相机2视点前后每一个特征点的深度值，得到初始深度图像；视点的改变依靠人的移动，拍摄角度发生变化时视为视点的变化，改变后两个视点之间依然满足对极几何的原理；相机改变位置后，对两幅视图中的每一个特征点进行三角测量，进而得出每一个特征点的深度值；

步骤四：对步骤三中获得的初始深度图像的弱纹理区域进行深度补全，获得补全后的标准深度图像。

步骤二中所述的计算得到所有坐标系之间的转换关系具体为：

将光学跟踪坐标系设置为世界坐标系，在时刻k，标记球3相对于世界坐标系的位姿为M_k，通过光学跟踪系统1直接获得；

相机坐标系相对于标定板4坐标系的位姿为N_k，通过相机标定直接获得；

将标记球3坐标系与相机坐标系之间的转换矩阵记为X，则有：

M_kX＝N_k (1)

同样的在k+1时刻有：

M_k+1X＝N_k+1 (2)

那么：

最终求解方程为：

MX＝XN (4)

其中：

由于标定的结果每一次都不同，所以拍摄十组图片组成线性方程组来求解得到X矩阵。

步骤三中所述的每一个特征点的深度值的计算过程为：

第一视点相机光心设为O_E，转换后的第二视点相机光心设为O_F；两个视点间坐标系的变换矩阵为T_EF，所述T_EF包括旋转矩阵R_EF和平移向量t_EF；

在第一视点拍摄图像I_E中存在特征点p_e，对应第二视点拍摄图像I_F中的特征点p_f；O_Ep_e与O_Fp_f交于一个相同的空间点P，按照极平面的定义，设特征点p_e与p_f的归一化坐标分别为x_e和x_f；则它们满足：

s_fx_f＝s_eR_EFx_e+t_EF (6)

其中：s_e为第一视点拍摄图像I_E中特征点p_e深度；

s_f为第二视点拍摄图像I_F中特征点p_f深度；

空间中同一个3D点投影在两个视点相机的成像平面上，R_EF和t_EF分别表示两幅图像中同一个像素点的转换关系；t_EF通过传感器直接测量获得，R_EF需要借助相机标定时的内参计算得到；

求解s_e，将公式(6)等式两端乘特征点归一化坐标的反对称矩阵x_f^，变为如下形式：

s_fx_f^x_f＝0＝s_ex_f^R_EFx_e+x_f^t_EF (7)

将得到的s_e代入公式(6)求解s_f。

深度与视差的关系为无论是需要深度图或者是后面对视差图进行视差补全是通过简单的转换即可。

步骤三中三角测量过程中还包括解决累计漂移问题，具体为：

采用局部光束平差的方法调整单目相机2的位姿，使两个特征点s_e和s_f来自于同一个空间点P的投影；其中u_i为空间点投影的像素坐标，K为单目相机2内参，s_i为像素坐标与图像坐标系之间的缩放比例，像素u_i位置与空间点P位置关系为：

s_iu_i＝KT_EFP_i (8)

其中：P_i就是3D点的空间坐标，这个公式实质反映了空间3D点和成像平面像素点之间的转换关系。

将各个特征点的误差构成一个最小二乘问题，根据公式(9)实时更新最优的相机位姿，使误差最小化：

其中：T_EF ^*代表更新优化后的变换矩阵(里面包括优化后的旋转和平移)Pi这里依然代表特征点的3D坐标

Pi就是3D点的空间坐标，这个公式实质反映了空间3D点和成像平面像素点之间的转换关系。

累计漂移是由于视觉里程计只估计两个图像间的运动造成的，每次估计都会带来一定的误差，这种误差会传递到下一时刻。在测量过程中由于相机位姿未知以及观测点的噪声，因此把特征点误差求和构建最小二乘问题，寻找最好的相机位姿，使公式(9)最小化，方程中的误差项是将像素坐标与3D点按照当前估计的位姿进行投影得到的位置相比较得到的误差。

步骤四中所述的对步骤三中获得的初始深度图像的弱纹理区域进行深度补全具体为：

1)采用亮度一致性分割的方法将拍摄的原始图像中的弱纹理区域分割出来，弱纹理区域满足条件：弱纹理处视差的连续性，弱纹理区域中必定会存在一些可见纹理，弱纹理区域所表示的表面能用一个平面来近似；弱纹理区域是亮度变化不明显的区域，特征稀疏的区域；

2)每个像素点用一个五维向量表示，前两维表示像素点坐标，后三维为像素点的颜色分量；从颜色分布最密集的地方开始，借助一个滑动窗口将像素点归类并统一像素值，滑动窗口中包含了滑动区间和区间内像素点归类的标准；设定的滑动窗口用来覆盖拍摄的原始图像，用第一视点中覆盖区域中像素值的灰度值减去第二视点中像素值的灰度值，像素值归类是看视差值的大小判断当前区域为前景区域还是背景区域；

3)对原始图像基于颜色的亮度一致性分割，分割成多个小块，将初步分割的每一个小块设为S_i，将每一小块内的视差联通块设为S_ik，根据假设每个块都可以近似成一个平面，寻找各个S_i块中的最优视差平面；视差联通块可以称为视差联通区域，代表这一部分中视差时连续的，不间断的；在优化之前，按照颜色分类对初始图像进行亮度一致性分割，在这个分割算法中会为分割面积设置一个阈值100，面积小于100会舍弃掉该块；能量方程将每一个视差联通块S_ik内使能量方程最小的区域定义为该区域的最优视差平面；

4)选择使能量方程最小化的最优视差平面作为最佳拟合平面，将弱纹理区域内的视差全部替换为最佳拟合平面所对应的视差；根据深度与视差的关系，将视差补全后的图像转换为密集深度图，作为标准深度图像；能量方程中第一项是视差为D时所有像素匹配代价之和，第二项表示对像素点p的邻域中的所有像素q增加一个惩罚常数p1，第三项增加一个惩罚常数p2。P1是为了适应倾斜或弯曲的表面，p2是为了保留不连续性。深度与视差的关系为其中，深B为基线距离，f为焦距，d为两帧图像之间的视差值。

Claims (4)

1.基于光学跟踪与单目视觉的标准深度图像生成方法，其特征在于，包括以下步骤：

步骤一：构建测量装置，所述测量装置包括光学跟踪系统(1)、带有四个标记求的单目相机(2)以及标定板(4)，标定板(4)坐标系原点设为O_A，单目相机(2)的光心O_B设为相机坐标系原点，标记球(3)坐标系设为O_C，光学跟踪系统(1)坐标系设为O_D；

步骤二：计算得到步骤一中的测量装置中所有坐标系之间的转换关系；

步骤三:改变步骤一中单目相机(2)视点进行三角测量，并计算改变单目相机(2)视点前后每一个特征点的深度值，得到初始深度图像；

步骤四：对步骤三中获得的初始深度图像的弱纹理区域进行深度补全，获得补全后的标准深度图像；

步骤三中三角测量过程中还包括解决累计漂移问题，具体为：

采用局部光束平差的方法调整单目相机(2)的位姿，使两个特征点s_e和s_f来自于同一个空间点P的投影；其中u_i为空间点投影的像素坐标，K为单目相机(2)内参，s_i为像素坐标与图像坐标系之间的缩放比例，像素u_i位置与空间点P位置关系为：

s_iu_i＝KT_EFP_i (8)

其中：P_i为3D点的空间坐标；

第一视点相机光心设为O_E，转换后的第二视点相机光心设为O_F；两个视点间坐标系的变换矩阵为T_EF；

将各个特征点的误差构成一个最小二乘问题，根据公式(9)实时更新最优的相机位姿，使误差最小化：

其中：P_i为3D点的空间坐标；

T_EF ^*代表更新优化后的变换矩阵。

2.根据权利要求1所述的基于光学跟踪与单目视觉的标准深度图像生成方法，其特征在于，步骤二中所述的计算得到所有坐标系之间的转换关系具体为：

将光学跟踪坐标系设置为世界坐标系，在时刻k，标记球(3)相对于世界坐标系的位姿为M_k，通过光学跟踪系统(1)直接获得；

相机坐标系相对于标定板(4)坐标系的位姿为N_k，通过相机标定直接获得；

将标记球(3)坐标系与相机坐标系之间的转换矩阵记为X，则有：

M_kX＝N_k (1)

同样的在k+1时刻有：

M_k+1X＝N_k+1 (2)

那么：

最终求解方程为：

MX＝XN (4)

其中：

拍摄十组图片组成线性方程组来求解得到X矩阵。

3.根据权利要求1或2所述的基于光学跟踪与单目视觉的标准深度图像生成方法，其特征在于，步骤三中所述的每一个特征点的深度值的计算过程为：

第一视点相机光心设为O_E，转换后的第二视点相机光心设为O_F；两个视点间坐标系的变换矩阵为T_EF，所述T_EF包括旋转矩阵R_EF和平移向量t_EF；

在第一视点拍摄图像I_E中存在特征点p_e，对应第二视点拍摄图像I_F中的特征点p_f；O_Ep_e与O_Fp_f交于一个相同的空间点P，按照极平面的定义，设特征点p_e与p_f的归一化坐标分别为x_e和x_f；则它们满足：

s_fx_f＝s_rR_EFx_e+t_EF (6)

其中：s_e为第一视点拍摄图像I_E中特征点p_e深度；

s_f为第二视点拍摄图像I_F中特征点p_f深度；

求解s_e，将公式(6)等式两端乘特征点归一化坐标的反对称矩阵变为如下形式：

将得到的s_e代入公式(6)求解s_f。

4.根据权利要求1所述的基于光学跟踪与单目视觉的标准深度图像生成方法，其特征在于，步骤四中所述的对步骤三中获得的初始深度图像的弱纹理区域进行深度补全具体为：

1)采用亮度一致性分割的方法将拍摄的原始图像中的弱纹理区域分割出来，弱纹理区域满足条件：弱纹理处视差的连续性，弱纹理区域中必定会存在一些可见纹理，弱纹理区域所表示的表面能用一个平面来近似；

2)每个像素点用一个五维向量表示，前两维表示像素点坐标，后三维为像素点的颜色分量；从颜色分布最密集的地方开始，借助一个滑动窗口将像素点归类并统一像素值，滑动窗口中包含了滑动区间和区间内像素点归类的标准；

3)对原始图像基于颜色的亮度一致性分割，分割成多个小块，将初步分割的每一个小块设为S_i，将每一小块内的视差联通块设为S_ik，根据假设每个块都可以近似成一个平面，寻找各个S_i块中的最优视差平面；

4)选择使能量方程最小化的最优视差平面作为最佳拟合平面，将弱纹理区域内的视差全部替换为最佳拟合平面所对应的视差；根据深度与视差的关系，将视差补全后的图像转换为密集深度图，作为标准深度图像。