CN111010558B - 一种基于短视频图像的立木深度图生成方法 - Google Patents

Abstract

本发明公开了一种基于短视频图像的立木深度图生成方法，首先以待处理立木为中心，轻微移动拍摄装置拍摄小运动短视频；选取小运动短视频的首帧作为参考立木图像，利用Graph Cut立木分割算法对立木图像进行前后背景标注，得到立木分割图像；提取亚像素角点，得到特征点；跟踪匹配特征点剔除误差点后，利用光束法平差获得拍摄装置的参数，并对小运动短视频图像序列畸变矫正；再利用平面扫描法进行密集立体匹配，得到初始化的立木深度图；然后根据图像块之间的相似性，对立木深度图联合滤波，去除异常像素值，填充空洞，得到最终的立木深度图。该方法提高了立木场景深度信息获取的灵活性和便捷性，能有效节省数据采集和存储的开销。

Description

一种基于短视频图像的立木深度图生成方法

技术领域

本发明涉及立木图像处理技术领域，尤其涉及一种基于短视频图像的立木深度图生成方法。

背景技术

目前，获取场景中各点相对于拍摄装置的距离是计算机视觉系统的重要任务之一，深度图作为一种普遍的三维场景信息表示方式，直观上表征了二维图像中物体的深度信息，被广泛应用于农林业测量。立木深度图是指包含立木对象与深度信息的图像，立木结构特殊，生长环境复杂，使得深度图的获取方法在立木场景受到限制。

现有技术中拍摄立木图像所需深度相机设备昂贵、受环境光干扰大，后期处理周期长；从单张目标图像中获取深度线索生成深度图的这类方法，对于立木等非结构场景，立木图像深度线索不明确，且单张图像深度线索局限；基于视频图像的深度图生成方法，跟踪帧与帧之间的变化约束生成深度图，但都只是针对整体自然场景作深度估计，无法突出树木各部位的深度差异，且立木图像背景复杂特征点多，特征提取漏检率、匹配错误率较高；而深度学习方式通过大量的学习获取较为精准的深度图，但在立木深度图方面缺少大量的先验知识。

发明内容

本发明的目的是提供一种基于短视频图像的立木深度图生成方法，该方法提高了立木场景深度信息获取的灵活性和便捷性，能有效节省数据采集和存储的开销，解决了目前深度图生成算法在立木图像先验信息获取困难的问题。

本发明的目的是通过以下技术方案实现的：

一种基于短视频图像的立木深度图生成方法，所述方法包括：

步骤1、以待处理立木为中心，轻微移动拍摄装置拍摄小运动短视频；

步骤2、选取小运动短视频的首帧作为参考立木图像，利用Graph Cut立木分割算法对所述参考立木图像进行前后背景标注，得到立木分割图像；

步骤3、提取所述立木分割图像、立木图像的亚像素角点，得到特征点；

步骤4、然后跟踪匹配所述特征点剔除误差点后，利用光束法平差获得拍摄装置的参数，并根据所得到参数对小运动短视频图像序列畸变矫正；

步骤5、再利用平面扫描法进行密集立体匹配，得到初始化的立木深度图；

步骤6、然后根据图像块之间的相似性，对初始化的立木深度图联合滤波，去除异常像素值，填充空洞，去噪后得到最终的立木深度图。

由上述本发明提供的技术方案可以看出，上述方法提高了立木场景深度信息获取的灵活性和便捷性，能有效节省数据采集和存储的开销，解决了目前深度图生成算法在立木图像先验信息获取困难的问题，从而为立木可视化重建、立木因子测量等提供参考。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于短视频图像的立木深度图生成方法流程示意图；

图2为本发明实施例所述Graph Cut立木分割算法图像映射的s-t网络示意图；

图3为本发明所举实例光束法平差采用D-U径向畸变模型进行处理的示意图；

图4为本发明实施例所述平面扫描法的实施过程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的基于短视频图像的立木深度图生成方法流程示意图，所述方法包括：

步骤1、以待处理立木为中心，轻微移动拍摄装置拍摄小运动短视频；

在该步骤中，所选取的拍摄装置可以为智能手机等便携式设备，拍摄时间可以为1～2秒。

步骤2、选取小运动短视频的首帧作为参考立木图像，利用Graph Cut立木分割算法对所述参考立木图像进行前后背景标注，得到立木分割图像；

在该步骤中，具体采用Graph Cut立木分割算法进行多次图像前背景像素标记，完成感兴趣区内立木图像分割，如图2所示为本发明实施例所述Graph Cut立木分割算法图像映射的s-t网络示意图：s表示前景目标，t表示背景，将图像的最佳分割问题转化为求解能量函数最小化问题，即找出min-cut使能量最小化，并标记前景、背景像素，完成立木图像分割，得到立木分割图像。

步骤3、提取所述立木分割图像、立木图像的亚像素角点，得到特征点；

在该步骤中，具体过程为：

首先利用高斯模型构建角点的函数模型M，如下式1所示，对所述立木分割图像、立木图像分别进行亚像素角点检测：

其中，X＝(x，y)^T表示立木图像像素的位置；θ＝(A，B，σ，μ，ν)^T是立木图像中点的参数模型，A为背景强烈程度，B为亮区域中的强烈程度的峰值，(μ，ν)为亮区域中峰值所在的位置，σ为高斯模型方差；

然后最小化点与对应像素位置I(X)的强度误差E(θ)，获得峰值所在位置，即为亚像素角点的位置，E(θ)用如下公式表示为：

对于小运动短视频序列，由于视点的变化低，导致观察到的场景图像序列中的像素强度变化微小。因此，在获得特征点后，采用光流法进行特征点跟踪，每次跟踪都是前一帧和后一帧双向执行，以剔除大于0.1像素的双向误差的异常值特征点，从而得到最终的特征点。

步骤4、然后跟踪匹配所述特征点剔除误差点后，利用光束法平差获得拍摄装置的参数，并根据所得到参数对小运动短视频图像序列畸变矫正；

在该步骤中，具体采用基于D-U径向畸变模型的光束法平差逆深度参数化特征点，将畸变图像中的点直接映射到非畸变图像上，对小运动的视频图序更有效，使得小运动恢复结构(Small Structure from Motion，SSfM)算法具有更好的数值稳定性；

再最小化真实三维空间点在非畸变图像平面上的投影(非畸变图像上的像素点)和重投影(计算得到的非畸变图像上的像素点)的差值，采用最小二乘法迭代调整优化拍摄装置的参数。

举例来说，如图3所示为本发明所举实例光束法平差采用D-U径向畸变模型进行处理的示意图，参考图3：

假设主点与径向畸变中心等于图像中心，u_ij是第i帧的第j个特征点的畸变图像坐标，其非畸变图像坐标表示为

是D-U径向畸变函数，用公式(3)表示如下：

式中，f为焦距，k₁、k₂是两个畸变参数。

若参考立木图像为i＝0，使用其逆深度w_j将特征点u_0j映射到3D坐标X_j处，X_j可表示为：

再使用映射函数∏描述X_j在第i个平面上的投影，这些投影点的未畸变图像坐标可表示为f∏(X_j，r_i，t_i)，r_i∈R³，t_i∈R³表示参考帧与第i个帧图像的相对旋转和平移。

光束法平差的最终目标是最大限度地减少非参考立木图像中所有角点的重投影误差，确定三维空间点的位置和拍摄装置的参数。对于n帧，每帧含有m个特征点的光束法平差的目标函数可用公式(5)表示，式中X_j在图像中有投影时θ_ij＝1，否则θ_ij＝0。

步骤5、再利用平面扫描法进行密集立体匹配，得到初始化的立木深度图；

在该步骤中，由于小运动获取的短视频连续帧移动小、视场角变化小，因此拍摄装置的响应函数、光照强度和观察到的场景辐射度变化不大，可以合理假设捕获的图像序列的强度几乎不变。基于该假设，根据得到的内外参数用平面扫描法，通过映射图像到扫描平面并计算图像中的每个像素的强度一致性，对立木图像的特征点进行立体匹配，得到初始化的立木深度图，如图4所示为本发明实施例所述平面扫描法的实施过程示意图，参考图4：

所述平面扫描法将深度范围划分为多个虚拟平面，若虚拟平面足够密集，空间被分割的足够细，则空间中立木上的一点M必定位于虚拟平面中的其中一个平面上；

同时，所有可观测到点M的视点，观察点M的信息必然一致；若点N与M在同一个平面上，点N可从所有视点被观测到，但观测到的并不是同样的颜色，则点N即在错误的扫描深度。

举例来说，对于n_k个扫描深度的第k个深度，通过从参考视点给定逆深度w_k，将所有图像反向投影到虚拟平面，利用平面与图像对应点的关系，采用单位矩阵H∈R^3×3表示平面上一点在参考图像与非参考图像的投影点的对应关系，在第k次扫描深度通过虚拟平面时，单位矩阵可表示为：

{t_i，1，t_i，2，t_i，3}是t_i的元素，

(p_u，p_v)是图像中心的主点坐标。

I_ik是根据第k个扫描深度映射的第i个图像，使用单位矩阵将第i个非畸变图像

映射到参考图像域中去，可描述为：

本实施例采用图像之间的强度差作为一致性指标，在映射n张图像之后，参考图像域中的每个像素u具有针对候选逆深度的强度分布P(u，w_k)＝[I_0k(u)，...，I_(n-1)k(u)]，则像素u和候选深度w_k的匹配代价函数C可由式(8)表示，得到代价函数后只需计算各点强度差最小值，即可得到所求的深度：

C(u，w_k)＝Var(P(u，w_k)) (8)

步骤6、然后根据图像块之间的相似性，对初始化的立木深度图联合滤波，去除异常像素值，填充空洞，去噪后得到最终的立木深度图。

在该步骤中，尽管上述步骤5得到的初始化立木深度图给出了合理的深度图估计，但因受噪声点的影响，立木深度图区域中某些像素点不能获取正确的成本最小值，产生异常像素值，故可以根据图像块之间的相似性，对初始化的立木深度图联合滤波，去除异常像素值，填充空洞，去噪后得到最终的立木深度图。

进一步的，为验证上述方法的有效性，使用智能手机作为拍摄装置采集1～2秒小运动的立木短视频图像进行试验，生成的立木深度图在主观效果上有显著提升。在深度图像数据库NYU depth v2进行验证，平均结构相似性为0.8，相对误差为0.34，实验结果表明：自然环境下利用该方法可有效生成精细的立木深度图，不需要深度相机、相机标定以及大量RGB图像、深度图的训练，能有效节省数据采集和存储的开销，研究结果可为立木可视化重建、立木因子测量等提供参考。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本发明实施例所述方法考虑到立木的结构特点，分别提取立木图像、立木分割图像的特征点，降低弱纹理区的漏检率，获取更多的立木特征点，降低了单次检测的误差率，提高了方法的稳定性；小运动恢复结构算法估计相机参数，自适应立木场景，提高了方法的普适性，无需提前相机标定；平面扫面法进行密集立体匹配，很好的保留了立木的细节，使得生成的深度图中的立木结构与真实场景更接近。

同时，本发明不需要使用昂贵的深度相机设备，不需要提供大量的RGB图像、立木深度图像等数据训练，只需要拍摄立木图像的一段小运动短视频即可生成深度图，提高立木场景深度信息获取的灵活性和便捷性，能有效节省数据采集和存储的开销，解决了目前深度图生成算法在立木图像先验信息获取困难等问题，可为立木可视化重建、立木因子测量等提供参考。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于短视频图像的立木深度图生成方法，其特征在于，所述方法包括：

步骤1、以待处理立木为中心，轻微移动拍摄装置拍摄小运动短视频；

步骤2、选取小运动短视频的首帧作为参考立木图像，利用Graph Cut立木分割算法对所述参考立木图像进行前后背景标注，得到立木分割图像；

步骤3、提取所述立木分割图像、立木图像的亚像素角点，得到特征点；

其中，所述步骤3的过程具体为：

利用高斯模型构建角点的函数模型M，如下式1所示，对所述立木分割图像、立木图像分别进行亚像素角点检测：

其中，X＝(x,y)^T表示立木图像像素的位置；θ＝(A,B,σ,μ,ν)^T是立木图像中点的参数模型，A为背景强烈程度，B为亮区域中的强烈程度的峰值，(μ,ν)为亮区域中峰值所在的位置，σ为高斯模型方差；

然后最小化点与对应像素位置I(X)的强度误差E(θ)，获得峰值所在位置，即为亚像素角点的位置，E(θ)用如下公式表示为：

在获得特征点后，采用光流法进行特征点跟踪，每次跟踪都是前一帧和后一帧双向执行，以剔除大于0.1像素的双向误差的异常值特征点，从而得到最终的特征点；

步骤4、然后跟踪匹配所述特征点剔除误差点后，利用光束法平差获得拍摄装置的参数，并根据所得到参数对小运动短视频图像序列畸变矫正；

步骤5、再利用平面扫描法进行密集立体匹配，得到初始化的立木深度图；

步骤6、然后根据图像块之间的相似性，对初始化的立木深度图联合滤波，去除异常像素值，填充空洞，去噪后得到最终的立木深度图。

2.根据权利要求1所述基于短视频图像的立木深度图生成方法，其特征在于，在步骤4中，具体采用基于D-U径向畸变模型的光束法平差逆深度参数化特征点，将畸变图像中的点直接映射到非畸变图像上；

然后最小化真实三维空间点在非畸变图像平面上的投影和重投影的差值，采用最小二乘法迭代调整优化拍摄装置的参数。

3.根据权利要求1所述基于短视频图像的立木深度图生成方法，其特征在于，在所述步骤5中，所述平面扫描法的过程具体为：

所述平面扫描法将深度范围划分为多个虚拟平面，则空间中立木上一点M必定位于虚拟平面中的其中一个平面上；

同时，所有可观测到点M的视点，观察点M的信息必然一致；若点N与M在同一个平面上，点N可从所有视点被观测到，但观测到的并不是同样的颜色，则点N即在错误的扫描深度。

Images