CN115239912A - 一种基于视频图像的三维里面重建的方法 - Google Patents

Abstract

本发明公开了一种基于视频图像的三维里面重建的方法，包括S1、利用ORB算法对视频图像中的关键帧进行自适应提取，并收集至关键帧集；S2、利用ACTS2.0软件求解摄像机参数，并恢复所述关键帧集中的每一帧的深度图像。本发明通过重投影深度误差投机剔除非关键三维点和重复冗余的三维点后，再利用三维点云建立场景几何模型，通过关键帧的提取、剔除非关键三维点和重复冗余的三维点，实现了需要处理的数据量相对于原始视频数据极大缩减，对视频图像中的非关键因素进行多级分筛后，可快速进行高精度三维模型的重建和量测分析，使得三维重建工作做到高精度和高效率。

Description

一种基于视频图像的三维里面重建的方法

技术领域

本发明涉及三维重建技术领域，具体为一种基于视频图像的三维里面重建的方法。

背景技术

三维重建是指利用数字图像序列和视频等多媒体信息来方便有效地获取场景物体三维几何模型的智能化技术方法，而三维重建一直是计算机视觉、图形学、医学及信息科学等领域研究的热点，如在视觉方面的人工智能、无人驾驶、虚拟现实。随着技术快速发展，采用基于不同视角的二维图像进行三维重建的方法凭借其设备成本低、条件约束少和建模精度高等优势迅速成为一个热点研究方向

现有技术中，如中国专利号为：CN 108320330 A的“基于深度视频流的实时三维模型重建方法及系统”，包括：搭建拍摄设备；利用拍摄设备采集深度信息和颜色信息，对深度信息和颜色信息进行畸变校正处理；将深度信息和畸变校正处理后的畸变信息进行特征匹配，并进行空间匹配处理，将每个拍摄设备拍摄的深度图像信息融合为一个点云模型，将每个拍摄设备的时间戳同步的图像进行特征匹配和裁剪；对点云信息进行三角面计算处理和优化处理，生成带时间标签的信息组；三维重建计算机获取信息组，对多个拍摄设备发送的模型信息进行时间匹配和融合，实现三维重建并根据标定参数进行调整和显示。此方法采用深度与颜色相统一，重采样减帧和三角面优化的方式来减少三维重建的耗时。

但现有技术在实际应用时，重采样减帧和三角面优化均无法去除多帧深度图之间的重复冗余信息，又因图像深度区分的不确定性和多帧图像之间的深度信息变动，而导致所构建的三维模型具有较多的复杂错面结构，使得重建后的三维模型数据量剧增，不仅无法获取高精度的三维模型，还会严重降低三维重建效率。

所以我们提出了一种基于视频图像的三维里面重建的方法，以便于解决上述中提出的问题。

发明内容

本发明的目的在于提供一种基于视频图像的三维里面重建的方法，以解决上述背景技术提出的重采样减帧和三角面优化均无法去除多帧深度图之间的重复冗余信息，又因图像深度区分的不确定性和多帧图像之间的深度信息变动，而导致所构建的三维模型具有较多的复杂错面结构，使得重建后的三维模型数据量剧增，不仅无法获取高精度的三维模型，还会严重降低三维重建效率的问题。本方法通过关键帧的提取、剔除非关键三维点和重复冗余的三维点，实现了需要处理的数据量相对于原始视频数据极大缩减，对视频图像中的非关键因素进行多级分筛后，可快速进行高精度三维模型的重建和量测分析，使得三维重建工作做到高精度和高效率。

为实现上述目的，本发明提供如下技术方案：一种基于视频图像的三维里面重建的方法，包括以下步骤：

S1、利用ORB算法对视频图像中的关键帧进行自适应提取，并收集至关键帧集；

S2、利用ACTS2.0软件求解摄像机参数，并恢复所述关键帧集中的每一帧的深度图像；

S3、对每个所述关键帧进行采样和反投影，以获得每帧所对应的三维点集，并通过重投影深度误差投机剔除非关键三维点，获得关键三维点集；

S4、将多个所述关键帧所对应的关键三维点集合并成场景整体的三维点云；

S5、剔除所述三维点云中重复冗余的三维点，获得成型三维点云；

S6、利用所述成型三维点云提取完整的场景几何模型。

优选的，在步骤S1中，所述利用ORB算法对视频图像中的关键帧进行自适应提取包括以下步骤：

S10、通过摄像机参数、视频分辨率a、拍摄间距b和位移速度c计算提取关键帧的初始采样视频帧间隔N₀，计算公式如下:

其中，j为摄像机焦距，t为视频流帧间固定时间间隔，D为影像重叠度；

S11、从第0帧开始，根据初始采样视频帧间隔N₀提取第x帧关键帧影像，并计算两帧影像的重叠度P，计算公式如下：

其中，d_qw是第q帧图像与第w帧图像特征点匹配对数，n_q和n_w分别是帧图像q和w的特征点数目；

S12、进行重叠度P判断，当0.55≤P≤0.75时，则提取关键帧的间隔N为N₀；若P无法满足0.55≤P≤0.75时，则将重新计算提取关键帧的间隔N，计算公式如下：

S13、根据所获得的提取关键帧的间隔N，对视频中的关键帧逐一收集至所述关键帧集中。

优选的，在步骤S3中，所述获取关键三维点集包括以下步骤：

S30、从深度图D_t中随机选取某个像素点V_t作为二维采样点，依据其深度值进行反投影，以求解其相应的三维点坐标M(V_t)；

S31、根据M(V_t)的深度法向计算其切平面M(V_t),以V_t为中心迭代向外膨胀，每次迭代膨胀1个像素宽度,对于膨胀领域中的每个像素点V_t ^/，求出其M(V_t ^/)；

S32、判断膨胀像素点M(V_t ^/)是否为非关键三维点。

优选的，在步骤S4中，所述合并场景整体的三维点云包括以下步骤：

S40、对所述关键三维点集中的三维采样点计算深度置信度，并通过置信度排序来实现多帧三维采样点的无重复融合；

S41、依照置信度由高到低的顺序对每帧的三维点集合进行单独排序，

形成g个有序的三维点云队列；

S42、将多帧的三维点云融合成场景整体的三维点云集合。

优选的，在步骤S5中，所述剔除所述三维点云中重复冗余的三维点，包括以下步骤：

S50、将以点Z_t中心半径为r的窗口区域投影至帧t⁰；

S51、对于投影区域的每个二维采样点

判断Z_t和

深度是否一致，若一致，则将

从所述成型三维点云移除。

优选的，在步骤S6中，所述利用所述成型三维点云提取完整的场景几何模型包括以下步骤：

S60、利用所述成型三维点云，使用Poisson表面重建法提取封闭结构的三维几何模型；

S61、剔除所述三维几何模型中边长

的三角面片，所述

为平均边长，获得完整的三维场景模型。

优选的，步骤S30中，所述三维点坐标M(V_t)的计算公式如下：

其中，K_t为摄像机内参，L_t为平移向量。

优选的，步骤S32中，若M(V_t ^/)到切平面的距离小于阈值U，则认为点M(V_t ^/)与M(V_t)处于同一平面上,并将点标记为非关键三维点；反之，则将M(V_t)加入所述关键三维点集。

与现有技术相比，本发明的有益效果是：

本方法首先在获取的视频图像中利用ORB算法对视频图像中的关键帧自动提取，再根据提取的关键帧时间信息对视频进行关键帧图像提取，接着将关键帧图像进行深度图分析，对每个所述关键深度图表进行采样和反投影，以获得每帧所对应的三维点集，并通过重投影深度误差投机剔除非关键三维点和重复冗余的三维点后，再利用三维点云建立场景几何模型，通过关键帧的提取、剔除非关键三维点和重复冗余的三维点，实现了需要处理的数据量相对于原始视频数据极大缩减，对视频图像中的非关键因素进行多级分筛后，可快速进行高精度三维模型的重建和量测分析，使得三维重建工作做到高精度和高效率。

附图说明

图1为本发明一种基于视频图像的三维里面重建的方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施条例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于视频图像的三维里面重建的方法，包括以下步骤：

步骤一、利用ORB算法对视频图像中的关键帧进行自适应提取，并收集至关键帧集；其中，关键帧是视频流序列影像中能表示场景主要内容的图像帧，既能保证帧间重叠又能体现场景信息，通过其减小图像处理的计算量，同时又可以从中提取可代表视频整体特征的图像特征。包括以下步骤：

10)通过摄像机参数、视频分辨率a、拍摄间距b和位移速度c计算提取关键帧的初始采样视频帧间隔N₀，计算公式如下:

其中，j为摄像机焦距，t为视频流帧间固定时间间隔，D为影像重叠度；

11)从第0帧开始，根据初始采样视频帧间隔N₀提取第x帧关键帧影像，并计算两帧影像的重叠度P，计算公式如下：

其中，d_qw是第q帧图像与第w帧图像特征点匹配对数，n_q和n_w分别是帧图像q和w的特征点数目；

12)进行重叠度P判断，当0.55≤P≤0.75时，则提取关键帧的间隔N为N₀；若P无法满足0.55≤P≤0.75时，则将重新计算提取关键帧的间隔N，计算公式如下：

13)根据所获得的提取关键帧的间隔N，对视频中的关键帧逐一收集至所述关键帧集中。

步骤二、利用ACTS2.0软件求解摄像机参数，并恢复所述关键帧集中的每一帧的深度图像；

步骤三、对每个所述关键帧进行采样和反投影，以获得每帧所对应的三维点集，并通过重投影深度误差投机剔除非关键三维点，获得关键三维点集。包括以下步骤：

30)从深度图D_t中随机选取某个像素点V_t作为二维采样点，依据其深度值进行反投影，以求解其相应的三维点坐标M(V_t)，所述三维点坐标M(V_t)的计算公式如下：

其中，K_t为摄像机内参，L_t为平移向量；

31)根据M(V_t)的深度法向计算其切平面M(V_t),以V_t为中心迭代向外膨胀，每次迭代膨胀1个像素宽度,对于膨胀领域中的每个像素点V_t ^/，求出其M(V_t ^/)；

32)判断膨胀像素点M(V_t ^/)是否为非关键三维点。若M(V_t ^/)到切平面的距离小于阈值U，则认为点M(V_t ^/)与M(V_t)处于同一平面上,并将点标记为非关键三维点；反之，则将M(V_t)加入所述关键三维点集。

步骤四、将多个所述关键帧所对应的关键三维点集合并成场景整体的三维点云；包括以下步骤：

40)对所述关键三维点集中的三维采样点计算深度置信度，并通过置信度排序来实现多帧三维采样点的无重复融合；

41)依照置信度由高到低的顺序对每帧的三维点集合进行单独排序，形成g个有序的三维点云队列，将每个点云队列中的三维点按顺序存储至一个独立的文件中,从而创建g个独立的点云文件；

42)打开这g个点云文件,并从这g个文件中读取第一个三维点来创建最大堆，同时文件指针指向下一个三维点数据的位置，将多帧的三维点云融合成场景整体的三维点云集合。

步骤五、剔除所述三维点云中重复冗余的三维点，获得成型三维点云；包括以下步骤：

50)将以点Z_t中心半径为r的窗口区域投影至帧t⁰；

51)对于投影区域的每个二维采样点

判断Z_t和

深度是否一致，若一致，则将

从所述成型三维点云移除。

步骤六、利用所述成型三维点云提取完整的场景几何模型。包括以下步骤：

60)利用所述成型三维点云，使用Poisson表面重建法提取封闭结构的三维几何模型；

61)剔除所述三维几何模型中边长

的三角面片，所述

为平均边长，获得完整的三维场景模型。

本方法首先在获取的视频图像中利用ORB算法对视频图像中的关键帧自动提取，再根据提取的关键帧时间信息对视频进行关键帧图像提取，接着将关键帧图像进行深度图分析，对每个所述关键深度图表进行采样和反投影，以获得每帧所对应的三维点集，并通过重投影深度误差投机剔除非关键三维点和重复冗余的三维点后，再利用三维点云建立场景几何模型。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视频图像的三维里面重建的方法，其特征在于，包括以下步骤：

S1、利用ORB算法对视频图像中的关键帧进行自适应提取，并收集至关键帧集；

S2、利用ACTS2.0软件求解摄像机参数，并恢复所述关键帧集中的每一帧的深度图像；

S3、对每个所述关键帧进行采样和反投影，以获得每帧所对应的三维点集，并通过重投影深度误差投机剔除非关键三维点，获得关键三维点集；

S4、将多个所述关键帧所对应的关键三维点集合并成场景整体的三维点云；

S5、剔除所述三维点云中重复冗余的三维点，获得成型三维点云；

S6、利用所述成型三维点云提取完整的场景几何模型。

2.根据权利要求1所述的基于视频图像的三维里面重建的方法，其特征在于，在步骤S1中，所述利用ORB算法对视频图像中的关键帧进行自适应提取包括以下步骤：

S10、通过摄像机参数、视频分辨率a、拍摄间距b和位移速度c计算提取关键帧的初始采样视频帧间隔N₀，计算公式如下:

其中，j为摄像机焦距，t为视频流帧间固定时间间隔，D为影像重叠度；

S11、从第0帧开始，根据初始采样视频帧间隔N₀提取第x帧关键帧影像，并计算两帧影像的重叠度P，计算公式如下：

其中，d_qw是第q帧图像与第w帧图像特征点匹配对数，n_q和n_w分别是帧图像q和w的特征点数目；

S12、进行重叠度P判断，当0.55≤P≤0.75时，则提取关键帧的间隔N为N₀；若P无法满足0.55≤P≤0.75时，则将重新计算提取关键帧的间隔N，计算公式如下：

S13、根据所获得的提取关键帧的间隔N，对视频中的关键帧逐一收集至所述关键帧集中。

3.根据权利要求1所述的基于视频图像的三维里面重建的方法，其特征在于，在步骤S3中，所述获取关键三维点集包括以下步骤：

S30、从深度图D_t中随机选取某个像素点V_t作为二维采样点，依据其深度值进行反投影，以求解其相应的三维点坐标M(V_t)；

S31、根据M(V_t)的深度法向计算其切平面M(V_t),以V_t为中心迭代向外膨胀，每次迭代膨胀1个像素宽度,对于膨胀领域中的每个像素点V_t ^/，求出其M(V_t ^/)；

S32、判断膨胀像素点M(V_t ^/)是否为非关键三维点。

4.根据权利要求1所述的基于视频图像的三维里面重建的方法，其特征在于，在步骤S4中，所述合并场景整体的三维点云包括以下步骤：

S40、对所述关键三维点集中的三维采样点计算深度置信度，并通过置信度排序来实现多帧三维采样点的无重复融合；

S41、依照置信度由高到低的顺序对每帧的三维点集合进行单独排序，形成g个有序的三维点云队列；

S42、将多帧的三维点云融合成场景整体的三维点云集合。

5.根据权利要求1所述的基于视频图像的三维里面重建的方法，其特征在于，在步骤S5中，所述剔除所述三维点云中重复冗余的三维点，包括以下步骤：

S50、将以点Z_t中心半径为r的窗口区域投影至帧t⁰；

S51、对于投影区域的每个二维采样点

判断Z_t和

深度是否一致，若一致，则将

从所述成型三维点云移除。

6.根据权利要求1所述的基于视频图像的三维里面重建的方法，其特征在于，在步骤S6中，所述利用所述成型三维点云提取完整的场景几何模型包括以下步骤：

S60、利用所述成型三维点云，使用Poisson表面重建法提取封闭结构的三维几何模型；

S61、剔除所述三维几何模型中边长

的三角面片，所述l为平均边长，获得完整的三维场景模型。

7.根据权利要求3所述的基于视频图像的三维里面重建的方法，其特征在于，步骤S30中，所述三维点坐标M(V_t)的计算公式如下：

其中，K_t为摄像机内参，L_t为平移向量。

8.根据权利要求3所述的基于视频图像的三维里面重建的方法，其特征在于，步骤S32中，若M(V_t ^/)到切平面的距离小于阈值U，则认为点M(V_t ^/)与M(V_t)处于同一平面上,并将点标记为非关键三维点；反之，则将M(V_t)加入所述关键三维点集。

Images