CN116228948A - 一种野外标本双目视觉三维重构方法和系统 - Google Patents

Abstract

本发明公开一种野外标本双目视觉三维重构方法和系统，包括图像获取模块、相机矫正模块、标本重建模块。图像获取模块的模式选择单元用以切换相机采图模式，获得标定板图像或标版图像；相机矫正模块的相机标定算法单元对标定板图像进行标定，计算相机标定参数；相机矫正模块的图像矫正算法单元对标本图像进行矫正；标本重建模块的双目匹配算法单元获得左右图像的视差与特征点对应关系，由点云重建算法单元得到点云数据，获得视差图与深度图，空间域滤波与后处理单元对点云模型进行空间域滤波优化处理。本发明可实现双目相机实时动态调整与标定，适应采样样本尺寸的变化，实现自动化一体化的测量操作流程，精简标本采样操作，提高效率。

Description

一种野外标本双目视觉三维重构方法和系统

技术领域

本发明属于计算机视觉领域，特别涉及一种野外标本双目视觉三维重构方法和系统。

背景技术

在野外勘探中，标本采样是一项比较基础又非常重要的环节；在实际采样的过程中，受限于标本的质量与数量(岩面采样与岩石采样)，或者标本自身的储存特性(动植物标本)，无法获得充足的实物样本。所以需要使用数字化采样手段进行标本的采集。目前对标本的数字采集手段主要是平面图像与视频的方式，但此类方法具有不能得到具体尺寸，感受抽象，不能还原立体表面特征的缺点，因此，迫切需要研制出能够便携化，智能化的三维立体标本采样重构系统，满足野外勘探中对空间结构数字化采样的要求。本发明独立研制了一套基于嵌入式的便携野外标本双目视觉三维重构系统，相较于传统的双目视觉系统，摆脱了上位机与各种线材器材的束缚，不需要冗余的架设与调试，以实时双目相机成像的方式，通过触控操作自动实现对野外样本的三维信息有效提取与重构，从而进一步解析样本的三维结构和纹理信息。

但实现基于双目视觉进行野外标本三维重构数字化采集有以下几个方面的问题需要优化解决：

(1)如何实现双目相机实时动态调整与标定。传统的双目视觉系统不具备实时动态的标定与矫正功能。一般都是固定左右相机之间的距离(即基线长度)，无法适应采样样本尺寸的变化。只能在某些合适尺寸样本中保持精度。

(2)如何实现自动化一体化的测量操作流程，精简标本采样操作。传统的双目视觉系统测量效率低。一般通过下位机采集信号，传输到上位机进行处理，需要多套软件与文件系统相互切换，步骤分散且繁琐，导致这一过程效率较低，此外往往有许多软件与线材上的限制。

(3)如何满足野外标本采样需要低功耗、便携性要求。现有双目视觉测量系统体积大不具备便携性，功耗大。成套的测量系统往往都需要配套的支架、电源和独立的桌面级操作主机。一般只能实现室内的架设型测量。因此，开发适应野外标本数字化采集需要的装备十分必要，基于上述现状，研制出能够便携化，智能化的三维立体标本采样重构系统，满足野外勘探中对标本空间结构数字化采样的要求。

发明内容

有鉴于此，本发明提出一种野外标本双目视觉三维重构方法和系统，其中的系统包括：

包括触摸显示屏、电源模块、图像获取模块、相机矫正模块、标本重建模块、QT交互式主控系统；

所述图像获取模块包括模式选择单元、双目相机单元、基线自动调节单元；所述双目相机单元包括第一双目相机和第二双目相机；

所述相机矫正模块包括相机标定算法单元、图像矫正算法单元、标定参数保存单元；

所述标本重建模块包括双目匹配算法单元、点云重建算法单元、空间域滤波与后处理单元；电源模块实现对QT交互式主控系统、触摸显示屏及基线自动调节单元供电；

所述图像获取模块、相机矫正模块、标本重建模块均由QT交互式主控系统控制；所述QT交互式主控系统用于控制整体流程、各模块数据交互和算法的实现；

所述系统各模块工作流程为：

所述图像获取模块通过模式选择单元选择矫正图像的采集模式，所述第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像；

所述相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；

所述图像获取模块通过模式选择单元选择标本图像采集模式，所述第一双目相机和第二双目相机用于采集标本图像；

所述相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正；

所述标本重建模块的双目匹配算法单元运行匹配算法，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系；从所述标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

进一步地，所述基线自动调节单元包括一对对向放置的滑台，滑台各由一个小型步进电机驱动，电机带动丝杆，使得丝杆上的滑台水平移动，从而联动第一双目相机和第一双目相机进行水平移动调节基线。

进一步地，所述第一双目相机和第二双目相机均采用微型摄像头。

进一步地，所述QT交互式主控系统作为硬件平台，且采用嵌入式板卡。

一种野外标本双目视觉一体化三维重构方法，基于上述的一种野外标本双目视觉一体化三维重构系统实现，包括以下步骤：

S1、图像获取模块通过模式选择单元选择相机矫正图像的采集模式，第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像；

S2、相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；

S3、图像获取模块通过模式选择单元选择标本图像采集模式，第一双目相机和第二双目相机采集野外标本图像；

S4、相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正，获得矫正后的标本图像；

S5、标本重建模块的双目匹配算法单元运行匹配算法，在对矫正后的标本图像进行预处理、代价计算、动态规划和后处理后，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系；

S6、从标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

进一步地，所述标定的参数包括第一双目相机和第二双目相机的内外参以及畸变系数。

进一步地，步骤S1具体为：

S11、输入棋盘格标定板参数，包括单个格子的边长以及横向与纵向的棋盘格数目；

S12、同时采集N组第一双目相机、第二双目相机中棋盘格标定板不同倾斜度的照片。

本发明提供的技术方案带来的有益效果是：

本发明可以实现双目相机实时动态调整与标定，适应采样样本尺寸的变化，实现自动化一体化的测量操作流程，精简标本采样操作，提高效率。

附图说明

图1是本发明实施例一种野外标本双目视觉一体化三维重构系统结构框图；

图2是本发明实施例一种野外标本双目视觉一体化三维重构系统便携式结构图；

图3是本发明实施例一种野外标本双目视觉一体化三维重构方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

本发明提供一种野外标本双目视觉三维重构方法和系统，请参考图1，图1是本发明实施例一种野外标本双目视觉三维重构系统结构框图。一种野外标本双目视觉三维重构系统，包括：

QT交互式主控系统、触摸显示屏、电源模块、图像获取模块、相机矫正模块、标本重建模块。

电源模块实现对QT交互式主控系统、触摸显示屏及基线自动调节单元供电。

图像获取模块包括模式选择单元、双目相机单元、基线自动调节单元；双目相机单元包括第一双目相机和第二双目相机。

相机矫正模块包括相机标定算法单元、图像矫正算法单元、标定参数保存单元。

标本重建模块包括双目匹配算法单元、点云重建算法单元、空间域滤波与后处理单元。

图像获取模块、相机矫正模块、标本重建模块均与QT交互式主控系统相连；QT交互式主控系统用于控制整体流程、各模块数据交互和算法的实现。

系统各模块工作流程为：

图像获取模块通过模式选择单元选择矫正图像的采集模式，第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像；

相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；

图像获取模块通过模式选择单元选择标本图像采集模式，第一双目相机和第二双目相机用于采集标本图像；

相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正；

标本重建模块的双目匹配算法单元运行匹配算法，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系；从标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

本发明实施例中，电源模块包括便携12V电源和12V转5V转换板，QT交互式主控系统作为硬件平台采用嵌入式板卡，第一双目相机和第二双目相机均采用微型摄像头。基线自动调节单元包括一对对向放置的滑台，滑台各由一个小型步进电机驱动，电机带动丝杆，使得丝杆上的滑台水平移动，从而联动第一双目相机和第一双目相机进行水平移动调节基线。显示屏为7英寸触摸显示屏。

两个双目相机、便携12V电源、12V转5V转换板、基线自动调节单元、显示屏与嵌入式开发板由一个设备外壳整合，其中电源模块位于下层、嵌入式主控模块位于上层、双目相机和基线自动调节单元位于前部；系统外壳为组装式设计，顶盖挖孔以适配7英寸触摸显示屏进行交互操作。所有组件都放置在便携式的壳体中。

本发明实施例的一种野外标本双目视觉一体化三维重构系统便携式结构图参考图2，包括测量机构上壳体1，下壳体2，双目相机单元的右相机8和左相机9，便携12V电源10，12V转5V转换板11，基线自动调节单元5(包括对向放置的右丝杆电机6和左丝杆电机7、驱动水平移动的左滑台13和右滑台14，显示屏4与嵌入式开发板15。

本发明实施例的一种野外标本双目视觉三维重构方法流程参考图3，方法步骤如下：

S1、图像获取模块通过模式选择单元选择相机矫正图像的采集模式，第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像。

S11、输入棋盘格标定板参数，包括单个格子的边长以及横向与纵向的棋盘格数目。

S12、同时采集10组以上第一双目相机、第二双目相机中棋盘格标定板不同倾斜度的照片。

本实施例中，相机标定算法是为了计算双目相机的内参、外参与畸变系数，内参与畸变系数是为了矫正单个相机的成像，外参是为了构建两个相机坐标系与世界坐标系的统一关系，本发明可以使用棋盘格标定盘进行标定，可以使用自定义软键盘输入棋盘格的单格大小与长宽比进行实时标定。

S2、相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；标定的参数包括第一双目相机和第二双目相机的内外参以及畸变系数。

S3、图像获取模块通过模式选择单元选择标本图像采集模式，第一双目相机和第二双目相机采集标本图像，针对不同尺寸的采样对象，通过输入参数自动通过步进电机控制的丝杆滑台调节基线长度，获得更好的采样效果。

S4、相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正，获得矫正后的标本图像。

S5、标本重建模块的双目匹配算法单元运行匹配算法，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系。

S6、从标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

本实施例中，双目匹配算法是根据左右图像的同名对应关系来计算视差，通过标定得到的内外参数矩阵来将对应的像素坐标还原成世界坐标系坐标，通过空间域滤波滤除不符合要求的离群点与背景干扰，进而重构成可以体现野外标本空间特征与形态特征的点云。

本发明结合了双目成像技术以及嵌入式交互技术，提供了一种可以便携化智能化的野外标本采样系统。该系统能够在对野外标本进行采样，还原出等尺寸的3D模型，能够实现实时的相机标定与完全的触控级操作，并且可以针对不同尺寸的标本实现摄像头基线距离的主动调整。更好地满足野外采样的便携性实时性与智能化的需求。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种野外标本双目视觉一体化三维重构系统，包括触摸显示屏、电源模块，其特征在于，还包括图像获取模块、相机矫正模块、标本重建模块、QT交互式主控系统；

所述图像获取模块包括模式选择单元、双目相机单元、基线自动调节单元；所述双目相机单元包括第一双目相机和第二双目相机；

所述相机矫正模块包括相机标定算法单元、图像矫正算法单元、标定参数保存单元；

所述标本重建模块包括双目匹配算法单元、点云重建算法单元、空间域滤波与后处理单元；电源模块实现对QT交互式主控系统、触摸显示屏及基线自动调节单元供电；

所述图像获取模块、相机矫正模块、标本重建模块均由QT交互式主控系统控制；所述QT交互式主控系统用于控制整体流程、各模块数据交互和算法的实现；

所述系统各模块工作流程为：

所述图像获取模块通过模式选择单元选择矫正图像的采集模式，所述第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像；

所述相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；

所述图像获取模块通过模式选择单元选择标本图像采集模式，所述第一双目相机和第二双目相机用于采集标本图像；

所述相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正；

所述标本重建模块的双目匹配算法单元运行匹配算法，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系；从所述标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

2.根据权利要求1所述的一种野外标本双目视觉一体化三维重构系统，其特征在于，所述基线自动调节单元包括一对对向放置的滑台，滑台各由一个小型步进电机驱动，电机带动丝杆，使得丝杆上的滑台水平移动，从而联动第一双目相机和第一双目相机进行水平移动调节基线。

3.根据权利要求1所述的一种野外标本双目视觉一体化三维重构系统，其特征在于，所述第一双目相机和第二双目相机均采用微型摄像头。

4.根据权利要求1所述的一种野外标本双目视觉一体化三维重构系统，其特征在于，所述QT交互式主控系统作为硬件平台，且采用嵌入式板卡。

5.一种野外标本双目视觉一体化三维重构方法，其特征在于，基于权利要求1～4中任一项权利要求所述的系统实现，包括以下步骤：

S1、图像获取模块通过模式选择单元选择相机矫正图像的采集模式，第一双目相机和第二双目相机在矫正图像的采集模式下采集棋盘格标定板图像；

S2、相机矫正模块的相机标定算法单元通过标定算法对采集的棋盘格标定板图像进行标定，计算得到第一双目相机、第二双目相机标定的参数，保存到标定参数保存单元；

S3、图像获取模块通过模式选择单元选择标本图像采集模式，第一双目相机和第二双目相机采集野外标本图像；

S4、相机矫正模块的图像矫正算法单元运行矫正算法，对标本图像进行矫正，获得矫正后的标本图像；

S5、标本重建模块的双目匹配算法单元运行匹配算法，在对矫正后的标本图像进行预处理、代价计算、动态规划和后处理后，获得矫正后两个双目相机采集标本图像的视差与特征点对应关系；

S6、从标定参数保存单元读取相机标定的参数，以及矫正后两个双目相机采集标本图像的视差与特征点对应关系，由点云重建算法单元计算得到待重建标本的视差图与深度图，从而根据视差代入双目视觉成像模型还原出标本的空间点云数据模型，空间域滤波与后处理单元对点云数据模型进行空间域滤波优化处理，并在触摸显示屏上显示。

6.根据权利要求5所述的一种野外标本双目视觉一体化三维重构方法，其特征在于，所述标定的参数包括第一双目相机和第二双目相机的内外参以及畸变系数。

7.根据权利要求5所述的一种野外标本双目视觉一体化三维重构方法，其特征在于，步骤S1具体为：

S11、输入棋盘格标定板参数，包括单个格子的边长以及横向与纵向的棋盘格数目；

S12、同时采集N组第一双目相机、第二双目相机中棋盘格标定板不同倾斜度的照片。

Images