CN113870432A - 一种基于总线的非合作舰船目标全自动三维重建系统 - Google Patents

Abstract

本公开提出一种基于总线的非合作舰船目标全自动三维重建系统，属于图像处理技术领域。该系统包括：系统总线层和功能模块层，其中所述功能模块层包含多个功能模块，用于实现对非合作舰船目标三维重建过程中不同阶段的数据处理；所述系统总线层与功能模块层中各模块通过数据I/O接口连接，用于从所述功能模块层中调取选定的模块以获取相应的数据进行处理并存储对应的处理结果。本公开引入了总线技术的设计理念，通过模块化插件的设计，可扩展系统的普适性，提高系统的灵活性，有效实现对海面非合作舰船目标侦察图像的全自动三维重建。

Description

一种基于总线的非合作舰船目标全自动三维重建系统

技术领域

本公开属于图像处理技术领域，具体涉及一种基于总线的非合作舰船目标全自动三维重建系统。

背景技术

随着预警、侦察、探测、跟踪、精确制导等装备自主化程度的提高，需要基于可见光图像对海面非合作舰船进行快速精准识别，由于仅凭多角度、多位置的图像数据集，无法直观地获取此类目标的深度信息，当前业内多采用手工三维绘制或接触式测量的方式建模，不仅效率低下，而且对非合作舰船目标的实际尺寸难以较为精确地掌握。基于对非合作舰船目标的可见光侦察图像，进行非合作目标舰船目标的三维重建，并建立各型舰船的三维模型数据库，装载到各型自主识别的装备中，能够从任意角度对舰船目标进行精确识别，将大大提高对非合作舰船目标分析水平。

基于多视角可见光图像的三维重建技术主要涉及从运动恢复结构SFM(structurefrom motion)方法，是运用几何光学、数学算法、解剖学、神经生理学、计算机技术、统计学、运筹学、图论、信号分析与处理等领域的理论和关键技术，可实现目标或场景的三维模型构建。由于重建过程复杂、涉及领域广、研究方向多样化，在各个具体的重建环节中已发展了大量的算法。同时，当前主流的三维重建软件大部分将重心放在软件框架与功能实现上，每一种软件并非能够处理所有符合三维重建标准的图像数据，即所处理的重建目标和场景均有一定的针对性。因此，如何针对非合作舰船目标所处特定场景的图像数据，在各个环节中实时地选择相应的最优算法，并实现所有算法的有机组合，构建灵活、高效、全自动的三维重建系统是实际工程中面临的一个难题。

发明内容

本公开的目的是为解决对非合作舰船目标进行高效三维重建的问题，提出了一种基于总线的非合作舰船目标全自动三维重建系统。本公开引入了总线技术的设计理念，通过模块化插件的设计，可扩展系统的普适性，提高系统的灵活性，有效实现对海面非合作舰船目标侦察图像的全自动三维重建。

本公开实施例提出一种基于总线的非合作舰船目标全自动三维重建系统，该系统包括：系统总线层和功能模块层，其中所述功能模块层包含多个功能模块，用于实现对非合作舰船目标三维重建过程中不同阶段的数据处理；所述系统总线层用于从所述功能模块层中调取选定的模块以获取相应的数据进行处理并存储对应的处理结果。

在本公开的一个实施例中，所述系统总线层与功能模块层中各模块通过数据I/O接口连接，通过所述接口的插拔实现所述系统总线层对于所述功能模块层中模块的调取。

在本公开的一个实施例中，所述系统总线层包括：数据总线单元、地址总线单元和控制总线单元；所述地址总线单元用于从所述功能模块层内各功能模块读取数据，并利用所述功能模块层存储处理结果；所述控制总线单元用于通过数据引擎从所述地址总线单元获取所述功能模块层中各模块的数据并传输给所述数据总线单元；所述数据总线单元用于存储从所述功能模块层获取数据。

在本公开的一个实施例中，所述功能模块层包括：预处理模块、特征点提取模块、特征匹配模块、空中三角测量模块、密集匹配模块、网格构建模块、纹理映射模块、正射图像生成模块、瓦片化模块、图像拼接模块和报告生成模块。

在本公开的一个实施例中，

所述预处理模块用于对获取的非合作舰船目标图像进行预处理；

所述特征点提取模块用于对预处理完毕的非合作舰船目标图像进行特征点的检测；

所述特征匹配模块用于对检测到的所述特征点匹配并对匹配点进行索引自动重建，将各预处理完毕的图像连接为统一模型并进行平差；

所述空中三角测量模块用于根据所述匹配点标定的相机参数确定相机的位置和姿态，恢复点的三维空间的位置，形成目标的稀疏点云；

所述密集匹配模块用于基于所述稀疏点云生成目标的三维密集点云；

所述网格构建模块用于基于所述密集点云，搭建目标的三角面网格模型；

所述纹理映射模块用于根据所述三角面网格模型和所述相机参数筛选出每个三角面的最优参考影像，对所述参考影像进行聚类、优化生成场景的纹理图像，得到优化后的三维模型；

所述正射图像生成模块用于利用投影的方法实现所述三维模型任意角度下的二维投影，形成任意角度下的镶嵌图像；

所述瓦片化模块对所述三维模型进行分层分级LOD处理，生成对应的瓦片数据，实现所述三维模型数据的实时浏览及网络发布；

所述图像拼接模块用于基于所述空中三角测量模块的结果，采用图像拼接算法对图像数据进行拼接以形成全景图像；

所述报告生成模块用于对所述功能模块层中其余各功能模块的结果生成对应评估报告。

本公开的特点及有益效果在于：

1.本公开将三维重建过程的重心放到数据的流转上，在基于非合作舰船目标多视角可见光图像三维重建的过程中，可生成稀疏点云、密集点云、表面模型、纹理模型、全景图像、正射影像等产品。

2.本公开提出的一种基于总线的非合作舰船目标全自动三维重建系统具备数据调度、管理功能，能够实现对三维重建过程中各种数据类型的便捷存取。针对图像数据、模型数据以及中间结果，可利用图像数据库及相关软件工具，实现对数据的存储、查询及获取功能；建立各种数据的访问引擎，数据在不同功能模块之间的流动依靠这些引擎进行驱动；针对不同模块与数据库之间的接口，能够实现数据的畅连畅通。

3.本公开提出的一种基于总线的非合作舰船目标全自动三维重建系统采用模块化设计，具有较好的稳定性、易维护性和可扩展性。针对每个模块所对应的功能相同但性能不同的算法，可通过统一的功能模块数据I/O接口，使各个相互独立的功能模块能够在整个软件系统中可插拔，以提高软件功能组合的灵活性；通过统一的算法功能函数调用接口，以调用不同性能的算法，可提高算法性能组合的灵活性。

4.本公开提出的一种基于总线的非合作舰船目标全自动三维重建系统具备对海侦察图像的预处理功能，可处理由于海面环境复杂、天气变化、相机抖动等因素带来的目标图像畸变、云雾遮挡、色彩暗淡等问题。

附图说明

图1是本公开实施例中一种基于总线的非合作舰船目标全自动三维重建系统的结构示意图。

图2是本公开实施例中系统总线层结构示意图。

图3是本公开实施例中单个功能模块架构设计图。

图4是本公开实施例中功能模块层的架构原理图。

图5是本公开实施例中一种基于总线的非合作舰船目标全自动三维重建系统的工作时序图。

图6是本公开实施例中一种基于总线的非合作舰船目标全自动三维重建系统的工作流程图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。基于本公开中的实施例，相关领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

相关领域技术人员应当理解的是，下面的实施方式仅仅用于解释本公开的技术原理，并非旨在限制本公开的保护范围。

本公开实施例中提出的一种基于总线的非合作舰船目标全自动三维重建系统，结构如图1所示，该系统包括：系统总线层和功能模块层，其中所述功能模块层包含多个功能模块，用于实现对非合作舰船目标三维重建过程中不同阶段的数据处理；所述系统总线层用于从所述功能模块层中调取选定的模块组合以获取相应的数据进行处理并存储对应的处理结果。系统总线层与功能模块层中各模块通过标准的数据I/O接口连接，通过所述接口的插拔实现所述系统总线层对于所述功能模块层中模块组合的调取。

在本公开的一些实施例中，所述功能模块层包括(请确认与附图一致)：预处理模块、特征点提取模块、特征匹配模块、空中三角测量模块、密集匹配模块、网格构建模块、纹理映射模块、正射图像生成模块、瓦片化模块、图像拼接模块以及报告生成模块。

所述系统总线层结构如图2所示，包括：数据总线单元、地址总线单元和控制总线单元。其中，数据总线单元用于存储图像数据和结果数据，该单元包含：原图像数据库、预处理结果库、特征点检测结果库、立体匹配结果库、图像拼接库、密集点云和稀疏点云库等多个数据库；控制总线单元用于建立数据、存储标识、位置，执行对数据的存储和读取，各类数据流向可根据调整不同的接口自由调用，该单元包含：原始数据图像读取引擎、预处理结果存储引擎、特征点检测结果读取引擎、立体匹配读取结果引擎、密集点云和稀疏点云存储引擎，以及空三结果读取存储引擎等多个引擎；地址总线单元用于通过I/O接口从功能模块层的各模块内读取数据总线单元中各数据库的所需数据，并利用所述功能模块层的各功能模块存储相应的处理结果；各功能模块用于利用I/O接口通过地址总线单元从数据总线单元的数据库获取数据，从而实现数据总线单元中的数据库中数据与功能模块的对接；本公开实施例中所述功能模块的架构基于总线技术理念，可实现不同功能的插拔和组合，并可进行一键式自动处理或向导式处理方式的选择，处理大批量有/无POS(position andorientation system)图像数据，支持对三维模型进行交互式添加控制点和测量；各功能模块的总体架构设计如图3所示；功能模块的算法调用接口需针对相关功能的算法定义为标准化的接口，以进行不同算法动态库的调用，实现对不同算法在软件意义上的可插拔，进而改善系统对目标场景的适应性；功能模块数据I/O接口与地址总线中的相应接口对接，进行不同功能模块调用，实现对不同功能模块在软件意义上的可插拔；

本公开实施例中标准化接口主要分为两大类，一是设计给出数据总线内数据库存取操作所定义的数据I/O存储格式标准，二是设计给出功能模块内算法调用操作所定义的功能函数接口标准；

本公开实施例中，所述预处理模块主要对输入的对海侦察图像进行薄雾去除、几何校正、匀光匀色、色彩增强等处理；通过融合相关算法，可使处理后的图像能够更加清晰、色彩更加鲜明、畸变得以校正、亮度更为均匀；

本公开实施例中，所述特征点提取模块主要利用Harris、SIFT、SURF等主流算法，对预处理完毕的非合作舰船目标图像进行在多视图旋转、不同尺度、不同光照及对比度等条件下的特征点的检测；以使检测出的角点或斑点具有高度的重现性、定位准确性和检测高效性；

本公开实施例中，所述特征匹配模块主要基于哈希匹配方法进行图像间的特征点匹配，以及匹配点索引自动重建，将离散的各幅预处理完毕的图像连接为统一模型并进行平差；通过匹配优化算法实现对噪声不敏感，匹配误差小；

本公开实施例中，所述空中三角测量模块主要利用SFM方法，根据匹配点标定的相机参数确定相机的位置和姿态，进而恢复点的三维空间的位置，形成目标的稀疏三维结构；通过对大量预处理完毕图像进行联合平差的方法，使测量精度像素重投影误差(中误差)不超过1个像素；

本公开实施例中，所述密集匹配模块基于稀疏点云，基于CMVS和PMVS2算模块，生成非合作舰船目标的三维密集点云，实现舰船的细节信息重建；通过对自适应步长算法的运用，使重建的信息精度高、完整性高，噪点与外点少，并简化重建算法的时间复杂度以及空间复杂度；

本公开实施例中，所述网格构建模块主要基于密集点云，通过曲面拟合法和三角网格法搭建目标的三角面网格结构，重建出目标的表面模型；通过网格优化算法，构网精度高，对噪声不敏感，可自动修复孔洞；

本公开实施例中，所述纹理映射模块设计根据重建的三角面网格模型和已标定的相机参数筛选出每个三角面的最优参考影像，对三角面的参考影像进行聚类、优化生成场景的纹理图像，从而得到纹理可视化、具备真实感的三维模型；通过渲染优化，可全自动生成纹理图像、全自动均衡图像之间的色彩差异、达到无明显纹理接缝，在渲染中适应光照差异、重建精度、标定精度有限等因素；

本公开实施例中，所述正射图像生成模块利用投影的方法，实现目标模型任意角度下的二维投影，形成任意角度下的镶嵌图像；镶嵌图像可进行实时预览，可快速生成金字塔，并能够与同角度下的原始图像进行误差比较，作为模型精度调整的依据；

本公开实施例中，所述瓦片化模块对舰船三维模型进行分层分级(levelofdetail，LOD)处理，生成不同精度的瓦片数据，实现三维模型数据的实时浏览及网络发布；可在普通办公PC机上亦能实现三维模型的实时浏览显示，并可快速导入第三方地理信息系统(geographic information system,GIS)系统；

本公开实施例中，所述图像拼接模块基于空中三角测量的结果，采用图像拼接算法，对包含舰船目标在内、整个拍摄场景的图像数据进行拼接，形成全景图像，实现对目标场景的概览；通过特征点优化方法，可剔除掉弱连接图像、航摄区域分离图像以及曝光失效等情况下的图像；

本公开实施例中，所述报告生成模块基于程序量测指令记录，对功能模块层中其余各功能模块的结果生成客观的精度评估报告，从而在输入数据相同的条件下，当同一模块调用不同算法时，可根据生成的评估报告确定相关算法的优劣，进而给出针对不同目标的算法选择策略。

本公开实施例的系统的工作原理如下：

本公开实施例的一种基于总线的非合作舰船目标全自动三维重建系统中所述功能模块层可分为四个子系统，结构如图4所示，包括：预处理子系统、图像拼接子系统、三维重建子系统及模型展示子系统。预处理子系统负责海面分离功能，即针对海面舰船图像，滤除海面信息，提取舰船精细轮廓；图像拼接负责生成全景图像；三维重建子系统包括自动三维重建、自动综合重建和分步三维重建三种重建模式。其中，自动三维重建模式基于多视图环境，可实现对近景小目标和远处大场景的全自动重建；自动综合重建模式除了具备三维重建功能外，还具备三维模型数据瓦片话功能，并且还可生成DEM和正射拼图；分步三维重建可对近景小目标进行分步重建，并可读取稀疏点云、密集点云、网格模型等其它软件输出的中间级产品进行后续处理。模型展示子系统可对重建结果中的点云模型、网格模型、表面模型、纹理模型进行查看。

本公开的一个具体实施例中，针对系统主要功能性能，按照不同功能将功能模块层划分为如图1所示的不同功能模块，其中每个功能模块数据I/O基本存储格式标准的参考，如表1所示。

表1本公开实施例中功能模块数据I/O基本存储格式标准参考表

其中，每一个数据存储文件中具体的数据元素排列及存放标准，遵从相关国际通用惯例。

在整个三维重建的过程中，每个功能模块的继承性都很强，如从特征点检测环节到纹理映射环节，若没有上一个功能模块的结果，是无法进行下一个模块运算的；因此，定义每个功能模块中调用相同功能不同性能算法时，需使用统一的功能函数接口。以C++语言为例，伪代码结构为：

bool函数接口名称(输入数据表头，输入配置参数表头，输出数据表头，输出配置，参数表头)；若返回值为1，则表示成功，若返回值为0，则表示失败。

在系统的工作过程中，针对非合作舰船目标全自动三维重建系统的各个功能模块和数据总线单元内各个数据库的对接，控制总线单元控制各存取引擎作为二者数据流通的中枢，具体工作时序设计如图5所示，例如从控制总线单元中读取图像送入到预处理模块，经过与处理模块处理完毕的预处理结果则存储在数据总线单元中的对应数据库中。可见，控制总线单元一方面控制各个存储引擎，一方面控制各个功能模块的工作。需要注意的是，自特征检测模块开始，到正射图像生成模块运行结束，各个模块的工作时序是有一定重叠的。这样开发是为加快系统处理速度，提高处理器和内存的利用率考虑的。

本公开实施例的一种基于总线的非合作舰船目标全自动三维重建系统的操作流程如图6所示。在载入需要重建的图像后，由图像组窗口显示图像列表；操作历史记录窗口记录调用可执行文件或动态库的命令、操作参数设置等信息；运行记录窗口按时间记录重建过程的关键步骤；模型查看窗口可查看重建结果是否符合要求，并可通过坐标球队模型进行旋转、缩放等操作；新建工程项通过选择工程模式下拉菜单，可选择工程中使用自动三维重建、综合三维重建及分步三维重建哪种模式；打开工程项可选择已有工程文件夹路径，通过下拉菜单选择已有工程中使用的重建模式；在预处理菜单项设置显著区域提取参数，以分离海面功能为例，分别选定需要处理的图像路径和已处理图像的保存路径，中间的粗糙轮廓高斯方差、金字塔高斯方差、精细轮廓高斯方差可根据不同图像进行设置，或不设置由相应算法自动处理；自动三维重建项可设置自动三维重建参数，树深度值越大，模型越精细，筛选阈值越小，滤除模型部分越多；自动综合重建项设置自动综合重建参数，创建必需的数据准备文件，重建尺度参数设置图像降采样倍数，纹理文件大小为储存纹理贴片文件的尺寸设置，可依据图像数据量大小适宜变化，纹理映射降采样设置贴片的降分辨率倍数，可根据不同的场景选择是否进行LOD分块；分步三维重建的稀疏重建功能可在设置特征提取方式中选择不同的特征点检测方法、可设置最大分辨率限制，若欲对图像进行降分辨率处理，可勾选设置降分辨率稀疏，选择相应倍数；分步三维重建的密集匹配功能需选择稀疏重建结果所处路径，设置密集匹配结果输出路径；分步三维重建的表面重建功能需选择密集点云ply格式文件，设置重建网格结果输出路径，树深度参数越大，模型越精细，筛选阈值越大，滤除模型冗余部分越多；分步三维重建的纹理映射需选择密集匹配结果输出路径，设置纹理映射结果输出路径，选择表面重建输出的ply格式文件；可视化模块设定为三维视图菜单下包含稀疏点云、密集点云、网格模型、纹理模型四项，可即时查看在相应输出结果。

至此，已经结合附图描述了本公开的典型实施方式。

上述实施例中虽然对各个步骤按照先后次序的方式进行了描述，但是相关领域技术人员可以理解，为了达到本实施例的更优效果，局部的步骤之间可适时调整执行次序，并可以同时(并行)执行，这些简单的变化都在本公开的保护范围之内。

本文中所公开的方法步骤，能够以电子硬件、计算机软件或二者的结合实现，具体实施取决于技术方案的特定应用和设计约束条件。

对于相关领域技术人员，本公开的保护范围显然不局限于上述具体实施方式，在不偏离本公开原理的前提下，任何基于总线的非合作舰船目标全自动三维重建系统的修改、替换及应用均落于本公开的保护范围之内。

Claims (5)

1.一种基于总线的非合作舰船目标全自动三维重建系统，其特征在于，该系统包括：系统总线层和功能模块层，其中所述功能模块层包含多个功能模块，用于实现对非合作舰船目标三维重建过程中不同阶段的数据处理；所述系统总线层用于从所述功能模块层中调取选定的模块以获取相应的数据进行处理并存储对应的处理结果。

2.根据权利要求1所述的系统，其特征在于，所述系统总线层与功能模块层中各模块通过数据I/O接口连接，通过所述接口的插拔实现所述系统总线层对于所述功能模块层中模块的调取。

3.根据权利要求2所述的系统，其特征在于，所述系统总线层包括：数据总线单元、地址总线单元和控制总线单元；所述地址总线单元用于从所述功能模块层内各功能模块读取数据，并利用所述功能模块层存储处理结果；所述控制总线单元用于通过数据引擎从所述地址总线单元获取所述功能模块层中各模块的数据并传输给所述数据总线单元；所述数据总线单元用于存储从所述功能模块层获取数据。

4.根据权利要求2所述的系统，其特征在于，所述功能模块层包括：预处理模块、特征点提取模块、特征匹配模块、空中三角测量模块、密集匹配模块、网格构建模块、纹理映射模块、正射图像生成模块、瓦片化模块、图像拼接模块和报告生成模块。

5.根据权利要求4所述的系统，其特征在于，

所述预处理模块用于对获取的非合作舰船目标图像进行预处理；

所述特征点提取模块用于对预处理完毕的非合作舰船目标图像进行特征点的检测；

所述特征匹配模块用于对检测到的所述特征点匹配并对匹配点进行索引自动重建，将各预处理完毕的图像连接为统一模型并进行平差；

所述空中三角测量模块用于根据所述匹配点标定的相机参数确定相机的位置和姿态，恢复点的三维空间的位置，形成目标的稀疏点云；

所述密集匹配模块用于基于所述稀疏点云生成目标的三维密集点云；

所述网格构建模块用于基于所述密集点云，搭建目标的三角面网格模型；

所述纹理映射模块用于根据所述三角面网格模型和所述相机参数筛选出每个三角面的最优参考影像，对所述参考影像进行聚类、优化生成场景的纹理图像，得到优化后的三维模型；

所述正射图像生成模块用于利用投影的方法实现所述三维模型任意角度下的二维投影，形成任意角度下的镶嵌图像；

所述瓦片化模块对所述三维模型进行分层分级LOD处理，生成对应的瓦片数据，实现所述三维模型数据的实时浏览及网络发布；

所述图像拼接模块用于基于所述空中三角测量模块的结果，采用图像拼接算法对图像数据进行拼接以形成全景图像；

所述报告生成模块用于对所述功能模块层中其余各功能模块的结果生成对应评估报告。

Images