CN116596824A - 多相机三维面模型融合方法 - Google Patents

Abstract

本发明公开了一种多相机三维面模型融合方法，涉及风洞试验领域，基于各相机内外参数、三维模型以及模型上预设标记点的几何坐标，建立三维模型向二维图像上的映射关系，将平面内的压力、温度、热流图像中的至少一种变换至三维数模的曲面网格点上，采用多视角下的三维数值融合完成三维面模型的重建与显示。本发明提供一种多相机三维面模型融合方法，在兼容了多相机拍摄的观测角度差异的同时，考虑了基于观测位置产生的数值响应有效性差异，观测数值的空间分布的平滑性，构建了一套基于相机和观测数模相对位置的映射方法，并设计了一套基于空间梯度分布的多角度相机观测值的空间融合方法，实现了数值的准确映射、多相机数据的三维平滑融合。

Description

多相机三维面模型融合方法

技术领域

本发明涉及风洞试验领域。更具体地说，本发明涉及一种多相机三维面模型融合方法。

背景技术

在风洞场中进行二维的PSP（Pressure Sensitive Paint，压敏涂料）分析已经成为常见的非接触式压力分析测量策略。将PSP分析扩展到三维模型，可以提供更真实的模型表示，尤其对于具有复杂几何形状和三维流场结构的模型，这有助于更准确地理解压力分布和流动特性。此外，通过将二维数据扩展到三维，可以获得更全面的数据集，包括更多的位置和角度上的压力信息，这可以提供对整个模型表面的更全面的理解，帮助揭示隐藏的流动特性和压力变化，因此获取三维PSP压力分布的面模型，进而开展数据分析具有重要的应用价值。

受限于测量方式和风洞的实验环境，常规的三维测量方式很难应用。同时，在三维模型中，由于表面形状的复杂性，校准和保持试验观测状态等要求使得模型的三维数据获取变得更具挑战性。现行的试验方案中，并未针对性的提出适用于风洞环境下的基于多相机融合，将二维图像采用拼接处理的方式实现空间三维位置的映射变换，为后续的基于三维空间的物理分析提供基础。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现本发明的这些目的和其它优点，提供了一种多相机三维面模型融合方法，基于各相机内外参数、三维模型以及模型上预设标记点的几何坐标，建立三维模型向二维图像上的映射关系，将平面内的压力、温度、热流图像中的至少一种变换至三维模型的曲面网格点上，采用多视角下的三维数值融合完成三维面模型的重建与显示；

其中，所述三维面模型的重建是基于模型为中间桥接，以其中一个纹理或网格信息做为主信息，将其它纹理或网格信息都补全或关联到主信息上，得到多视角下唯一的三维面模型。

优选的是，对于网格信息来说，所述三维数值融合的方式被配置为包括对各网格点的融合处理以及融合后的平滑处理。

优选的是，所融合处理方式被配置为包括：

S10、对于任意一个被多角度观测的网格点位置A，用下式的向量点积数值a _i 描述相机相对于三角形面片的角度：

上式中，C _x 表示编号为x的观测相机位置，分别为与Cx方向上对应网格的法线向量，i表示与观测点A相邻的三角形的编号，norm()表示对向量进行归一化处理的函数；

S11、基于角度数值，则A点的融合公式可以通过如下公式进行表达：

上式中，V _A 为A位置上融合多个摄像机观测数值的综合表征值，表述从相机C _x 角度观察的观测数值，M为当前点被观测到的总有效摄像机个数，/>为摄像机x观测值参与融合的权重，a _j 为当前观测相机j同当前待测三角形所在平面法线的向量点积，a _x 为当前需要融合的相机x同当前待测三角形所在平面法线的向量点积；

S12、逐个遍历整个网格以得到完整多视角融合观测值。

优选的是，所述平滑处理被配置为包括：

S20、通过下式获取任意相机x相对待融合点上的基于梯度值响应系数的权重：

上式中，为相机Cx观测得到的当前网格点j的梯度响应值，/>为当前节点j上各个可观测相机综合梯度响应值；

S21、对于任意位置上的相机Cx，在观测条件下的单独被观测点Pi，采取以广度优先策略提取深度为L的网格结构Ti；

设任意点Pj为网络结构Ti中的深度为L内的任意网格点，其相对于Pi的边距离为d _ij：

则平滑后的网络节点i的融合数值响应Vi计算公式为：

上式中，G(x)为均值为0的标准一维高斯函数，Ni为整个Ti树结构中节点i的相邻节点个数，为节点j对节点i的数值响应贡献度，将/>作为观测设备x相对待融合点i上的基于梯度值响应系数的融合权重,V _j 为节点j位置上融合多个摄像机观测数值的综合表征值，G(d _ij)为相机Ci的融合权重，可见网格点j上观测数值响应，标准高斯函数下自变量取值为d _ij的函数响应值。

优选的是，所述映射关系的构建方式被配置为包括：

通过相机的几何标定来描述相机的畸变和焦距参数，以实现对图像的畸变校正；

通过对模型三维标记点进行记录得到模型角点；

基于任意一个校正后的角度观测的数据图像，通过上述模型角点完成模型和数据帧的对应关系构建相机和模型之间的位置和朝向关系，进而利用三维映射关系获得模型全网格的二维投射结果，且映射过程中通过空间投射的误差分析描述三维映射过程的计算误差；

通过投影的可视区域计算得到单视角观测条件下的物理模型二维映射。

优选的是，还包括对映射关系的存储，所述存储方案被配置为包括：

方案一，以纹理图为基础，扩展纹理图上每个像素点的信息维度，并保存每个像素点在三维空间中的空间位置，采用三角形内部双线性插值方法获取二维平面上内部像素点的空间位置信息，最终获得整个观测角度上的三维面模型数据文件；

方案二，在将二维图像上的数值响应映射到三维模型结构上时，同时将对应的纹理图像的编码进行记录，以生成带有二维纹理信息的三维模型结构，而整个三维模型被算法以三角形单元为基础进行拆解，通过逐个融合计算每个三角形在二维和三维上的信息，将整个映射数据模型的融合映射关系进行存储。

本发明至少包括以下有益效果：

本发明实现了多个相机相对统一的三维模型的观测数值的空间映射和多信息的有效融合。本方法在兼容了多相机拍摄的观测角度差异的同时，考虑了基于观测位置产生的数值响应有效性差异，考虑了观测数值的空间分布的平滑性，构建了一套基于相机和观测数模相对位置的映射方法，并基于映射方法设计了一套基于空间梯度分布的多角度相机观测值的空间融合方法，实现了数值的准确映射、多相机数据的三维平滑融合。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明的实施流程图；

图2为重叠三维模型上的关键三维标记点示意图；

图3为隐去图2中重叠三维模型后的关键三维标记点示意图

图4利用三维映射关系获得模型机翼部分网格的二维投射结果；

图5为三维物相空间关系计算和展示示意图；

图6为任意网格点A的平滑计算案例结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

需要说明的是，在本文中所有的模型均指代类似于飞行器的实体或物理模型，所有的三维模型指的是前述模型在三维状态下的结构状态，所有的三维模型结构指代的是采用三维模型软件对前述的模型进行建模后的框架式结构，所有的三维面模型指代的是采用三维模型软件对前述三维模型结构中的框架，采用三角形面片的方式进行填充后，形成的面模型，所有的三角形面片指代的是对前述模型中的各面进行分解后所形成的三角形面片（可简称为三角形）；

本方案实现单相机或多相机二维压力/温度/热流图像到三维模型的重建与显示，其实现方式是基于相机内外参数和三维模型及模型上预设标记点几何坐标，建立二维图像数据到模型三维文件的映射关系，将像平面内的压力/温度/热流图像变换至三维模型的曲面网格点上，满足三维演示及进一步的分析需求。

方案的基本数据输入为三维模型，纹理图像（温度场或者压力场），配对点关系（或者类似的替代数据输入）。具体导出的数据模型为三维和二维纹理图像的映射关系，中间的三维面模型展示，对应观测方位下模型在三维上的压力积分值。基于上述分析，将整个数据处理流程整理如图1所示：

基于上述基本数据处理流程的说明，下面将对方法的执行步骤进行描述，如下：

（1）相机几何标定和图像畸变校正

首先，需要对相机进行几何标定，通过标定后的数据去除光学畸变带来的空间位置变换引入的系统性误差。

利用硅基标定板完成对每个相机的标定，标定后每个相机对应生成一个配置文件，该文件用于描述相机的畸变和焦距参数。基本的相机内参在后续的空间位置换算中极为重要，是空间遮挡判读的基础参数。

例如，标准的立体工件在原始条件下拍摄的结果会略带镜头畸变，通过校准之后，整个模型直线结构由弧线变成了直线，剔除了视区镜头几何畸变带来的数据变形。此处以F22数模三维重构为例，给出畸变校准后的图像结果。

（2）模型三维标记点记录

为了让三维模型和二维图像形成映射关系，此处需要在三维模型上寻找一些关键点作为映射的基础参照物。由于F22模型上有很多相对尖锐的角点和凸起，为此不用额外的引入标签，直接利用大量的棱角即可实现足够的关键点的获取；

在基础三维绘图软件的帮助下，在F22数据模型上找到如图2-图3如示总共27个相对准确的模型角点，作为后续匹配计算和分析判定的基础。

（3）模型和数据帧匹配关系构建

取出二维拍摄任意一个角度观测的数据图像，可以容易的找出之前定义在三维模型上的关键点和对应的点序号。利用鼠标可以轻松的将三维关键点对应在该数据图像上的二维点的坐标位置记录下来；

利用如图2-3如示标准模型上已有的关键点，结合已经标记的二维图像点，则可以构建二维点和三维点之间的对应关系，即利用已有的三维点列和二维点列之间的对应关系可以计算出相机和模型之间的位置和朝向关系，为后续的投影换算提供基础。

利用获取的空间位置关系，可以将三维网格模型的三角形面片位置信息投影到观测二维图像指定的平面上，形成如图4的三维投影结果。

（4）空间投射的误差分析

利用实际拍摄的关键标记点位置，对比利用三维模型中的关键标记点通过计算空间位置在二维的投射位置，即可描述三维映射过程的计算误差。

通常，影响定位误差的有如下几个关键点：

a、标记关键点（二维或者三维）时，手动或者自动提取引入的误差；

b、相机标定时引入的内参矩阵误差；

c、进行三维到二维空间位置映射关系的迭代计算过程中，因为采用最小二乘法，因此会引入误差；

（5）投影的可视区域的计算

由于三维模型投影到二维平面上是个信息降维过程，三维模型空间坐标丢失了深度之后，所有的模型网格投射到二维平面会被重叠到目标区域，形成叠加的网格效果；

实际上，受到模型自身结构的影响，单帧观测的目标是无法涵盖所有的模型中的网格信息映射的，因此需要构建相机和模型之间的实际的三维可视区域的提取流程。为此，利用构建的三维模型和映射关系，结合相机内参，首先换算出相机相对模型空间的几何位置关系，进而可以换算出整个模型在特定观测角度下的朝向角度。如图5所示，三角形为实际相机的空间位置，利用空间观测位置可以准确的计算出模型的可视区域。

计算可视区域，只需要将模型中法线朝向相机位置的角度计算出来，筛选出合理的观测范围内可视的角度的三角形面片片元，将其保留。同时，将超过合理观测夹角范围的网格面进行剔除即可形成可视计算区域。整个模型通过不断的剔除不合理网格信息，即利用物相关系对可视三角形进行约减，最终形成合理的单视角观测条件下的物理模型二维映射。

（6）映射关系的存储

为了保存三维模型向二维图像上的映射关系，此处设计了两种保存映射关系的数据文件。其中一种方案如表1所示，以纹理图为基础，扩展纹理图上每个像素点的信息维度，保存每个像素点在三维空间中的空间位置并保存。由于网格是稀疏的数据结构，因此对大量的二维平面上的像素点，采用三角形内部双线性插值方法获取内部像素点的空间位置信息，最终获得整个观测角度上的三维面模型数据文件。

表1

同时，从稀疏模型文件的角度出发，将二维图像上的数值响应映射到三维模型结构上，同时将对应的纹理图像的编码进行记录，同样可以成为带有二维纹理信息的三维模型结构。此处同样设计了如表2的存储二者映射关系数据文件的另一种方案。

表2

整个复杂的三维模型被算法以三角形单元为基础进行拆解，通过逐个融合计算每个三角形在二维和三维上的信息，将整个映射数据模型的融合映射关系保留下来。

（7）多视角三维融合

由于多个角度拍摄的遮挡导致模型信息相互之间会有各自的缺失部分，利用多个角度的信息融合可以得到更为完整的信息结果。

利用模型作为中间桥接，将所有信息都关联到唯一的三维模型上。我们以第一个纹理为主纹理，将后续的纹理信息补全到首个纹理缺失的部分，最终形成视角更为完整的观测模型结果。

部分三角形网格同时对应着不同的观测相机，由于观测角度和准确性会有影响，同时为了综合各个角度的观测结果以保证整个数据的稳定性，因此，单个网格点的观测数值需要针对各个相机的观测角度进行融合。整个融合过程需要考虑两个方面：（1）融合兼顾观测角度带来的准确性影响；（2）不同的观测角度，带来不同的测量值的变化，融合之后，仍然需要对整体结果进行平滑处理，以保证观测值分布的整体平稳。

具体多视角数值的融合步骤分为下述方案：

1）融合计算：针对任意一个被多角度观测的网格点位置，其观测数值应为多个角度相机观测数值的融合结果。如图5所示，三个摄像机的观测结果中观测角度越是接近正视观测的结果越稳定，数值应该被赋予更大的权重。

如图5所示，假设C1、C2、C3分别为舌相机的空间位置，N1，N2，N3分别为网格ABC、ADB、AEC的法线向量，则相机相对于三角形面片的角度可以用两者的向量点积数值来描述，朝向越好则数值越接近大，其中i表示以观测点A为中心的相邻的三角形的编号，以其数值来表征三角形面片朝向相机的强度，数值越大表征三角形面越是正面朝向被观测相机。表示编号为x的观测相机位置，norm表示对向量进行归一化处理。

常规条件下，正对模型观测面的测量效果相对更好，因此基于对被观测角度度量可以一定程度上衡量相机的观测位置是否有优势，为了弥补多个角度观测可能引入的不稳定，此处提出多观测点加权求和的方式实现观测数值融合，以提升整体结果的稳定性和准确性，如下表达：

其中，V _A 为A位置上融合多个摄像机观测数值的综合表征值，表述从相机Cx角度观察的观测数值，M为当前点被观测到的总有效摄像机个数，/>为摄像机x观测值参与融合的权重；基于此逻辑，逐个遍历整个网格，直到实现了整个网格中的数值的融合，得到完整多视角融合观测值。

2）平滑计算：由于每个摄像机观测的角度和设备的差异，融合后的数值分布容易在不同相机观测的边界产生割裂效果，为此需要引入多视角的数据融合，保证整体数值分布既满足数值的准确和稳定性，同时保留整体的数值分布平滑特性。

如图6所示，首先针对任意相机Cx观测条件下的被观测点A，以广度优先算法，提取以A为顶点的且能够被相机Cx观测到的网格树Ti（i=1、2、…n），并从Ti中提取其它相机同样可以观测到的数据节点的交集，得到同时被所有观测设备观测的交叉区域，构建最大子树Tx。

在最大子树Tx中，以观测点j为中心，计算在Cx相机观测条件下的相对j节点与相邻节点数值的差值同距离的比值关系，多个相机融合的综合表征节点j在所有可观测相机中的梯度响应综合系数/>。

上式中，为相机Cx观测得到的以A为顶点的广度优先遍历的网格树中的任意j节点，/>为相机Cx观测得到的以A为顶点的广度优先遍历的网格树中j+1节点，/>为两个结点之间的欧氏距离，/>为相机Cx观测得到的当前网格点j的梯度响应值，/>为当前节点j上各个可观测相机综合梯度响应值，此处将其作为系数用于衡量该点位置的梯度值响应情况；

在此基础上，计算得到任意观测设备x相对待融合点上的基于梯度值响应系数的权重：

针对任意相机Cx观测条件下的被观测点Pi，以Pi为中心，以广度优先策略提取深度为L的可视区域网格结构Ti，任意点Pj为网络结构Ti中的任意网格点，其相对于Pi的边距离为，则平滑后的网络节点i的融合数值响应Vi计算公式为：

其中，G(x)为均值为0的标准一维高斯函数，Ni为整个Ti树结构中节点i的相邻节点个数，为节点j对节点i的数值响应贡献度，将/>作为观测设备x相对待融合点i上的基于梯度值响应系数的融合权重。综合获取考虑不同视角权重且能够平滑不同节点数值分布差异的综合节点响应/>。

（8）三维模型渲染

将最终的渲染结果进行三维显示有两种渲染模式：纹理渲染模式和颜色渲染模式。其中纹理渲染模式在渲染的过程中，将纹理图像填充到网格模型中的指定位置，渲染出颜色相对逼真的三维效果。颜色渲染模式则是将实际观测的物理响应灰度值转换为颜色，将颜色信息映射到模型上的网格点中，以点之间的双线性插值实现网格面的颜色填充：

1）在纹理渲染模式下，将纹理映射到模型上，形成重新渲染结果，其中蓝色为单帧视线无法观测部分，灰白色为真实数据帧中的纹理颜色。

2）颜色渲染模式

红色为实际二维图像中的灰度映射到三维模型上之后，模型上的关键点之间通过双线性插值填充的彩色平面。最后，模型将颜色值在红色通道上展示，形成了最终的彩色渲染三维模型结果。

增加通过伪彩色模式显示模型表面数值的响应。可以为三维模型表面贴图展示任意设定颜色。

此外，没有被拍摄和计算的部分可以通过采用网格方式展示。以上方案只是一种较佳实例的说明，但并不局限于此。在实施本发明时，可以根据使用者需求进行适当的替换和/或修改。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种多相机三维面模型融合方法，其特征在于，基于各相机内外参数、三维模型以及模型上预设标记点的几何坐标，建立三维模型向二维图像上的映射关系，将平面内的压力、温度、热流图像中的至少一种变换至三维模型的曲面网格点上，采用多视角下的三维数值融合完成三维面模型的重建与显示；

其中，所述三维面模型的重建是基于模型为中间桥接，以其中一个纹理或网格信息做为主信息，将其它纹理或网格信息都补全或关联到主信息上，得到多视角下唯一的三维面模型。

2.如权利要求1所述的多相机三维面模型融合方法，其特征在于，对于网格信息来说，所述三维数值融合的方式被配置为包括对各网格点的融合处理以及融合后的平滑处理。

3.如权利要求2所述的多相机三维面模型融合方法，其特征在于，所融合处理方式被配置为包括：

S10、对于任意一个被多角度观测的网格点位置A，用下式的向量点积数值a _i 描述相机相对于三角形面片的角度：

上式中，C _x 表示编号为x的观测相机位置，分别为与Cx方向上对应网格的法线向量，i表示与观测点A相邻的三角形的编号，norm()表示对向量进行归一化处理的函数；

S11、基于角度数值，则A点的融合公式可以通过如下公式进行表达：

上式中，V _A 为A位置上融合多个摄像机观测数值的综合表征值，表述从相机C _x 角度观察的观测数值，M为当前点被观测到的总有效摄像机个数，/>为摄像机x观测值参与融合的权重，a _j 为当前观测相机j同当前待测三角形面法线的向量点积，a _x 为当前需要融合的相机x同当前待测三角形面法线的向量点积；

S12、逐个遍历整个网格以得到完整多视角融合观测值。

4.如权利要求2所述的多相机三维面模型融合方法，其特征在于，所述平滑处理被配置为包括：

S20、通过下式获取任意相机x相对待融合点上的基于梯度值响应系数的权重：

上式中，为相机Cx观测得到的当前网格点j的梯度响应值，/>为当前节点j上各个可观测相机综合梯度响应值；

S21、对于任意位置上的相机Cx，在观测条件下的单独被观测点Pi，采取以广度优先策略提取深度为L的网格结构Ti；

设任意点Pj为网络结构Ti中的深度为L内的任意网格点，其相对于Pi的边距离为d _ij：

则平滑后的网络节点i的融合数值响应Vi计算公式为：

上式中，G(x)为均值为0的标准一维高斯函数，Ni为整个Ti树结构中节点i的相邻节点个数，为节点j对节点i的数值响应贡献度，将/>作为观测设备x相对待融合点i上的基于梯度值响应系数的融合权重,V _j 为节点j位置上融合多个摄像机观测数值的综合表征值，G(d _ij)为相机Ci的融合权重，可见网格点j上观测数值响应，标准高斯函数下自变量取值为d _ij的函数响应值。

5.如权利要求1所述的多相机三维面模型融合方法，其特征在于，所述映射关系的构建方式被配置为包括：

通过相机的几何标定来描述相机的畸变和焦距参数，以实现对图像的畸变校正；

通过对模型三维标记点进行记录得到模型角点；

基于任意一个校正后的角度观测的数据图像，通过上述模型角点完成模型和数据帧的对应关系构建相机和模型之间的位置和朝向关系，进而利用三维映射关系获得模型全网格的二维投射结果，且映射过程中通过空间投射的误差分析描述三维映射过程的计算误差；

通过投影的可视区域计算得到单视角观测条件下的物理模型二维映射。

6.如权利要求1所述的多相机三维面模型融合方法，其特征在于，还包括对映射关系的存储，所述存储方案被配置为包括：

方案一，以纹理图为基础，扩展纹理图上每个像素点的信息维度，并保存每个像素点在三维空间中的空间位置，采用三角形内部双线性插值方法获取二维平面上内部像素点的空间位置信息，最终获得整个观测角度上的三维面模型数据文件；

方案二，在将二维图像上的数值响应映射到三维模型结构上时，同时将对应的纹理图像的编码进行记录，以生成带有二维纹理信息的三维模型结构，而整个三维模型被算法以三角形单元为基础进行拆解，通过逐个融合计算每个三角形在二维和三维上的信息，将整个映射数据模型的融合映射关系进行存储。