CN114529681A - 一种手持双相机建筑物温度场三维模型构建方法和系统 - Google Patents

Abstract

本发明属于热红外影像摄影测量技术领域，涉及一种无需辅助定位数据的手持双相机温度场三维模型构建方法和系统，包括：获取可见光影像序列与热红外影像序列；根据可见光影像序列生成可见光影像三维点云；对可见光‑热红外影像对进行特征提取与精确匹配；计算热红外影像序列相对于可见光影像点云的外方位元素；利用基于距离缓冲区的可视性检验方法移除被遮挡的错误纹理，确定候选可视纹理特征集合；以最小化重叠影像温度差异为目标，实现热红外影像纹理的最优选择，完成温度场三维模型重建。本发明降低了重叠影像之间的辐射温度差异，能够实现高精度的建筑物立面温度场三维重建。

Description

一种手持双相机建筑物温度场三维模型构建方法和系统

技术领域

本发明涉及一种手持双相机建筑物温度场三维模型构建的方法和系统，属于热红外摄影测量技术领域。

背景技术

为了将建筑物室内温度维持在人体舒适的范围内，建筑物成为了能源消耗的主要贡献者。与建筑物相关的能源消耗约占全球总能源消耗的36％，二氧化碳排放占全球总排放量的39％。为了提升建筑物的有效能源利用率，减少因建筑物部件老化、损坏引起的热损失成为了关键。热红外相机具备捕获及可视化建筑物内热量损失的能力，因此，利用热红外影像序列构建建筑物的三维温度场，并实现建筑物热裂缝的自动识别成为了研究热点。

考虑到单幅热红外影像空间分辨率较低，视场角有限，每张影像只能覆盖三维建筑物场景的一部分，直接应用二维影像缺乏三维空间位置信息。因此，现有研究主要采用将热红外影像序列配准及纹理映射至已有三维模型的方法，构建几何关系正确、温度信息准确的三维模型能够精确地对建筑物热量损失进行定位、识别和可视化。

现有二维影像序列到三维模型的配准方法大多依赖辅助定位数据，如：GNSS/IMU(Global Navigation Satellite System/Inertial Measurement Unit)数据，但是，目前常用的手持式热红外相机通常缺乏先验辅助定位数据，因此，现有方法对于手持式热红外相机并不适用。此外，现有纹理映射方法主要用于可见光影像序列，为了提高三维模型的视觉效果，主要通过条件随机场等模型平滑由不均匀光照条件带来的拼接缝效应。而在热红外影像序列纹理映射中，拼接缝对应建筑物热异常，不适宜用传统方法过度平滑。因此，现有的纹理映射方法难以适用于基于热红外影像序列的建筑物温度场三维重建。

发明内容

针对上述问题，本发明的目的是提供一种手持双相机建筑物温度场三维模型构建的方法和系统，能够实现无需辅助定位数据的建筑物热异常检测。

为实现上述目的，本发明提出了以下技术方案：一种基于手持双相机的建筑物温度场三维模型重建方法，包括：获取可见光影像序列与热红外影像序列；根据可见光影像序列形成可见光影像点云模型；利用异源影像匹配方法实现于可见光-热红外影像对精配准；利用后方交会计算热红外影像序列相对于可见光影像点云模型的相对位姿；利用距离缓冲区技术移除被遮挡的错误纹理，确定每个三维地面点的候选纹理影像集合；以最小化重叠影像温度差异为目标，自动选择每个三维点的最优热红外纹理值，构建精准的三维温度场模型。

进一步，形成可见光影像点云模型的方法为：对可见光影像序列进行特征提取与匹配；通过提取的特征点获得可见光相机内外方位元素，并对其进行优化；经过多视密集匹配生成可见光影像点云。

进一步，可见光-热红外影像对匹配方法为：利用相位一致性方向图(thehistogram of oriented phase congruency,HOPC)分别提取可见光影像与热红外影像的结构相似性特征；通过金字塔逐级引导的影像匹配方法实现可见光-热红外影像对的粗匹配；通过基于薄板样条函数的能量函数优化方法实现可见光-热红外影像对的精匹配。

进一步，相位一致性方向信息表示为：

其中，o_no(θ)表示log Gabor小波在方向θ上的奇对称滤波器卷积结果，采用HOPC描述符的欧式距离作为相似性测度HOPC_n进行同名点匹配。

进一步，金字塔逐级引导的影像匹配方法为：建立影像金字塔，设定金字塔层数和金字塔下采样的比例因子；在原始可见光影像和热红外影像上划分均匀格网，采用分块的Harris算子，提取分布均匀的特征点，特征点提取结束后将特征点的坐标映射到影像金字塔的每一层；在影像金字塔顶层上进行基于HOPC的匹配，以提取的Harris特征点的坐标为中心，依据影像初始精度和金字塔下采样的倍率确定搜索半径，利用HOPC算法进行双向匹配；根据匹配得到的同名点坐标建立影像几何变换模型，采用RANSAC算法剔除误匹配点，将保留下的同名点作为初始值传递至影像金字塔的下一层；在上一层影像金字塔匹配结果的引导下，在本层金字塔上进行基于HOPC的匹配，逐级匹配直到获得可见光-热红外影像对的粗匹配结果。

进一步，基于薄板样条函数的能量函数优化方法为：假设可见光影像点云模型和热红外影像序列中有N对匹配的同名点，其坐标分别用X＝{X_i,i＝1,2,…,N}和Y＝{Y_i,i＝1,2,…,N}表示，用f(Y_i)表示从Y到X的薄板样条映射函数，该变换的能量函数E_tps(f)如下：

其中，λ是系数，上述能量函数中的第一项为精确性约束，第二项是弯曲程度约束，通过对参数的调整使薄板的弯曲能量达到最小值。

进一步，相对位姿的获取方法为：通过单向定位计算可见光影像的特征点在可见光影像点云模型中对应的三维位置坐标；根据三维地面点位置坐标和热红外影像特征点坐标，通过后方交会计算热红外影像相对于可见光影像点云的外方位元素；逐一计算每一幅热红外影像相对于可见光影像点云模型的相对位姿，从而完成热红外影像序列对于可见光影像点云模型的相对定位。

进一步，移除被遮挡的错误纹理的方法为：将所有的三维地面点根据建筑物立面主方向分配至不同的存贮盒中，并将每幅热红外影像的投影中心根据其主方向坐标，分配至对应存贮盒中；以每幅热红外影像为基本单元，每个单元对应的三维地面点通过搜索热红外影像所在的存贮盒及其周围的存贮盒确定；对于热红外影像中的每个像素，只将距离其最近的一个三维地面点定义为可见，移除其他的三维地面点。

进一步，确定每个三维地面点的候选纹理影像的方法为：以每个三维地面点为基本单元，以重叠影像之间的温度差异为目标函数，计算三维地面点温度的算术平均值、几何平均值和调和平均值，以重叠影像的温度差异最小化为目标，从三种平均值中自动选取最小温度差异的方法作为最优纹理，实现温度场三维重建。

本发明还公开了一种基于手持双相机的建筑物温度场三维模型重建系统，包括：影像获取模块，用于获取可见光影像序列与热红外影像序列；可见光影像点云生成模块，用于根据可见光影像序列形成可见光影像点云模型；热红外-可见光影像对匹配模块，用于将可见光影像点云模型与热红外影像序列进行匹配；相对位姿解算模块，用于根据可见光-热红外影像对匹配结果计算热红外影像序列相对于可见光影像点云模型的相对位姿；温度场纹理映射模块，用于移除被遮挡的错误纹理，确定每个三维地面点的候选纹理影像，自动选择最优纹理，生成建筑物温度场的三维模型。

本发明由于采取以上技术方案，其具有以下优点：

1、现有技术主要利用激光点云作为三维基准模型，由于激光扫描仪成本较高，为了降低成本，本发明采用可见光影像点云作为三维基准，通过固连可见光相机与热红外相机的方式实现热红外纹理映射与温度场三维建模。

2、常用的点云与影像序列的配准方法一般要求有较为准确的辅助定位数据作为初始位姿先验信息。本发明不需要此类先验信息，首先通过热红外相机与可见光相机固连的方式确定异源影像对，然后利用热红外-可见光异源影像对匹配、可见光影像单向定位、热红外影像后方交会实现高精度的配准。

3、传统影像匹配方法(如：Scale-Invariant FeatureTransform，SIFT)局限于同源影像匹配，无法处理异源影像匹配，本发明首先利用基于影像金字塔逐级引导的相位一致性方向图(the histogram of oriented phase congruency,HOPC)匹配方法实现可见光-热红外影像对的粗配准；然后利用基于薄板样条函数的影像几何变换实现可见光-热红外影像对的精优化。

4、在实现了二维影像序列至三维点云的配准之后，同一个三维地面点对应不同热红外影像的温度值应该是不变的，但是，实际上，由于外界环境变化、定标误差等因素的影响，导致重叠影像上提供的温度值存在差异。本发明提出了一种基于最小化重叠影像温度差异的最优纹理选择方法，实现精准的建筑物温度场三维重建。

附图说明

图1是本发明一实施例中基于手持双相机的建筑物温度场三维模型构建方法示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

为了解决现有技术中在提高三维模型的视觉效果时，通过条件随机场等模型平滑由不均匀光照条件带来的拼接缝效应。而在热红外影像序列纹理映射中，拼接缝对应建筑物热异常，不适宜用传统方法过度平滑的技术问题，本发明提供了一种手持双相机建筑物温度场三维模型构建方法和系统，本发明通过固连的可见光相机与热红外相机系统即可实现热红外纹理映射与温度场三维建模，无需使用成本较高的激光扫描仪；本发明通过热红外-可见光异源影像对匹配、可见光影像单向定位和热红外影像后方交会实现可见光影像和热红外影像的高精度配准，无需提供先验信息，配准的精度更高，准确性更好，结果不依赖于先验信息。本发明通过基于影像金字塔逐级引导的相位一致性方向图(the histogramof oriented phase congruency，HOPC)匹配方法实现可见光-热红外影像对的粗配准；利用基于薄板样条函数的影像几何变换实现可见光-热红外影像对的精优化；通过最小化重叠影像温度差异的方法实现了热红外纹理的最优选择和建筑物三维温度场重建。

实施例一

图1是本发明一实施例中基于手持双相机的建筑物三维温度场构建方法，如图1所示，包括：

S1获取可见光影像序列与热红外影像序列。

本实施例中手持双相机系统包括固连的可见光相机与热红外相机。在对建筑物立面拍摄的过程中，手持双相机系统通过水平方向的平移和垂直方向的俯仰，生成具有高重叠度的热红外影像序列与可见光影像序列，任一时刻两相机均同时成像。本实施例中成像系统也可以采用其他移动方式实现成像，如：放置在无人机或飞机上。可见光影像序列用于构建精细的建筑物立面三维模型，热红外影像序列用于为建筑物立面提供准确的温度场。

S2根据可见光影像序列形成可见光影像点云模型。

由于热红外影像空间分辨率低、对比度差、影像边缘特征模糊，运用现有三维重建技术难以实现基于热红外影像序列的高质量三维重建。本实施例利用运动结构恢复技术(Structure from Motion,SfM)对可见光影像序列进行三维重建获得可见光影像点云，其具体步骤包括：

S2.1对可见光影像序列进行特征提取与匹配；

S2.2利用特征匹配结果获取可见光影像序列的内外方位元素；

S2.3利用多视密集匹配技术生成可见光影像点云模型。

S3可见光-热红外影像对匹配。本实施例采用手持双相机同时获取异源影像序列的方法，因此，对于每一幅可见光影像，自然存在一幅拍摄同一场景的热红外影像。为了建立热红外影像序列与可见光影像序列之间的位姿关系，本实施例利用基于影像金字塔逐级引导的相位一致性方向图(HOPC)匹配方法和基于薄板样条函数的影像几何变换方法实现可见光-热红外影像对的精优化。其具体操作过程如下：

S3.1利用相位一致性方向图(HOPC)算法提取热红外影像与可见光影像的角点特征和边缘特征，作为候选特征集。现有基于影像灰度或梯度的方法无法解决热红外-可见光异源影像的匹配问题。这些传统影像匹配方法无法有效适用的原因是它们主要利用影像空间域的梯度信息进行特征点的描述和探测，因此，只能处理影像中较小的线性灰度变化，但是，热红外-可见光影像对中往往存在巨大的非线性辐射差异。本实施例利用基于相位一致性方向图(HOPC)算法实现热红外-可见光影像对的特征点检测及描述，通过频率域相位图实现了顾及异源影像非线性辐射差异的鲁棒性描述。

相位一致性方向图，即HOPC，是从频率域的角度计算角点等显著性特征在影像Fourier谐波分量叠加的最大相位值，由于相位一致性理论是用余弦函数表示局部能量，其圆滑的峰值会导致定位比较困难，因此，利用log Gabor滤波器对相位一致性中的局部能量公式进行改进，从一维空间扩展至二维空间，能够取得不错的效果。相位一致性模型获得的强度信息PC(x,y)可表示为：

其中，W_o(x,y)为频率扩展的权重因子；A_no(x,y)为像点(x，y)在log Gabor滤波器尺度n和方向o上的振幅；ξ为噪声阈值；

符号表示值为正时取本身，否则取0；ε是一个避免除数为零的小常数；A_no(x,y)ΔΦ_no(x,y)通过log Gabor小波的偶对称滤波器响应值和奇对称滤波器响应值计算得到。

相位一致性方向直方图则是借助梯度方向直方图(Histogram of OrientatedGradient，HOG)的模板结构，不仅利用了相位一致性强度信息，而且结合相位一致性的方向信息，构建了一种可以反映影像内部结构的特征描述子HOPC，适用于形状、结构相似但非线性辐射差异显著的可见光影像和热红外影像匹配。其相位一致性方向信息Φ可以表示为：

Φ＝arctan(∑_θ(o_no(θ)sinθ),∑_θ(o_no(θ)cosθ)) (2)

其中，o_no(θ)表示log Gabor小波在方向θ上的奇对称滤波器卷积结果。采用HOPC描述符的欧式距离作为相似性测度(HOPC_n)进行同名点匹配，计算公式表示为：

式中，V_A和V_B分别表示模板影像A和B的HOPC描述符。

基于HOPC的影像匹配方法能够较好地顾及可见光影像和热红外影像间的非线性辐射差异，但是，HOPC不具有旋转不变性和尺度不变性，不适用于异源影像具有旋转变化和尺度差异的情况。此外，由于HOPC需要提取影像的几何结构与形状轮廓特征作为候选匹配特征，当影像的结构和形状特征不够丰富时，其匹配性能也会有所下降。

S3.2通过金字塔逐级引导的影像匹配方法实现可见光-热红外影像对的粗匹配。

考虑到基于HOPC的影像匹配方法对于旋转和尺度变化较为敏感，本实施例采用了影像金字塔逐级引导的匹配策略，具体步骤如下：

S3.2.1建立影像金字塔，设定金字塔层数和金字塔下采样的比例因子。

由于热红外影像空间分辨率有限(640×512像素)，金字塔层数设定为3，金字塔下采样的比例因子设置为2，即金字塔中上一层影像行方向和列方向的大小均为相邻下一层影像的1/2，且每一层可见光影像均下采样至与热红外影像相似的像素数。

S3.2.2在原始影像上划分均匀格网，采用分块的Harris算子，提取分布均匀的特征点，特征点的提取方式与HOPC算法相同，特征点提取结束后将特征点的坐标映射到影像金字塔的每一层。

S3.2.3在影像金字塔顶层上进行基于HOPC的匹配，以提取的Harris特征点的坐标为中心，依据影像初始精度和金字塔下采样的倍率确定搜索半径，利用HOPC算法进行双向匹配。

S3.2.4根据匹配得到的同名点坐标建立影像几何变换模型，采用RANSAC(randomsample consensus)算法剔除误匹配点，将保留下的同名点作为初始值传递至影像金字塔的下一层。

S3.2.5在上一层影像金字塔匹配结果的引导下，在本层金字塔上进行基于HOPC的匹配，逐级匹配直到获得可见光-热红外影像对的粗匹配结果。

S3.3通过基于薄板样条函数的能量函数优化方法实现可见光-热红外影像对的精匹配。

在可见光影像和热红外影像之间获得足够的同名像点之后，确定最佳的几何变换模型对于影像间的精确匹配至关重要。原始的HOPC匹配方法采用的是分段线性模型对影像进行几何变换，该模型适用于特征点数量较少的情形，当特征点数量较多时存在几何变换模型不连续、受误匹配点影响较大的不足。而薄板样条函数能够将同名点之间的几何变换关系分解为刚性变换和非刚性变换，在保证同名点之间一一对应的约束条件下，通过最小化能量函数，联合求解点集之间的匹配矩阵和映射参数，实现影像之间的高精度配准。

其具体步骤如下：假设可见光影像点云模型和热红外影像序列中有N对匹配的同名点，其坐标分别用X＝{X_i,i＝1,2,…,N}和Y＝{Y_i,i＝1,2,…,N}表示，其中，

用f(Y_i)表示从Y到X的薄板样条映射函数，其能量函数E_tps(f)如下：

其中，λ是系数，上述能量函数中的第一项为精确性约束，主要作用是使热红外影像中的点尽可能精确地映射到可见光影像中的同名点；第二项是弯曲程度约束，通过对系数λ的调整使薄板的弯曲能量达到最小值，即通过最小化能量函数E_tps(f)，得到映射函数的最优解。

S4计算热红外影像序列相对于可见光影像点云模型的相对位姿，利用基于距离缓冲区的可视性检验方法移除被遮挡的错误纹理，确定每个三维地面点的候选纹理影像，以最小化重叠影像提供的温度差异为目标，通过对比三种不同的热红外纹理映射方法，实现最优的纹理选择，生成建筑物温度场的三维模型。

S4.1通过可见光-热红外影像对匹配计算热红外影像相对于可见光影像点云的相对位姿。首先，利用单向定位计算可见光影像的特征点在可见光影像点云模型中对应的三维位置坐标；根据三维地面点位置坐标和热红外影像特征点坐标，通过后方交会计算热红外影像相对于可见光影像点云的外方位元素。逐一计算每一幅热红外影像相对于可见光影像点云的相对位姿，从而完成热红外影像序列对于可见光影像点云模型的相对定位。

S4.2利用基于距离缓冲区的可视性检验移除被遮挡的错误纹理，确定每个三维地面点的候选可视纹理特征集合。

在热红外纹理映射之前，对于可见光三维模型上的每个点，必须建立一个可视的候选影像列表。考虑到每幅热红外影像只能覆盖整个建筑物立面的一小部分，本实施例采用基于空间细分的距离缓冲区算法检测遮挡。其具体方法为：

S4.2.1将所有的三维地面点根据建筑物立面主方向分配至不同的存贮盒中，并将每幅热红外影像的投影中心根据其主方向坐标，分配至对应存贮盒中；

S4.2.2以每幅热红外影像为基本单元，每个单元对应的三维地面点通过搜索影像所在存贮盒及其周围的存贮盒而不是整个立体点云来确定，这样有助于提升距离缓冲区算法的效率。

S4.2.3对于热红外影像中的每个像素，只有距离其最近的一个三维地面点才能被定义为是可见的，移除其他的三维地面点。通过以上方法，即可确定每个三维地面点对应的候选可视纹理集合。

S4.3以最小化重叠影像温度差异为目标，完成最优纹理选择，实现精准的建筑物立面温度场三维重建。

在实现了二维热红外影像序列至三维可见光点云的配准之后，重叠影像之间仍然存在一定程度的辐射亮度差异和大量的信息冗余。对于同一地物而言，重叠影像提供的温度值理论上应该是完全相同的，但是，由于微小的几何配准误差和辐射温度差异，重叠影像提供的温度值并不相同。因此，本实施例提出了一种基于重叠影像温度差异最小化的最优纹理选择方法：以每个三维地面点为基本单元，以重叠影像之间的温度差异为目标函数，计算三维地面点温度的算术平均值、几何平均值和调和平均值，从而获得三维地面点的平均温度值，将平均温度值和热红外影像序列中对应点进行比较，获得重叠影像的温度差异，使温度差异最小化，从而获得最终的纹理映射结果，实现温度场三维重建。

具体而言，对于地面点p，其对应的候选热红外重叠影像集合为I_p，重叠影像数量为n_p，重叠影像之间的温度差异e_p计算方法如下式所示：

其中，(R_i,T_i)表示影像I_i的外方位元素，G_i(p,R_i,T_i)表示地面点p在某一重叠影像I_i(I_i∈I_p)上的温度值，平均温度值

可以表达为算术平均值

几何平均值

或者调和平均值

由于影像获取时间较短，可以认为地面点p在影像获取过程中保持不变，重叠影像提供的温度值应该完全相同。但是，由于微小的几何配准误差和辐射温度差异，重叠影像提供的温度值并不相同。因此，对于地面点p而言，为了使重叠影像提供的温度差异e_p达到最小值，本实施例对比三种不同纹理选择方法(算术平均值、几何平均值、调和平均值)的优劣，即利用公式(5)分别计算三种纹理选择方法的重叠影像温度差异，自动选择能够取得最小温度差异的方法完成纹理映射，实现温度场三维重建。

实施例二

基于相同的发明构思，本实施例公开了一种基于手持双相机的建筑物温度场三维模型重建系统，包括：

影像获取模块，用于获取可见光影像序列与热红外影像序列；

可见光影像点云生成模块，用于根据可见光影像序列形成可见光影像点云模型；

热红外-可见光影像对匹配模块，用于将可见光影像点云模型与热红外影像序列进行匹配；

相对位姿解算模块，用于根据可见光-热红外影像对匹配结果计算热红外影像序列相对于可见光影像点云模型的相对位姿；

温度场纹理映射模块，用于移除被遮挡的错误纹理，确定每个三维地面点的候选纹理影像，自动选择最优纹理，生成建筑物温度场的三维模型。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于手持双相机的建筑物温度场三维模型构建方法，其特征在于，包括：

获取可见光影像序列与热红外影像序列；

根据所述可见光影像序列形成可见光影像点云模型；

基于所述可见光-热红外影像对匹配计算所述热红外影像序列相对于可见光影像点云模型的相对位姿；

基于所述距离缓冲区算法移除被遮挡的错误纹理，确定每个三维地面点的候选纹理影像，从而生成建筑物温度场的三维模型。

2.如权利要求1所述的建筑物温度场三维模型构建方法，其特征在于，所述形成可见光影像点云模型的方法为：

对所述可见光影像序列进行特征提取与匹配；

通过特征匹配结果获取可见光影像序列的内外方位元素，并对其进行优化；

利用多视密集匹配技术生成可见光影像点云模型。

3.如权利要求1所述的建筑物温度场三维模型构建方法，其特征在于，所述将可见光影像点云模型与热红外影像序列进行匹配的方法为：

通过相位一致性方向直方图特征提取可见光影像与热红外影像的候选特征集；

通过金字塔逐级引导的影像匹配方法实现可见光-热红外影像对的粗匹配；

通过基于薄板样条函数的能量函数优化方法实现可见光-热红外影像对的精匹配。

4.如权利要求3所述的建筑物温度场三维模型构建方法，其特征在于，所述相位一致性方向信息表示为：

其中，o_no(θ)表示log Gabor小波在方向θ上的奇对称滤波器卷积结果，采用HOPC描述符的欧式距离作为相似性测度HOPC_n进行同名点匹配。

5.如权利要求3所述的建筑物温度场三维模型构建方法，其特征在于，所述金字塔逐级引导的影像匹配方法为：

建立影像金字塔，设定金字塔层数和金字塔下采样的比例因子；

在原始热红外影像和可见光影像上划分均匀格网，采用分块的Harris算子，提取分布均匀的特征点，特征点提取结束后将特征点的坐标映射到所述影像金字塔的每一层；

在影像金字塔顶层上进行基于HOPC的匹配，以提取的Harris特征点的坐标为中心，依据影像初始精度和金字塔下采样的倍率确定搜索半径，利用HOPC算法进行双向匹配；

根据匹配得到的同名点坐标建立影像几何变换模型，采用RANSAC算法剔除误匹配点，将保留下的同名点作为初始值传递至影像金字塔的下一层；

在上一层影像金字塔匹配结果的引导下，在本层金字塔上进行基于HOPC的匹配，逐级匹配直到获得可见光-热红外影像对的粗匹配结果。

6.如权利要求3所述的建筑物温度场三维模型构建方法，其特征在于，所述基于薄板样条函数的能量函数优化方法为：

假设可见光影像点云模型和热红外影像序列中有N对匹配的同名点，其坐标分别用X＝{X_i,i＝1,2,…,N}和Y＝{Y_i,i＝1,2,…,N}表示，其中，

用f(Y_i)表示从Y到X的薄板样条映射函数，该转换关系的能量函数E_tps(f)如下：

其中，λ是系数，上述能量函数中的第一项为精确性约束，第二项是弯曲程度约束，通过对参数的调整使薄板的弯曲能量达到最小值。

7.如权利要求2所述的建筑物温度场三维模型构建方法，其特征在于，所述相对位姿的获取方法为：

通过单向定位计算可见光影像的特征点在可见光影像点云模型中对应的三维位置坐标；

根据三维地面点位置坐标和热红外影像特征点坐标，通过后方交会计算热红外影像相对于可见光影像点云的外方位元素；

逐一计算每一幅热红外影像相对于可见光影像点云模型的相对位姿，从而完成热红外影像序列对于可见光影像点云模型的相对定位。

8.如权利要求2所述的建筑物温度场三维模型构建方法，其特征在于，所述移除被遮挡的错误纹理的方法为：

将所有的三维地面点根据建筑物立面主方向分配至不同的存贮盒中，并将每幅热红外影像的投影中心根据其主方向坐标，分配至对应存贮盒中；

以每幅热红外影像为基本单元，每个单元对应的三维地面点通过搜索热红外影像所在的存贮盒及其周围的存贮盒确定；

对于热红外影像中的每个像素，只将距离其最近的一个三维地面点定义为可见，移除其他的三维地面点。

9.如权利要求2所述的建筑物温度场三维模型构建方法，其特征在于，所述确定每个三维地面点最优纹理的方法为：以每个三维地面点为基本单元，以最小化重叠影像之间的温度差异为目标函数，计算三维地面点温度的算术平均值、几何平均值和调和平均值，将所述平均温度值和热红外影像序列中对应点进行比较，获得重叠影像的温度差异，自动选择能够取得最小温度差异的方法完成纹理映射，实现温度场三维构建。

10.一种基于手持双相机的建筑物温度场三维模型构建系统，其特征在于，包括：

影像获取模块，用于获取可见光影像序列与热红外影像序列；

可见光影像点云生成模块，用于根据所述可见光影像序列形成可见光影像点云模型；

热红外-可见光影像对匹配模块，用于将可见光影像点云模型与热红外影像序列进行匹配；

温度场纹理映射模块，用于根据所述可见光-热红外影像对匹配结果计算所述热红外影像序列相对于可见光影像点云模型的相对位姿，移除被遮挡的错误纹理，确定每个三维地面点的最优纹理影像，生成建筑物温度场的三维模型。

Images