CN114529682A - 一种机载热红外影像建筑物真三维温度场构建方法和系统 - Google Patents
一种机载热红外影像建筑物真三维温度场构建方法和系统 Download PDFInfo
- Publication number
- CN114529682A CN114529682A CN202210124706.3A CN202210124706A CN114529682A CN 114529682 A CN114529682 A CN 114529682A CN 202210124706 A CN202210124706 A CN 202210124706A CN 114529682 A CN114529682 A CN 114529682A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- thermal infrared
- image point
- visible light
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000005457 optimization Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract 11
- 239000013598 vector Substances 0.000 claims description 46
- 238000013507 mapping Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005057 refrigeration Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明属于热红外摄影测量技术领域，涉及一种机载热红外影像建筑物真三维温度场构建方法和系统，包括：通过倾斜航空摄影获取可见光影像序列与热红外影像序列；根据可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；基于粗配准结果，通过共轭四平面匹配集合实现可见光影像点云与热红外影像点云精配准；确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行微调，从而实现大范围温度场三维构建。本发明降低了重叠影像之间的微小几何配准误差和辐射温度差异，能够实现高精度的建筑物温度场三维构建。
Description
技术领域
本发明涉及一种机载热红外影像建筑物真三维温度场构建方法和系统，属于热红外摄影测量技术领域。
背景技术
得益于非制冷型微测热辐射计的快速发展，非制冷型热相机广泛应用于建筑物密闭性检测，森林火灾防护，流体流速测量，夜间视觉，精准农业等领域。考虑到大范围建筑物区域能源消耗占全球总能耗的三分之一，因此，削减全部区域的建筑物能耗成为各国节能减排的重中之重。为了提升建筑物的有效能源利用率，减少因建筑物部件老化、损坏引起的热损失成为了关键。热红外成像相机能够捕获并可视化建筑物不同部位的热异常，准确定位建筑物损坏、裂缝等不良现象。由于热红外相机的空间分辨率有限，视场角狭窄，每一张热红外影像只能覆盖大范围地观测场景中的一部分，而且直接应用二维热红外影像会失去物体在三维空间的细节特征，难以建立物体二维投影与真实三维模型之间的联系，因此，目前本领域的研究主要集中于融合热红外影像序列与大范围三维模型，构建三维温度场。但是，现有大多数热红外影像序列与三维模型的融合方法主要应用于小范围建筑物区域的密闭性分析，如单栋建筑物的热裂缝检测，基于大尺度建筑物群场景的热红外三维建模仍然欠缺。
发明内容
针对上述问题，本发明的目的是提供一种能够适应大尺度建筑物群的高精度真三维温度场重建方法和系统。
为实现上述目的，本发明提出了以下技术方案：一种建筑物真三维温度场重建方法，包括：通过倾斜航空摄影获取可见光影像序列与热红外影像序列；根据可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；基于粗配准结果，通过共轭四平面匹配集合实现可见光影像点云与热红外影像点云的精配准；确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行微调，从而实现大范围温度场三维重建。
进一步，可见光影像点云和热红外影像点云通过运动结构恢复技术(Structurefrom Motion,SfM)对可见光影像序列与热红外影像序列进行三维重建，分别生成可见光影像点云和热红外影像点云，并利用辅助定位数据实现可见光影像点云与热红外影像点云的粗配准。
进一步，精配准的方法为：基于八叉树的点云压缩方法对可见光影像点云和热红外影像点云进行重采样，实现可见光影像点云与热红外影像点云的体素化；计算可见光影像点云与热红外影像点云各体素的显著性特征，并将体素分类为平面区域和非平面区域，通过显著性特征确定属于平面区域的体素集合，合并相邻平面区域内的体素，从而实现可见光影像点云与热红外影像点云的平面面片提取；根据平面面片提取的结果，以粗配准结果为先验条件，通过共轭四平面集合实现可见光影像点云与热红外影像点云的精配准。
进一步，显著性特征的计算方法为：根据可见光影像点云与热红外影像点云的体素内离散点分布，计算协方差矩阵；通过主成分分析计算协方差矩阵的特征值和特征向量；通过特征值和特征向量计算体素的显著性特征。
进一步，体素分类的方法为：比较三个显著性特征的大小，若第二个显著性特征大于第一个显著性特征，且大于第三个显著性特征，则体素为平面区域，否则为非平面区域。
进一步，共轭四平面匹配集合的方法为：以可见光影像点云为基准模型，寻找空间距离远且法向量角度相差大的四个平面{Pa,Pb,Pc,Pd}作为基准四平面；以热红外影像点云为目标模型，寻找空间距离远且法向量角度相差大的四个平面{P′a,P′b,P′c,P′d}作为目标四平面；以基准模型和目标模型的四个平面的法向量与相交向量之间的夹角比例不变为匹配条件，采用随机抽样一致性算法RANSAC找到满足匹配条件最多的内点匹配集合，并利用最小二乘方法实现仿射变换参数的精确解算，从而实现可见光影像点云和热红外影像点云的精配准。
进一步，候选热红外纹理集合的确定方法为：通过距离缓冲区可视性检验方法移除被遮挡的错误纹理，确定每个三维地面点的候选热红外纹理集合；通过重叠影像的最大温度差异筛选漫反射地面点作为全局影像位姿优化的目标；以每个漫反射三维地面点为基本单元，以最小化重叠影像之间的温度差异为目标，利用最小二乘方法实现热红外影像序列位姿优化，计算重叠影像的等权温度平均值作为热红外纹理映射结果，完成真三维温度场模型重建。
进一步，热红外影像序列位姿优化的方法为：计算所有候选热红外纹理集合的平均温度值，并将其作为参考温度值；计算每一个重叠影像温度值和参考温度值之间的温度差；将温度差之和作为全局目标函数；将全局目标函数表达为最小二乘形式，迭代优化重叠影像的外方位元素，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止；计算所有重叠影像的等权温度平均值作为热红外纹理映射结果，生成建筑物的真三维温度场。
进一步，迭代优化重叠影像的外方位元素的方法为：令x表示目标优化向量，待优化参数包括所有重叠影像的外方位元素，累加每一幅重叠影像与重叠影像平均温度值之间的差值，并通过以下公式进行更新：
xk+1＝xk+Δx
其中，k是迭代次数，Δx是更新向量，持续进行迭代，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止。
本发明还公开了一种建筑物真三维温度场重建系统，包括：影像获取模块，用于通过倾斜航空摄影系统获取可见光影像序列与热红外影像序列；粗配准模块，用于根据可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；精配准模块，用于根据粗配准结果，通过共轭四平面匹配集合实现可见光影像点云与热红外影像点云的精配准；纹理映射模块，用于确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行微调，从而实现大范围温度场三维重建。
本发明由于采取以上技术方案，其具有以下优点：
1、现有基于辅助定位数据(Global Navigation Satellite System/InertialMeasurement Unit,GNSS/IMU)的运动结构恢复技术(SfM)无法生成具有高精度配准关系的异源影像点云，本发明利用共轭四平面匹配集合法向量与相交向量夹角比例不变的原则，实现了可见光影像点云与热红外影像点云的高精度配准，为热红外纹理映射和建筑物真三维温度场模型重建奠定了坚实的基础。
2、在实现了二维热红外影像序列至三维点云模型的配准之后，重叠影像之间仍然存在较小尺度的几何误匹配、一定程度的辐射亮度差异和大量的冗余信息。本发明假设同一漫反射物体在重叠影像上的温度值保持不变，提出了一种在纹理映射过程中迭代优化候选影像外方位元素的方法，实现了高精度的建筑物真三维温度场重建。
3、现有方法主要针对单一建筑物或者小范围区域开展研究，本发明提供的方法能够快速、粗略地探测大范围建筑物群的潜在热异常，为大范围场景的热异常筛查提供了有效支撑。需要说明的是，在实际应用中，为了提高热异常检测结果的精度，还需要对潜在热异常区域进行实地考察，从而排除由不同建筑材料辐射率差异引起的误判。
4、基于倾斜机载的热红外影像序列不仅能够提供建筑物群的屋顶信息，而且能够描述建筑物群的立面信息，从而实现涵盖建筑物群屋顶与立面的真三维温度场重建。该成果不仅能够用于建筑物群的热异常检测，而且能够辅助建筑物太阳能选址。通过真三维温度场分析，能够方便地找到建筑物上受太阳光照射最多的位置，进而实现太阳能的智能选址。
附图说明
图1是本发明一实施例中建筑物真三维温度场重建方法的流程图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。
本发明涉及一种基于倾斜机载热红外影像序列的建筑物真三维温度场重建方法，主要包含4个可见光相机和4个非制冷型热红外相机，可见光相机与热红外相机以相同的帧频(5Hz)同时获取影像，相机系统搭载在固定翼无人机上，在高度为150米的上空获取影像数据。考虑到可见光影像的空间分辨率较高、纹理信息更加丰富，本发明将可见光影像点云作为三维基准模型，利用热红外影像序列提供温度信息。因此，为了融合热红外影像序列与可见光影像点云，首先需要实现二维热红外影像序列到三维可见光影像点云模型的配准；经过配准后，重叠影像之间仍然存在一定程度的辐射亮度差异和信息冗余，本发明采用全局影像位姿优化的方法，降低纹理映射结果中的拼接缝效应，实现高精度的真三维温度场模型重建。
实施例一
本实施例公开了一种基于倾斜机载热红外影像序列的建筑物真三维温度场重建方法，如图1所示，包括：
S1通过倾斜机载航空摄影获取可见光影像序列与热红外影像序列。倾斜机载航空摄影装置包括4个可见光相机和4个非制冷型热红外相机。
S2根据可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准。
可见光影像点云和热红外影像点云通过运动结构恢复技术SfM对可见光影像序列与热红外影像序列进行重建，分别生成可见光影像点云和热红外影像点云，并利用辅助定位数据(GNSS/IMU)实现可见光影像点云与热红外影像点云的粗配准。
S3基于粗配准结果，通过共轭四平面匹配集合实现可见光影像点云与热红外影像点云精配准。
S3.1基于八叉树的点云压缩方法对可见光影像点云和热红外影像点云进行重采样，实现可见光影像点云与热红外影像点云的体素化；
S3.2计算各个体素的显著性特征，并将体素分类为平面区域和非平面区域，通过显著性特征确定属于平面区域的体素集合，合并相邻平面区域内的体素，从而实现可见光影像点云与热红外影像点云的平面面片提取。
S3.3根据平面面片提取的结果，以粗配准的结果为先验条件，通过共轭四平面集合实现可见光影像点云与热红外影像点云的精配准。
显著性特征的计算方法为：统计可见光影像点云与热红外影像点云体素内的离散点分布情况，计算协方差矩阵；通过主成分分析计算协方差矩阵的特征值(λ1>λ2>λ3)和特征向量(e1,e2,e3)，其中，特征向量e3即为目标体素s的法向量；通过特征值和特征向量计算体素的显著性特征。其计算公式为：
体素分类的方法为：比较三个显著性特征的大小，若第二个显著性特征大于第一个显著性特征，且大于第三个显著性特征，则体素为平面区域，否则为非平面区域。
体素分类结果可以用下式表示：
其中，hs是分类结果；s是体素，(m1,m2,m3)是体素s的显著性特征。将相邻的平面体素合并为平面面片，并利用公式(2)判断合并体素是否满足平面条件，若满足条件，则合并为平面面片；若不满足条件，则不进行合并。经过多次迭代，直到无法再进行合并为止。
共轭四平面匹配集合的方法为：以可见光影像点云为基准模型，寻找空间距离远且法向量角度相差大的四个平面{Pa,Pb,Pc,Pd}作为基准四平面，{na,nb,nc,nd}表示四个平面{Pa,Pb,Pc,Pd}的法向量，Cab表示由向量na和向量nb组成的平面，Ccd表示由向量nc和向量nd组成的平面，v表示平面Cab与平面Ccd之间的相交向量，双平面{Pa,Pb}法向量{na,nb}、双平面{Pc,Pd}法向量{nc,nd}与相交向量v之间的夹角比例rab和rcd为：
以热红外影像点云为目标模型，寻找空间距离远且法向量角度相差大的四个平面{P′a,P′b,P′c,P′d}作为目标四平面。{n′a,n′b,n′c,n′d}表示四个平面{P′a,P′b,P′c,P′d}的法向量，C′ab表示由向量n′a和向量n′b组成的平面，C′cd表示由向量n′c和向量n′d组成的平面，v′表示平面C′ab与平面C′cd之间的相交向量，双平面{P′a,P′b}法向量{n′a,n′b}、双平面{P′c,P′d}法向量{n′c,n′d}与相交向量v′之间的夹角比例r′ab和r′cd为：
粗配准下的可见光影像点云与热红外影像点云之间仍然存在包含旋转和平移的刚体仿射变换。在仿射变换条件下，以共轭四平面为匹配准则，即可实现可见光影像点云与热红外影像点云的精配准。匹配条件为基准四平面和目标四平面的法向量与相交向量之间的夹角比例保持不变，即满足如下条件：
因此，理论上只需要找到可见光影像点云与热红外影像点云中的一对共轭四平面匹配集合即可确定它们之间的仿射变换参数(即旋转变换参数和平移变换参数)。但是，在实际求解过程中，可见光影像点云与热红外影像点云一般包含上百对共轭四平面。本实施例中采用随机抽样一致性算法RANSAC(Random sample consensus)找到满足匹配条件，即公式(7)中的条件，最多的内点匹配集合，并利用最小二乘方法实现仿射变换参数的精确解算，从而实现可见光影像点云和热红外影像点云的精配准。
S4确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行微调，从而实现大范围温度场三维重建。
在实现了二维影像序列至三维点云的配准之后，重叠影像之间仍然存在较小的几何误匹配、一定程度的辐射亮度差异和大量的信息冗余。考虑到机载影像获取时间较短，假设同一地物在相邻的重叠影像上温度值保持不变，本实施例提出了一种在纹理映射过程中继续优化候选影像外方位元素的方法，即通过最小化重叠影像的温度差异实现全局影像位姿优化，其具体过程如下：
S4.1通过距离缓冲区可视性检验方法移除被遮挡的错误纹理，确定每个三维地面点的候选热红外纹理集合。
在热红外纹理映射之前，对于可见光影像点云上的每个点，建立一个可视的候选影像列表。考虑每幅热红外影像只能覆盖大范围建筑物群的一小部分，本实施例中采用基于空间细分的距离缓冲区算法检测遮挡。具体的处理方法为：
S4.1.1将所有的三维地面点根据建筑物立面主方向分配至不同的存贮盒中，同时将每幅热红外影像的投影中心根据其主方向坐标，分配至对应存贮盒中；
S4.1.2以每幅热红外影像为基本单元，每个单元对应的三维地面点通过搜索影像所在存贮盒，及其周围的存贮盒而不是整个立体点云，来确定单元位置，这样有助于提升距离缓冲区算法的效率。
S4.1.3对于热红外影像中的每个像素，只有距离其最近的一个三维地面点才能被定义为是可见的，移除其他的三维地面点。通过以上方法，即可确定每个三维地面点对应的候选可视纹理集合。
S4.2利用重叠影像的最大温度差异筛选漫反射地面点作为全局影像位姿优化的目标。由于影像获取时间较短，假设同一漫反射地物在不同拍摄角度的热红外重叠影像上保持温度不变是正确的，但是，对于镜面反射目标(如：金属、玻璃)而言，该假设并不成立，因为镜面反射物体总是反射附近其他物体的温度值，且测量结果与入射角度密切相关。因此，本发明提出了一种识别镜面反射地物的方法，用于排除镜面反射地面点参与全局影像位姿优化。
S4.2.1对于地面点p，其对应的候选热红外重叠影像集合为Ip，候选重叠影像数量为np，(Ri,ti)表示影像Ii的外方位元素，Ti(p,Ri,ti)表示地面点p在某一重叠影像Ii(Ii∈Ip)上的温度值，计算所有重叠影像的平均温度值
作为标准值如公式(8)所示。
S4.2.2计算所有候选重叠影像温度值Ti(p,Ri,ti)与标准值
之差的绝对值，统计所有重叠影像中的最大温度差异ΔT(p)，若ΔT(p)的值大于设定的阈值θT，则地面点p为镜面反射点；若ΔT(p)的值小于等于设定的阈值θT，则地面点p为漫反射点。本发明利用上述方法排除镜面反射点的影响，即全局目标函数中仅包含漫反射地面点(如：混凝土，木材)参与热红外影像位姿优化。
S4.3以每个漫反射三维地面点为基本单元，以最小化重叠影像之间的温度差异为目标，利用最小二乘方法实现热红外影像序列位姿优化，计算重叠影像的等权温度平均值作为热红外纹理映射结果，完成真三维温度场模型重建。
S4.3.1对于漫反射地面点pj，以所有候选影像的平均温度值为标准值
计算每一个候选影像的温度值与标准值之差，并累加所有候选重叠影像的温度差之和构成全局目标函数。对于影像Ii，目标函数e(Ri,ti)代表了其包含的所有地面点的温度差异，其公式为：
其中，Ni代表影像Ii包含的地面点数量，NP代表可见光影像点云中所有漫反射地面点的数量，Ni＜＜NP，mi,j表示将地面点pj投影到重叠影像Ii的温度残差。令(R,t)＝{(Ri,ti)}代表所有参与纹理映射影像的外方位元素集合。因此，全局目标函数e(R,t)为：
其中，nI代表热红外影像序列的影像数量，np＜＜nI，为了最小化公式(10)所示的目标函数，并进一步优化所有候选影像的外方位元素，T(p,R,t)的计算方法需要进一步的细化。T(p,R,t)可被表达为共线条件方程和温度影像内插函数的组合形式，即T(g(p,R,t))。具体而言，g(p,R,t)表示共线条件方程，如公式(11)所示。T(gx,gy)表示利用双线性内插计算温度影像上坐标(gx,gy)处的温度值。
其中，(XS,YS,ZS)T表示影像的投影中心，rr,c表示旋转矩阵R的元素，旋转矩阵R可以表示为三个旋转角矩阵相乘的形式
(X,Y,Z)T表示地面点p，f表示相机主距，(x0,y0)T表示相机主点，(Δx,Δy)T表示相机的畸变。在纹理映射迭代优化的过程中，通过几何定标获取的相机内方位元素保持不变，只优化影像序列外方位元素。相机内方位元素包括：主距、主点、畸变参数等。
S4.3.2将全局目标函数表达为最小二乘形式，迭代优化重叠影像的外方位元素，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止。迭代优化重叠影像的外方位元素的方法为：令x表示目标优化向量，待优化参数包括所有重叠影像的外方位元素(R,t)，外方位元素初始值(R0,t0)，通过可见光影像点云和热红外影像点云精确配准获得。计算每一个重叠影像与平均温度值的温度差，并通过下式计算更新向量Δx：
J(xk)TJ(xk)Δx＝-J(xk)Tm(xk) (12)
其中，J(xk)和m(xk)分别代表在xk处计算的雅克比向量和残差向量，本实施例中采用六维向量
表示影像的外方位元素，k是迭代次数。
通过链式法则计算外方位元素(R,t)的偏导数，计算公式如下：
其中，
表示温度影像的梯度，可通过在热红外影像上应用Sobel算子实现。Jg(ζ)代表共线条件方程的雅克比向量，即外方位元素的偏导数。获得更新向量Δx后，可通过下式对外方位元素进行更新：
xk+1＝xk+Δx
其中，k是迭代次数，持续进行迭代，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止。
S4.3.3计算所有重叠影像的等权温度平均值作为热红外纹理映射结果，生成建筑物的真三维温度场。
实施例二
基于相同的发明构思，本实施例公开了一种建筑物真三维温度场重建系统，包括：
影像获取模块，用于通过倾斜航空摄影获取可见光影像序列与热红外影像序列；
粗配准模块，用于根据可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；
精配准模块，用于根据粗配准结果，通过共轭四平面匹配集合实现可见光影像点云与热红外影像点云的精配准；
纹理映射模块，用于确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行微调，从而实现大范围温度场三维重建。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种机载热红外影像建筑物真三维温度场构建方法，其特征在于，包括：
通过倾斜航空摄影获取可见光影像序列与热红外影像序列；
根据所述可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；
基于所述粗配准结果，通过共轭四平面匹配集合实现所述可见光影像点云与热红外影像点云精配准；
确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行所述微调，从而实现大范围温度场三维构建。
2.如权利要求1所述的建筑物真三维温度场构建方法，其特征在于，所述可见光影像点云和热红外影像点云通过运动结构恢复技术SfM对所述可见光影像序列与热红外影像序列进行构建，分别生成可见光影像点云和热红外影像点云，并利用辅助定位数据实现可见光影像点云与热红外影像点云的粗配准。
3.如权利要求1所述的建筑物真三维温度场构建方法，其特征在于，所述精配准的方法为：
基于八叉树的点云压缩方法对可见光影像点云和热红外影像点云进行重采样，实现所述可见光影像点云与热红外影像点云的体素化；
计算经过体素化后的可见光影像点云与热红外影像点云的显著性特征，并将体素分类为平面区域和非平面区域，通过所述显著性特征确定属于所述平面区域的体素集合，合并相邻平面区域内的体素，从而实现可见光影像点云与热红外影像点云的平面面片提取；
根据所述平面面片提取的结果，以所述粗配准的结果为先验条件，通过共轭四平面集合实现可见光影像点云与热红外影像点云的精配准。
4.如权利要求3所述的建筑物真三维温度场构建方法，其特征在于，所述显著性特征的计算方法为：
通过可见光影像点云与热红外影像点云的体素内所有离散点，计算协方差矩阵；
通过主成分分析计算所述协方差矩阵的特征值和特征向量；
通过所述特征值和特征向量计算所述体素的显著性特征。
5.如权利要求4所述的建筑物真三维温度场构建方法，其特征在于，所述体素分类的方法为：获得三个显著性特征，若第二个显著性特征大于第一个显著性特征，且大于第三个显著性特征，则所述体素为平面区域，否则为非平面区域。
6.如权利要求1-5任一项所述的建筑物真三维温度场构建方法，其特征在于，所述共轭四平面匹配集合的方法为：
以可见光影像点云为基准模型，寻找空间距离远且法向量角度相差大的四个平面{Pa,Pb,Pc,Pd}作为基准四平面；
以热红外影像点云为目标模型，寻找空间距离远且法向量角度相差大的四个平面{P′a,P′b,P′c,P′d}作为目标四平面；
以所述基准模型和目标模型的四个平面的法向量与相交向量之间的夹角比例不变为匹配条件，采用随机抽样一致性算法RANSAC找到满足匹配条件最多的内点匹配集合，并利用最小二乘方法实现仿射变换参数的精确解算，从而实现可见光影像点云和热红外影像点云的精配准。
7.如权利要求1-5任一项所述的建筑物真三维温度场构建方法，其特征在于，所述候选热红外纹理集合的确定方法为：
通过距离缓冲区可视性检验方法移除被遮挡的错误纹理，确定每个三维地面点的候选热红外纹理集合；以每个漫反射三维地面点为基本单元，以最小化重叠影像之间的温度差异为目标，利用最小二乘方法实现热红外影像序列位姿优化，计算重叠影像的等权温度平均值作为热红外纹理映射结果，完成真三维温度场模型构建。
8.如权利要求7所述的建筑物真三维温度场构建方法，其特征在于，所述热红外影像序列位姿优化的方法为：以漫反射地面点为基本单元，计算所有所述候选热红外纹理集合的平均温度值，并将其作为参考温度值；计算每一个重叠影像温度值和所述参考温度值之间的温度差；将所述温度差之和作为全局目标函数；将所述全局目标函数表达为最小二乘形式，迭代优化重叠影像的外方位元素，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止；计算所有重叠影像的等权温度平均值作为热红外纹理映射结果，生成建筑物的真三维温度场。
9.如权利要求8所述的建筑物真三维温度场构建方法，其特征在于，所述迭代优化重叠影像的外方位元素的方法为：令x表示目标优化向量，待优化参数包括所有重叠影像的外方位元素，累加每一幅重叠影像与重叠影像平均温度值之间的差值，并通过以下公式进行更新：
xk+1＝xk+Δx
其中，k是迭代次数，Δx是更新向量，持续进行迭代，直到所有重叠影像的平均温度残差小于阈值或者迭代次数超过阈值为止。
10.一种机载热红外影像建筑物真三维温度场构建系统，其特征在于，包括：
影像获取模块，用于通过倾斜航空摄影获取可见光影像序列与热红外影像序列；
粗配准模块，用于根据所述可见光影像序列与热红外影像序列分别生成可见光影像点云和热红外影像点云，并完成可见光影像点云和热红外影像点云的粗配准；
精配准模块，用于根据所述粗配准结果，通过共轭四平面匹配集合实现所述可见光影像点云与热红外影像点云精配准；
纹理映射模块，用于确定每个三维地面点的候选热红外纹理集合，通过全局影像位姿优化对外方位元素进行所述微调，从而实现大范围温度场三维构建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210124706.3A CN114529682A (zh) | 2022-02-10 | 2022-02-10 | 一种机载热红外影像建筑物真三维温度场构建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210124706.3A CN114529682A (zh) | 2022-02-10 | 2022-02-10 | 一种机载热红外影像建筑物真三维温度场构建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114529682A true CN114529682A (zh) | 2022-05-24 |
Family
ID=81622908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210124706.3A Pending CN114529682A (zh) | 2022-02-10 | 2022-02-10 | 一种机载热红外影像建筑物真三维温度场构建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529682A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100262A (zh) * | 2022-06-08 | 2022-09-23 | 华南理工大学 | 一种复杂场景三维温度和长波辐射模型的建立方法及系统 |
-
2022
- 2022-02-10 CN CN202210124706.3A patent/CN114529682A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100262A (zh) * | 2022-06-08 | 2022-09-23 | 华南理工大学 | 一种复杂场景三维温度和长波辐射模型的建立方法及系统 |
| CN115100262B (zh) * | 2022-06-08 | 2024-05-17 | 华南理工大学 | 一种复杂场景三维温度和长波辐射模型的建立方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Integration of aerial oblique imagery and terrestrial imagery for optimized 3D modeling in urban areas | |
| Chen et al. | Geo-registering UAV-captured close-range images to GIS-based spatial model for building façade inspections | |
| Maset et al. | Photogrammetric 3D building reconstruction from thermal images | |
| Iwaszczuk et al. | Camera pose refinement by matching uncertain 3D building models with thermal infrared image sequences for high quality texture extraction | |
| Maurer et al. | Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection | |
| Verykokou et al. | Oblique aerial images: a review focusing on georeferencing procedures | |
| Renaudin et al. | Featured‐Based Registration of Terrestrial Laser Scans with Minimum Overlap Using Photogrammetric Data | |
| Xu et al. | A 3D reconstruction method for buildings based on monocular vision | |
| Cosido et al. | Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace | |
| Kumari et al. | Adjustment of systematic errors in ALS data through surface matching | |
| Hoegner et al. | Building facade object detection from terrestrial thermal infrared image sequences combining different views | |
| Lenz et al. | Automatic in-flight boresight calibration considering topography for hyperspectral pushbroom sensors | |
| CN116518864A (zh) | 一种基于三维点云对比分析的工程结构全场变形检测方法 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| Knyaz et al. | Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating | |
| Previtali et al. | Rigorous procedure for mapping thermal infrared images on three-dimensional models of building façades | |
| Meyer et al. | Accuracy investigation on image-based change detection for BIM compliant indoor models | |
| CN114529682A (zh) | 一种机载热红外影像建筑物真三维温度场构建方法和系统 | |
| CN113920201A (zh) | 极线几何约束的鱼眼相机标定方法 | |
| Zhu et al. | Generation of thermal point clouds from uncalibrated thermal infrared image sequences and mobile laser scans | |
| Hoegner et al. | Automatic 3D reconstruction and texture extraction for 3D building models from thermal infrared image sequences | |
| Khodaei et al. | 3D surface generation from aerial thermal imagery | |
| Buatik et al. | 3D model-based image registration for change detection in historical structures via unmanned aerial vehicle | |
| Vasilakos et al. | Terrestrial photogrammetry vs laser scanning for rapid earthquake damage assessment | |
| Bazin et al. | Dynamic programming and skyline extraction in catadioptric infrared images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |