CN114972625A - 一种基于rgb光谱超分辨技术的高光谱点云生成方法 - Google Patents
一种基于rgb光谱超分辨技术的高光谱点云生成方法 Download PDFInfo
- Publication number
- CN114972625A CN114972625A CN202210284463.XA CN202210284463A CN114972625A CN 114972625 A CN114972625 A CN 114972625A CN 202210284463 A CN202210284463 A CN 202210284463A CN 114972625 A CN114972625 A CN 114972625A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- hyperspectral
- spectral
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001228 spectrum Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 230000003595 spectral effect Effects 0.000 claims abstract description 52
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000011084 recovery Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明提供一种基于RGB光谱超分辨技术的高光谱点云生成方法，包括以下步骤：获取基于移动传感设备的多帧RGB图像数据；构建多层回归神经网络模型，用于在RGB图像数据中重建高光谱图像数据集；将高光谱图像数据集通过运动恢复结构算法重建出稀疏点云模型，并将稀疏点云模型进行无畸变处理，生成无畸变图像；将稀疏点云模型和无畸变图像作为输入，使用多视图立体视觉算法构建稠密点云模型；将稠密点云模型进行配准，并利用基于广度搜索的增量式表面重建算法将稠密点云网格化处理；将网格化处理后的稠密点云进行纹理重建，得到高光谱点云。回避光谱和点云两种异构数据融合，保留RGB图像较高分辨率。
Description
技术领域
本发明涉及光谱重建领域，更具体地，涉及一种基于RGB光谱超分辨技术的高光谱点云生成方法。
背景技术
近年来，随着高光谱分辨率和高空间分辨率技术的不断发展，高光谱图像成为我国的经济，农业生活的重要信息源。高光谱遥感图像具有信息量丰富，光谱分辨率高，波段范围宽等优势，蕴含了更加准确的可辨识地物特征信息。但是采集高光谱图像的成像光谱仪往往体积比较大，携带不便捷，并且高光谱图像虽然具有丰富的光谱信息，但是空间信息是三维到二维图像的退化。
现有的技术中，中国发明专利提供一种本征高光谱点云生成方法、系统及装置，属于高光谱图像和激光雷达点云融合处理技术领域；为了解决利用基于高光谱图像和激光雷达数据进行点云生成时存在的准确的低的问题。该发明首先通过高光谱图像和激光雷达点云获取本征映射矩阵然后分割提取高光谱图像H中属于建筑表面的像素集合利用集合Q中的像素确定入射光照方向的向量L；最后进行高光谱图像-激光雷达点云联合本征分解，生成本征高光谱点云。主要用于高光谱点云的生成，但是无法组织空间信息从三维到二维图像的退化。
发明内容
本发明为解决现在无法通过点云三维重建得到高光谱点云的技术缺陷，提供了一种基于RGB光谱超分辨技术的高光谱点云生成方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于RGB光谱超分辨技术的高光谱点云生成方法，包括以下步骤：
S1：获取基于移动传感设备的多帧RGB图像数据；
S2：构建多层回归神经网络模型，用于在RGB图像数据中重建高光谱图像数据集；
S3：将高光谱图像数据集通过运动恢复结构算法重建出稀疏点云模型，并将稀疏点云模型进行无畸变处理，生成无畸变图像；
S4：将稀疏点云模型和无畸变图像作为输入，使用多视图立体视觉算法构建稠密点云模型；
S5：将稠密点云模型进行配准，并利用基于广度搜索的增量式表面重建算法将稠密点云网格化处理；
S6：将网格化处理后的稠密点云进行纹理重建，得到高光谱点云。
上述方案中，区别于传统的高光谱及点云获取方法，以低成本RGB图像得到高光谱图像数据，并应用在之后的三维重建，直接回避光谱和点云两种异构数据融合，得到三维图谱合一的高光谱点云；所生成光谱图像还能保留RGB图像中较高的空间分辨率，同时所生成的高光谱点云具有三维图谱合一数据特点，可为后续目标分类识别等解译任务提供丰富的光谱及物理几何信息。
优选的，在步骤S1中，其获取多帧RGB图像数据的方法具体为搭建移动传感设备进行图像采集，得到多帧RGB图像数据，多帧RGB图像数据包括GNSS 坐标和波段名称，GNSS坐标和波段名称被存储在图像的元数据中。
优选的，在步骤S2中，所述多层回归神经网络模型由4级网络架构组成，在训练过程中，训练数据集使用包含成对RGB和高光谱图像的自采数据集及 NTIRE 2020的公开数据集；Y表示高光谱图像，X表示RGB图像，对于每个像素点p，其RGB强度Xc(p)和光谱反射率Y(p,λ)之间的关系如下：
式中，B表示波段数量，λ为波长，Y∈RN×B,X∈RN×3都是矩阵，N为像素数，S∈RB×3表示光谱响应函数，因此也表示为：
X＝YS
由该式得到，光谱重建过程看作为从X到Y的逆映射，因此在某些条件下，从RGB重建高光谱图像的不适定变换是可以实现的；
构建的4层网络架构用于从RGB图像中重建高光谱图像；多层回归神经网络模型中采用残差密集块和残差块用于减少真实图像的伪影，在最后一层附加了 1×1的卷积块来增强色彩映射，在顶层使用集成特征并减少伪影，生成高质量的高光谱图像；在整个网络架构中，除了输出层之外，所有层均使用LeakyReLU 激活函数，权重由Xavier算法进行初始化；
在训练过程中，使用L1损失函数对网络进行优化，L1被定义如下：
式中，x表示RGB图像，y表示真实的高光谱图像，G(*)表示多层递归网络；利用L1经过多次迭代过程，训练出拟合能力好的网络模型；将移动传感设备拍摄得到的RGB图像输入到已经训练好的多层回归神经网络模型中，生成高光谱图像数据集。
优选的，在步骤S3中，所述运动恢复结构算法包括以下步骤：
S31：从高光谱图像集中定位并提取元数据，其元数据包括相机型号、图像尺寸、投影类型、朝向、GNSS坐标、拍摄时间、焦距比和频段名称；
S32：通过SIFT算法对元数据进行特征检测，构建特征点描述符；
S33：之后利用特征点矩形邻域内像素的光谱信息，通过归一化互相关系数来进行特征点匹配，得到图像匹配对；
S34：对于每个图像匹配对计算对极几何，通过RANSAC算法优化改善匹配对，特征点在匹配对中链式地传递下去，得到重构性最强，异常值最少的初始化图像对；
S35：采用增量式重建算法，选择重构性最强，异常值最少的初始化图像对，执行迭代操作逐渐将其他图像加入到重建中，在每次迭代中，使用光束平差法最小化投影误差，并且根据重建中已经存在的相似点的数量选择图像，直到所有的图像都被加入，完成稀疏点云模型的重建。
优选的，在步骤S33中，以光谱相似性为基础，辅以对极几何约束进行搜索进而进行特征匹配，在这一过程中，使用平均值方法，将高光谱图像中携带有N 个波段的光谱信息求得其加权平均数得到平均光谱，从而进行特征匹配；其中，平均值方法定义为：
其中，Si表示第i个波段的数据；互相关系数定义为：
式中，
是图像Ik上的点(u,v)的平均光谱；δ(Ik)是图像Ik中(2n+1)(2m+1)邻域内的点(u,v)的标准差；
在步骤S35中，最小化投影误差表示为：
式中，
是投影矩阵，
是第i个特征点的三维空间信息，mki是第i个特征点在第k幅图像上的二维坐标信息。
优选的，在步骤S3中，对图像进行非畸变处理，纠正径向畸变，该过程通过创建第二张图像完成该处理过程，第二张图像具有与畸变图像的相同投影类型和相同图像大小，然后将畸变图像的像素重新映射到未畸变图像的新坐标中。
优选的，在步骤S4中，使用基于面片的多视图立体视觉算法进行稠密点云模型的重建；
面片重建的基本准则是：在每一个图像块Ci(x,y)中至少重建出一个面片；整个面片重建过程包括以下步骤：先进行特征点匹配，通过在所有图像上提取 Harris和DoG特征点，用满足对极几何约束的潜在匹配点对三角化重建出稀疏的空间面片，扩散从种子面片开始，利用相邻面片具有相似的法向和位置的特征，逐步扩散重建出其周围的空间面片，扩散结束后，进行过滤处理，将光谱一致性，几何一致性比较弱的面片剔除。
优选的，在步骤S5中，基于局部不变特征的两阶段算法进行点云配准是找到最优的几何变换使两个点云数据在同一个坐标系下最大程度的对齐融合；具体为计算得到的两个点云数据之间的一个粗略的几何变换，使用Proximity约束条件迭代获得两个点云数据之间更为精确的几何变换参数；
其中，Proximity约束条件描述形式如下：
式中η代表一个预先设好的阈值，pi′和qi′是pi和pi′各自对应的邻近点；
网格重建使用增量式表面重建算法具体为：以八叉树空间划分的方式重建散乱点的数据结构，为增量式搜索提供数据基础；基于广度优先的搜索算法，增量式的重构表面的三角网格，得到稠密点云。
优选的，在步骤S6中，所述纹理重建采用基于映射的方法，包括以下步骤： S61：视角选择，生成的纹理面片；S62：将纹理面片进行全局光谱纹理调整，得到高光谱点云；
优选的，在步骤S61中，视角选择可以被公式表示为：
式中，使用马尔可夫公式计算标签l，指定给曲面网格Fi，li表示图像的视图， Edata返回视图与表面的匹配程度，Esmooth表示相邻表面纹理边缘之间的差异，
表示梯度值，φ(Fi,Fj)表示表面投影；
在步骤S62中，对生成的纹理面片进行全局光谱纹理调整，通过调整左右两个面片对应的像素光谱纹理，逐渐淡化不连续性；
若记同一顶点v在左右两个不同面片下的光谱纹理分别为
和
对应的光谱纹理调整值分别为
和
要使得左右两边调整后的光谱纹理更接近，同时要约束同一面片的相邻点的光谱纹理调整值，则相当于优化目标函数：
式中，vi,vj相邻并且在用一个面片中；至此，得到具有丰富光谱信息的高光谱点云。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种基于RGB光谱超分辨技术的高光谱点云生成方法，区别于传统的高光谱及点云获取方法，以低成本RGB图像得到高光谱图像数据，并应用在之后的三维重建，直接回避光谱和点云两种异构数据融合，得到三维图谱合一的高光谱点云；所生成光谱图像还能保留RGB图像中较高的空间分辨率，同时所生成的高光谱点云具有三维图谱合一数据特点，可为后续目标分类识别等解译任务提供丰富的光谱及物理几何信息。
附图说明
图1为本发明的方法流程示意图；
图2为本发明的方法框架示意图；
图3为实施例中用移动设备采集到的RGB图像(其中(a),(b)是地面机器人采集的图像，(c),(d)是无人机采集的图像)；
图4为实施例中是根据从图3采集的RGB图像重建出的高光谱图像立方体显示图；
图5为实施例中根据图4输入的高光谱图像重建的点云图像。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于RGB光谱超分辨技术的高光谱点云生成方法，包括以下步骤：
S1：获取基于移动传感设备的多帧RGB图像数据；
S2：构建多层回归神经网络模型，用于在RGB图像数据中重建高光谱图像数据集；
S3：将高光谱图像数据集通过运动恢复结构算法重建出稀疏点云模型，并将稀疏点云模型进行无畸变处理，生成无畸变图像；
S4：将稀疏点云模型和无畸变图像作为输入，使用多视图立体视觉算法构建稠密点云模型；
S5：将稠密点云模型进行配准，并利用基于广度搜索的增量式表面重建算法将稠密点云网格化处理；
S6：将网格化处理后的稠密点云进行纹理重建，得到高光谱点云。
上述方案中，区别于传统的高光谱及点云获取方法，以低成本RGB图像得到高光谱图像数据，并应用在之后的三维重建，直接回避光谱和点云两种异构数据融合，得到三维图谱合一的高光谱点云；所生成光谱图像还能保留RGB图像中较高的空间分辨率，同时所生成的高光谱点云具有三维图谱合一数据特点，可为后续目标分类识别等解译任务提供丰富的光谱及物理几何信息。
优选的，在步骤S1中，其获取多帧RGB图像数据的方法具体为搭建移动传感设备进行图像采集，得到多帧RGB图像数据，多帧RGB图像数据包括GNSS 坐标和波段名称，GNSS坐标和波段名称被存储在图像的元数据中。
上述方案中，搭建移动传感设备RGB数据采集平台。例如，使用无人机载传感设备进行图像采集，控制无人机的高度和速度在一定范围内，使得无人机可以在每2m处拍摄一次图像，层层递进，允许高空区域重叠，对一个物体进行多视角拍摄得到多帧RGB图像。将采集到的图像进行存储，其中图像的GNSS坐标和波段名称被存储在图像的元数据中。
优选的，在步骤S2中，所述多层回归神经网络模型由4级网络架构组成，在训练过程中，训练数据集使用包含成对RGB和高光谱图像的自采数据集及 NTIRE 2020的公开数据集；Y表示高光谱图像，X表示RGB图像，对于每个像素点p，其RGB强度Xc(p)和光谱反射率Y(p,λ)之间的关系如下：
式中，B表示波段数量，λ为波长，Y∈RN×B,X∈RN×3都是矩阵，N为像素数，S∈RB×3表示光谱响应函数，因此也表示为：
X＝YS
由该式得到，光谱重建过程看作为从X到Y的逆映射，因此在某些条件下，从RGB重建高光谱图像的不适定变换是可以实现的；
构建的4层网络架构用于从RGB图像中重建高光谱图像；多层回归神经网络模型中采用残差密集块和残差块用于减少真实图像的伪影，在最后一层附加了 1×1的卷积块来增强色彩映射，在顶层使用集成特征并减少伪影，生成高质量的高光谱图像；在整个网络架构中，除了输出层之外，所有层均使用LeakyReLU 激活函数，权重由Xavier算法进行初始化；
在训练过程中，使用L1损失函数对网络进行优化，L1被定义如下：
式中，x表示RGB图像，y表示真实的高光谱图像，G(*)表示多层递归网络；利用L1经过多次迭代过程，训练出拟合能力好的网络模型；将移动传感设备拍摄得到的RGB图像输入到已经训练好的多层回归神经网络模型中，生成高光谱图像数据集。
优选的，在步骤S3中，所述运动恢复结构算法包括以下步骤：
S31：从高光谱图像集中定位并提取元数据，其元数据包括相机型号、图像尺寸、投影类型、朝向、GNSS坐标、拍摄时间、焦距比和频段名称；
S32：通过SIFT算法对元数据进行特征检测，构建特征点描述符；
S33：之后利用特征点矩形邻域内像素的光谱信息，通过归一化互相关系数来进行特征点匹配，得到图像匹配对；
S34：对于每个图像匹配对计算对极几何，通过RANSAC算法优化改善匹配对，特征点在匹配对中链式地传递下去，得到重构性最强，异常值最少的初始化图像对；
S35：采用增量式重建算法，选择重构性最强，异常值最少的初始化图像对，执行迭代操作逐渐将其他图像加入到重建中，在每次迭代中，使用光束平差法最小化投影误差，并且根据重建中已经存在的相似点的数量选择图像，直到所有的图像都被加入，完成稀疏点云模型的重建。
优选的，在步骤S33中，以光谱相似性为基础，辅以对极几何约束进行搜索进而进行特征匹配，在这一过程中，使用平均值方法，将高光谱图像中携带有N 个波段的光谱信息求得其加权平均数得到平均光谱，从而进行特征匹配；其中，平均值方法定义为：
其中，Si表示第i个波段的数据；互相关系数定义为：
式中，
是图像Ik上的点(u,v)的平均光谱；δ(Ik)是图像Ik中(2n+1)(2m+1)邻域内的点(u,v)的标准差；
在步骤S35中，最小化投影误差表示为：
式中，
是投影矩阵，
是第i个特征点的三维空间信息，mki是第i个特征点在第k幅图像上的二维坐标信息。
优选的，在步骤S3中，对图像进行非畸变处理，纠正径向畸变，该过程通过创建第二张图像完成该处理过程，第二张图像具有与畸变图像的相同投影类型和相同图像大小，然后将畸变图像的像素重新映射到未畸变图像的新坐标中。
优选的，在步骤S4中，使用基于面片的多视图立体视觉算法进行稠密点云模型的重建；
面片重建的基本准则是：在每一个图像块Ci(x,y)中至少重建出一个面片；整个面片重建过程包括以下步骤：先进行特征点匹配，通过在所有图像上提取 Harris和DoG特征点，用满足对极几何约束的潜在匹配点对三角化重建出稀疏的空间面片，扩散从种子面片开始，利用相邻面片具有相似的法向和位置的特征，逐步扩散重建出其周围的空间面片，扩散结束后，进行过滤处理，将光谱一致性，几何一致性比较弱的面片剔除。
优选的，在步骤S5中，基于局部不变特征的两阶段算法进行点云配准是找到最优的几何变换使两个点云数据在同一个坐标系下最大程度的对齐融合；具体为计算得到的两个点云数据之间的一个粗略的几何变换，使用Proximity约束条件迭代获得两个点云数据之间更为精确的几何变换参数；
其中，Proximity约束条件描述形式如下：
式中η代表一个预先设好的阈值，pi′和qi′是pi和pi′各自对应的邻近点；
网格重建使用增量式表面重建算法具体为：以八叉树空间划分的方式重建散乱点的数据结构，为增量式搜索提供数据基础；基于广度优先的搜索算法，增量式的重构表面的三角网格，得到稠密点云。
优选的，在步骤S6中，所述纹理重建采用基于映射的方法，包括以下步骤： S61：视角选择，生成的纹理面片；S62：将纹理面片进行全局光谱纹理调整，得到高光谱点云；
优选的，在步骤S61中，视角选择可以被公式表示为：
式中，使用马尔可夫公式计算标签l，指定给曲面网格Fi，li表示图像的视图， Edata返回视图与表面的匹配程度，Esmooth表示相邻表面纹理边缘之间的差异，
表示梯度值，φ(Fi,Fj)表示表面投影；
在步骤S62中，对生成的纹理面片进行全局光谱纹理调整，通过调整左右两个面片对应的像素光谱纹理，逐渐淡化不连续性；
若记同一顶点v在左右两个不同面片下的光谱纹理分别为
和
对应的光谱纹理调整值分别为
和
要使得左右两边调整后的光谱纹理更接近，同时要约束同一面片的相邻点的光谱纹理调整值，则相当于优化目标函数：
式中，vi,vj相邻并且在用一个面片中；至此，得到具有丰富光谱信息的高光谱点云。
实施例2
如图2所示，我们利用PixelUnShuffle对每一层的输入图像进行下采样，每一层的过程被分解为级别间集成，伪影减少，全局特征提取，对于层间学习来说，次层级的输出特征被PixelShuffle，然后连接到当前层，最后由卷积层进行处理以统一通道数。
为了减少真实图像的伪影，网络模型中采用残差密集块和残差块。由于特征在最后一层最为紧凑，因此在最后一层附加了1×1的卷积块来增强色彩映射。在顶层使用很多块来有效的集成特征并减少伪影，从而生成高质量的高光谱图像。对于整个网络架构来说，除了输出层之外，在所有层都使用了LeakyReLU激活函数,权重由Xavier算法进行初始化。
如图3所示，为本实施例提供的用于进行光谱重建的多帧RGB图像，图4 为实施例中是根据从图3采集的RGB图像重建出的高光谱图像立方体显示图；图5为使用本实施例的方法得到的对应的高光谱图像。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，包括以下步骤：
S1：获取多帧RGB图像数据；
S2：构建多层回归神经网络模型，用于在RGB图像数据中重建高光谱图像数据集；
S3：将高光谱图像数据集重建出稀疏点云模型，并将稀疏点云模型进行无畸变处理，生成无畸变图像；
S4：将稀疏点云模型和无畸变图像作为输入，构建稠密点云模型；
S5：将稠密点云模型进行配准，并将稠密点云网格化处理；
S6：将网格化处理后的稠密点云进行纹理重建，得到高光谱点云。
2.根据权利要求1所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S1中，其获取多帧RGB图像数据的方法具体为搭建移动传感设备进行图像采集，得到多帧RGB图像数据，多帧RGB图像数据包括GNSS坐标和波段名称，GNSS坐标和波段名称被存储在图像的元数据中。
3.根据权利要求2所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S2中，所述多层回归神经网络模型由4级网络架构组成，在训练过程中，训练数据集使用包含成对RGB和高光谱图像的自采数据集及NTIRE 2020的公开数据集；Y表示高光谱图像，X表示RGB图像，对于每个像素点p，其RGB强度Xc(p)和光谱反射率Y(p，λ)之间的关系如下：
式中，B表示波段数量，λ为波长，Y∈RN×B，X∈RN×3都是矩阵，N为像素数，S∈RB×3表示光谱响应函数，因此也表示为：
X＝YS
由该式得到，光谱重建过程看作为从X到Y的逆映射；
构建的4层网络架构用于从RGB图像中重建高光谱图像；多层回归神经网络模型中采用残差密集块和残差块用于减少真实图像的伪影，在最后一层附加了1×1的卷积块来增强色彩映射，在顶层使用集成特征并减少伪影，生成高质量的高光谱图像；在整个网络架构中，除了输出层之外，所有层均使用LeakyReLU激活函数，权重由Xavier算法进行初始化；
在训练过程中，使用L1损失函数对网络进行优化，L1被定义如下：
式中，x表示RGB图像，y表示真实的高光谱图像，G(*)表示多层递归网络；
利用L1经过多次迭代过程，训练出拟合能力好的网络模型；将移动传感设备拍摄得到的RGB图像输入到已经训练好的多层回归神经网络模型中，生成高光谱图像数据集。
4.根据权利要求3所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S3中，所述运动恢复结构算法包括以下步骤：
S31：从高光谱图像集中定位并提取元数据，其元数据包括相机型号、图像尺寸、投影类型、朝向、GNSS坐标、拍摄时间、焦距比和频段名称；
S32：通过SIFT算法对元数据进行特征检测，构建特征点描述符；
S33：之后利用特征点矩形邻域内像素的光谱信息，通过归一化互相关系数来进行特征点匹配，得到图像匹配对；
S34：对于每个图像匹配对计算对极几何，通过RANSAC算法优化改善匹配对，特征点在匹配对中链式地传递下去，得到重构性最强，异常值最少的初始化图像对；
S35：采用增量式重建算法，选择重构性最强，异常值最少的初始化图像对，执行迭代操作逐渐将其他图像加入到重建中，在每次迭代中，使用光束平差法最小化投影误差，并且根据重建中已经存在的相似点的数量选择图像，直到所有的图像都被加入，完成稀疏点云模型的重建。
5.根据权利要求4所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S33中，以光谱相似性为基础，辅以对极几何约束进行搜索进而进行特征匹配，在这一过程中，使用平均值方法，将高光谱图像中携带有N个波段的光谱信息求得其加权平均数得到平均光谱，从而进行特征匹配；其中，平均值方法定义为：
其中，Si表示第i个波段的数据；互相关系数定义为：
式中，
是图像Ik上的点(u，v)的平均光谱；δ(Ik)是图像Ik中(2n+1)(2m+1)邻域内的点(u，v)的标准差；
在步骤S35中，最小化投影误差表示为：
式中，
是投影矩阵，
是第i个特征点的三维空间信息，mki是第i个特征点在第k幅图像上的二维坐标信息。
6.根据权利要求4所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S3中，对图像进行非畸变处理，纠正径向畸变，该过程通过创建第二张图像完成该处理过程，第二张图像具有与畸变图像的相同投影类型和相同图像大小，然后将畸变图像的像素重新映射到未畸变图像的新坐标中。
7.根据权利要求6所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S4中，使用基于面片的多视图立体视觉算法进行稠密点云模型的重建；
面片重建的基本准则是：在每一个图像块Ci(x，y)中至少重建出一个面片；整个面片重建过程包括以下步骤：先进行特征点匹配，通过在所有图像上提取Harris和DoG特征点，用满足对极几何约束的潜在匹配点对三角化重建出稀疏的空间面片，扩散从种子面片开始，利用相邻面片具有相似的法向和位置的特征，逐步扩散重建出其周围的空间面片，扩散结束后，进行过滤处理，将光谱一致性，几何一致性比较弱的面片剔除。
8.根据权利要求7所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S5中，基于局部不变特征的两阶段算法进行点云配准是找到最优的几何变换使两个点云数据在同一个坐标系下最大程度的对齐融合；具体为计算得到的两个点云数据之间的一个粗略的几何变换，使用Proximity约束条件迭代获得两个点云数据之间更为精确的几何变换参数；
其中，Proximity约束条件描述形式如下：
式中η代表一个预先设好的阈值，pi′和qi′是pi和pi′各自对应的邻近点；
网格重建使用增量式表面重建算法具体为：以八叉树空间划分的方式重建散乱点的数据结构，为增量式搜索提供数据基础；基于广度优先的搜索算法，增量式的重构表面的三角网格，得到稠密点云。
9.根据权利要求8所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S6中，所述纹理重建采用基于映射的方法，包括以下步骤：S61：视角选择，生成的纹理面片；S62：将纹理面片进行全局光谱纹理调整，得到高光谱点云。
10.根据权利要求9所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S61中，视角选择可以被公式表示为：
式中，使用马尔可夫公式计算标签l，指定给曲面网格Fi，li表示图像的视图，Edata返回视图与表面的匹配程度，Esmooth表示相邻表面纹理边缘之间的差异，
表示梯度值，φ(Fi，Fj)表示表面投影；
在步骤S62中，对生成的纹理面片进行全局光谱纹理调整，通过调整左右两个面片对应的像素光谱纹理，逐渐淡化不连续性；
若记同一顶点v在左右两个不同面片下的光谱纹理分别为
和
对应的光谱纹理调整值分别为
和
要使得左右两边调整后的光谱纹理更接近，同时要约束同一面片的相邻点的光谱纹理调整值，则相当于优化目标函数：
式中，vi，vj相邻并且在用一个面片中；至此，得到具有丰富光谱信息的高光谱点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210284463.XA CN114972625A (zh) | 2022-03-22 | 2022-03-22 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210284463.XA CN114972625A (zh) | 2022-03-22 | 2022-03-22 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972625A true CN114972625A (zh) | 2022-08-30 |
Family
ID=82975653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210284463.XA Pending CN114972625A (zh) | 2022-03-22 | 2022-03-22 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972625A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173463A (zh) * | 2023-08-30 | 2023-12-05 | 北京长木谷医疗科技股份有限公司 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| US20170169607A1 (en) * | 2015-12-14 | 2017-06-15 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hyperspectral Scene Analysis via Structure from Motion |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN108629835A (zh) * | 2017-03-20 | 2018-10-09 | 哈尔滨工业大学 | 基于高光谱、真彩图与点云互补的室内重建方法及系统 |
| CN108734728A (zh) * | 2018-04-25 | 2018-11-02 | 西北工业大学 | 一种基于高分辨序列图像的空间目标三维重构方法 |
| US20190096049A1 (en) * | 2017-09-27 | 2019-03-28 | Korea Advanced Institute Of Science And Technology | Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN111579506A (zh) * | 2020-04-20 | 2020-08-25 | 湖南大学 | 基于深度学习的多摄像头高光谱成像方法、系统及介质 |
| CN112184560A (zh) * | 2020-12-02 | 2021-01-05 | 南京理工大学 | 基于深度闭环神经网络的高光谱图像超分辨优化方法 |
| CN112634184A (zh) * | 2020-12-03 | 2021-04-09 | 中国地质大学（武汉） | 基于融合性卷积神经网络的rgb图像光谱反射率重建方法 |
| CN113096250A (zh) * | 2021-04-02 | 2021-07-09 | 华中师范大学 | 基于无人机航拍影像序列的三维建筑模型库系统构建方法 |
| CN113178009A (zh) * | 2021-04-19 | 2021-07-27 | 中国人民解放军陆军工程大学 | 一种利用点云分割和网格修补的室内三维重建方法 |
| CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
-
2022
- 2022-03-22 CN CN202210284463.XA patent/CN114972625A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| US20170169607A1 (en) * | 2015-12-14 | 2017-06-15 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Hyperspectral Scene Analysis via Structure from Motion |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN108629835A (zh) * | 2017-03-20 | 2018-10-09 | 哈尔滨工业大学 | 基于高光谱、真彩图与点云互补的室内重建方法及系统 |
| US20190096049A1 (en) * | 2017-09-27 | 2019-03-28 | Korea Advanced Institute Of Science And Technology | Method and Apparatus for Reconstructing Hyperspectral Image Using Artificial Intelligence |
| CN108734728A (zh) * | 2018-04-25 | 2018-11-02 | 西北工业大学 | 一种基于高分辨序列图像的空间目标三维重构方法 |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN111579506A (zh) * | 2020-04-20 | 2020-08-25 | 湖南大学 | 基于深度学习的多摄像头高光谱成像方法、系统及介质 |
| CN112184560A (zh) * | 2020-12-02 | 2021-01-05 | 南京理工大学 | 基于深度闭环神经网络的高光谱图像超分辨优化方法 |
| CN112634184A (zh) * | 2020-12-03 | 2021-04-09 | 中国地质大学（武汉） | 基于融合性卷积神经网络的rgb图像光谱反射率重建方法 |
| CN113096250A (zh) * | 2021-04-02 | 2021-07-09 | 华中师范大学 | 基于无人机航拍影像序列的三维建筑模型库系统构建方法 |
| CN113178009A (zh) * | 2021-04-19 | 2021-07-27 | 中国人民解放军陆军工程大学 | 一种利用点云分割和网格修补的室内三维重建方法 |
| CN113674400A (zh) * | 2021-08-18 | 2021-11-19 | 公安部物证鉴定中心 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
Non-Patent Citations (8)
| Title |
|---|
| ZHAO Y, PO L M, YAN Q ET AL.: "Hierarchical Regression Network for Spectral Reconstruction from RGB Images", PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, pages 422 - 423 * |
| 刘鹏飞;赵怀慈;李培玄;: "对抗网络实现单幅RGB重建高光谱图像", 红外与激光工程, no. 1, pages 143 - 150 * |
| 戴嘉境: "基于多幅图像的三维重建理论及算法研究", 中国优秀硕士学位论文全文数据库，信息科技, no. 2012, pages 3 - 6 * |
| 施展: "基于深度学习的高光谱图像空谱超分辨率重建", 中国优秀硕士学位论文全文数据库，信息科技, no. 2021, pages 1 - 79 * |
| 李勇, 金秋雨, 赵怀慈等: "基于改进残差密集网络的高光谱重建", 光学学报, vol. 41, no. 07, pages 188 - 197 * |
| 李金航: "基于深度卷积神经网络的多通道图像超分辨方法", 中国优秀硕士学位论文全文数据库，信息科技, no. 2019, pages 1 - 80 * |
| 林连庆;杨志刚;: "一种基于图像集合的三维重建方法", 电子世界, no. 12, pages 181 - 183 * |
| 龙宇航;吴德胜;: "高空遥感图像空间特征信息三维虚拟重建仿真", 计算机仿真, no. 12, pages 57 - 61 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173463A (zh) * | 2023-08-30 | 2023-12-05 | 北京长木谷医疗科技股份有限公司 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573276B (zh) | 一种基于高分辨率遥感影像的变化检测方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN111145131A (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
| CN106952225B (zh) | 一种面向森林防火的全景拼接方法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN112184604B (zh) | 一种基于图像融合的彩色图像增强方法 | |
| CN112016478B (zh) | 一种基于多光谱图像融合的复杂场景识别方法及系统 | |
| CN112686935A (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN114255197B (zh) | 一种红外与可见光图像自适应融合对齐方法及系统 | |
| Xiao et al. | Image Fusion | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN116958437A (zh) | 融合注意力机制的多视图重建方法及系统 | |
| CN117409339A (zh) | 一种用于空地协同的无人机作物状态视觉识别方法 | |
| CN114972625A (zh) | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 | |
| Rout et al. | Deepswir: A deep learning based approach for the synthesis of short-wave infrared band using multi-sensor concurrent datasets | |
| Zhao et al. | FOV expansion of bioinspired multiband polarimetric imagers with convolutional neural networks | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| Jindal et al. | An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement | |
| Zhao et al. | MHPCG: Multi-modal Hyperspectral Point Cloud Generation Based on Single RGB Image | |
| CN112989593A (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
| Bhagat et al. | Multimodal sensor fusion using symmetric skip autoencoder via an adversarial regulariser | |
| Liu et al. | Tensor-based plenoptic image denoising by integrating super-resolution | |
| Gómez et al. | Improving the pair selection and the model fusion steps of satellite multi-view stereo pipelines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |