CN114677474A - 基于SfM和深度学习的高光谱三维重建系统及方法与应用 - Google Patents

基于SfM和深度学习的高光谱三维重建系统及方法与应用 Download PDF

Info

Publication number
CN114677474A
CN114677474A CN202210247159.8A CN202210247159A CN114677474A CN 114677474 A CN114677474 A CN 114677474A CN 202210247159 A CN202210247159 A CN 202210247159A CN 114677474 A CN114677474 A CN 114677474A
Authority
CN
China
Prior art keywords
hyperspectral
dimensional
dimensional reconstruction
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210247159.8A
Other languages
English (en)
Inventor
何赛灵
马腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210247159.8A priority Critical patent/CN114677474A/zh
Publication of CN114677474A publication Critical patent/CN114677474A/zh
Priority to PCT/CN2023/081051 priority patent/WO2023174204A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于SfM和深度学习的高光谱三维重建系统及方法与应用。高光谱三维重建系统，包括高光谱二维图像采集模块、高光谱特征生成模块和高光谱三维重建模块。高光谱三维重建方法，包括以下步骤：1）首先在多个视角下对三维目标采集多张高光谱图像；2）使用基于深度学习训练的神经网络模型，对高光谱图像进行特征点提取并生成特征描述子；3）进行特征点匹配；4）计算各视角下高光谱相机位姿；5）对各个光谱分别三维重建；6）进行配准，得到高光谱三维重建模型。本发明仅需使用一台高光谱二维成像设备即可对三维目标进行高光谱三维重建，精度高，成本低易于推广使用，尤其适用于三维目标物质属性的分析以及文物古籍信息化保存。

Description

基于SfM和深度学习的高光谱三维重建系统及方法与应用
技术领域
本发明属于计算机技术领域，特别涉及基于SfM和深度学习的高光谱三维重建系统及方法与应用。
背景技术
随着信息手段的发展，三维重建已经在文物古籍信息化保存领域发挥出了巨大的作用，如经过三维重建的文物可以用光学投影的方法进行虚拟展示，可以用3D打印精确复制三维重建的模型等。光谱成像分析是物质成分分析的重要手段，在食品成分检测、农渔产品新鲜度检测等领域发挥着重要的作用。高光谱成像可以保存比普通相机更加丰富的信息，这在文物古籍鉴定及信息化保存领域也同样具有重要应用。
对三维目标进行高光谱三维重建是物质成分分析和文物古籍信息化保存的重要手段，目前使用的高光谱重建方法都是三维重建和高光谱分离的，这些方法需要两套设备，包括三维重建设备和高光谱采集设备，且需要他们是良好标定的，这样设备分离的方法具有硬件成本高，标定困难，精度低，系统迁移能力弱的问题。
发明内容
为了克服现有技术的不足，本发明的目的是提出一种基于SfM(Structure fromMotion)和深度学习的高光谱三维重建系统及方法与应用。该系统不需额外的三维重建设备，仅可使用一台高光谱二维成像设备即可以对三维目标进行高光谱三维重建且重建精度高，尤其适用于三维目标物质属性的分析以及文物古籍信息化保存。
一种基于SfM和深度学习的高光谱三维重建系统，包括高光谱二维图像采集模块、高光谱特征生成模块和高光谱三维重建模块；
所述的高光谱二维图像采集模块与高光谱特征生成模块相连，用于获取目标物体的多视角高光谱信息；
所述的高光谱特征生成模块分别与高光谱二维图像采集模块和高光谱三维重建模块相连，使用基于深度学习训练的神经网络模型，根据多个光谱的约束信息提取高光谱二维图像的特征点并生成特征描述子；
所述的高光谱三维重建模块与高光谱特征生成模块相连，根据特征点和特征描述子用来生成高光谱三维重建模型。
所述的高光谱二维图像采集模块包括电光可调谐滤波片和高速CCD相机。
所述的高光谱二维图像采集模块进一步包括电控旋转台。
所述的高光谱三维重建系统对三维目标进行多视角拍摄。
一种基于SfM和深度学习的高光谱三维重建方法，包括以下步骤：
1）首先在多个视角下用高光谱二维图像采集模块对三维目标采集多张高光谱图像；
2）根据高光谱特征生成模块使用基于深度学习训练的神经网络模型，对高光谱图像进行特征点提取并生成特征描述子；
3）根据提取到的特征点和生成的特征描述子对多个视角的高光谱图像进行特征点匹配；
4）根据特征点匹配结果计算各视角下高光谱相机位姿；
5）根据相机位姿用SfM方法对各个光谱分别三维重建；
6）根据各个光谱的三维重建进行配准，得到高光谱三维重建模型。
所述的步骤1) 对大目标，手持高光谱二维图像采集设备对其多视角拍摄；对小目标，将小目标放在电控旋转台上自动完成多视角高光谱图像采集。
所述的步骤2)所述的特征点在各个光谱下通用，特征描述子是一个256维的向量，向量中每个元素取值范围都为0-255。
所述的步骤3)进行特征点匹配时使用余弦相似度进行匹配。
所述的步骤4)一个视角下计算得到的相机位姿在这幅图像的各个谱上通用。
所述的步骤6)进行各个光谱三维重建模型的配准时只需要对各个三维模型叠加。
一种基于SfM和深度学习的高光谱三维重建系统的应用，用于物质属性分析；或者用于文物、古籍的信息化保存。
本发明相对于现有技术具有如下的优点和效果：
1、本发明的使用场景较为广泛，可以应用于各类场景下，如：物质属性分析、文物古籍信息化保存等。
2、本发明使用基于深度学习的神经网络对高光谱图像特征点提取和特征描述子生成，得到的特征点更准确、特征描述子更可靠。
3、得益于更精确的特征点和更稳定的特征描述子，本发明重建得到的三维模型精度更高，完整度更好。
4、本发明不需额外的三维重建设备，仅需使用一台高光谱二维成像设备（必要时可选配一个电控旋转台）即可进行高光谱三维重建且重建精度高，成本低易于推广使用。
附图说明
图1 是本发明的一种模块示意图。
图2a是本发明高光谱二维图像采集模块的一种工作模式。
图2b是本发明高光谱二维图像采集模块的另一种工作模式（包括电控旋转台）。
图3是本发明的一个算法流程示意图。
图4是本发明实施例实际运行的一个结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步的阐述。
如图1所示，一种基于SfM和深度学习的高光谱三维重建系统，包括高光谱二维图像采集模块、高光谱特征生成模块和高光谱三维重建模块。
所述的高光谱二维图像采集模块与高光谱特征生成模块相连，用于获取目标物体的多视角高光谱信息。
所述的高光谱特征生成模块分别与高光谱二维图像采集模块和高光谱三维重建模块相连，使用基于深度学习训练的神经网络模型，根据多个光谱的约束信息提取高光谱二维图像的特征点并生成特征描述子；相比于RGB图像，该模块提取的特征点精度更高、计算的特征描述子稳定性更好、图像间的特征点匹配精度更高。
所述的高光谱三维重建模块与高光谱特征生成模块相连，根据特征点和特征描述子用来生成高光谱三维重建模型。
所述的高光谱二维图像采集模块包括电光可调谐滤波片和高速CCD相机。
所述的高光谱二维图像采集模块进一步包括电控旋转台。
所述的高光谱三维重建系统对三维目标进行多视角拍摄。
如图3所示，一种基于SfM和深度学习的高光谱三维重建方法，包括以下步骤：
1）首先在多个视角下用高光谱二维图像采集模块对三维目标采集多张高光谱图像；
2）根据高光谱特征生成模块使用基于深度学习训练的神经网络模型，对高光谱图像进行特征点提取并生成特征描述子；
3）根据提取到的特征点和生成的特征描述子对多个视角的高光谱图像进行特征点匹配；
4）根据特征点匹配结果计算各视角下高光谱相机位姿；
5）根据相机位姿用SfM方法对各个光谱分别三维重建；
6）根据各个光谱的三维重建进行配准，得到高光谱三维重建模型。
所述的步骤1) 对大目标，工作时固定三维目标位置，手持高光谱二维图像采集设备对其多视角拍摄（图2a）；对小目标，将小目标放在电控旋转台上自动完成多视角高光谱图像采集（图2b），全程自动化操作减轻了操作者采集多视角高光谱图像的负担。
所述的步骤2)所述的特征点在各个光谱下通用，特征描述子是一个256维的向量，向量中每个元素取值范围都为0-255。
所述的步骤3)进行特征点匹配时使用余弦相似度进行匹配。
所述的步骤4)一个视角下计算得到的相机位姿在这幅图像的各个谱上通用。
所述的步骤6)进行各个光谱三维重建模型的配准时只需要对各个三维模型叠加。
应用实施例
一种基于SfM和深度学习的高光谱三维重建系统的应用，用于物质属性分析；或者用于文物、古籍的信息化保存。
这里以文物、古籍信息化保存场景作为示例。
首先在多个视角下用高光谱二维图像采集模块对该文物采集多张高光谱图像，采集的高光谱图像应尽可能覆盖该文物的全部表面。
现有的特征点提取和描述子生成方法(以Scale-invariant feature transform,SIFT为代表)都是以单张灰度图作为输入，这些方法无法处理高光谱图像，更无法充分利用高光谱图像中丰富的光谱信息作为特征，限制了其提取特征点的精度和描述子的稳定性。
本发明使用基于深度学习的神经网络提取这些高光谱图像的特征点并计算其相应的特征描述子。设输入的高光谱图像数据的大小是H×W×S，其中H指二维成像空间的高度，W指二维成像空间的宽度，S指光谱维度。高光谱图像被直接输入到训练好的深度神经网络中，神经网络先通过一个Shared Encoder充分提取高光谱图像的特征并输出特征图，该Shared Encoder包括4组共8个卷积层和3个最大池化层，输出的特征图的大小是H/8×W/8×128；然后网络被分为两个分支，一个分支是Interest Point Decoder，包括两个卷积层，将H/8×W/8×128的特征图转换为H/8×W/8×64的特征点概率图，再将该特征点概率图展开得到与原高光谱图像二维成像空间大小一致的特征点概率图，其大小为H×W×1，特征点概率图中的每个空间位置对应的数值表明了该点是特征点的概率；另一个分支是Descriptor Decoder，同样包括两个卷积层，输出大小为H×W×256的特征描述子图，特征描述子图中的每个空间位置对应的256维向量即是该点的特征描述子。借助这些特征点和特征描述子对多个视角高光谱图像进行精确匹配。
然后，根据匹配结果求解各个视角之间的相对位姿，一个视角下计算得到的相机位姿在这幅高光谱图像的各个谱上通用，利用SfM算法对每个光谱都单独进行三维重建。
最后，将每个光谱三维重建得到的模型进行空间叠加即可完成配准，得到完整的高光谱三维模型（图4）。
以上实施方式只是对本发明的优选实施施进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中普通技术人员对本发明的技术方案做出的各种变化和改进，均属于本发明的保护范围。

Claims (10)

1.一种基于SfM和深度学习的高光谱三维重建系统，其特征在于：包括高光谱二维图像采集模块、高光谱特征生成模块和高光谱三维重建模块；
所述的高光谱二维图像采集模块与高光谱特征生成模块相连，用于获取目标物体的多视角高光谱信息；
所述的高光谱特征生成模块分别与高光谱二维图像采集模块和高光谱三维重建模块相连，使用基于深度学习训练的神经网络模型，根据多个光谱的约束信息提取高光谱二维图像的特征点并生成特征描述子；
所述的高光谱三维重建模块与高光谱特征生成模块相连，根据特征点和特征描述子用来生成高光谱三维重建模型。
2.根据权利要求1所述的一种基于SfM和深度学习的高光谱三维重建系统，其特征在于：所述的高光谱二维图像采集模块包括电光可调谐滤波片和高速CCD相机。
3.根据权利要求2所述的一种基于SfM和深度学习的高光谱三维重建系统，其特征在于：所述的高光谱二维图像采集模块进一步包括电控旋转台。
4.一种根据权利要求1所述的一种基于SfM和深度学习的高光谱三维重建系统的高光谱三维重建方法，其特征在于：包括以下步骤：
1）首先在多个视角下用高光谱二维图像采集模块对三维目标采集多张高光谱图像；
2）根据高光谱特征生成模块使用基于深度学习训练的神经网络模型，对高光谱图像进行特征点提取并生成特征描述子；
3）根据提取到的特征点和生成的特征描述子对多个视角的高光谱图像进行特征点匹配；
4）根据特征点匹配结果计算各视角下高光谱相机位姿；
5）根据相机位姿用SfM方法对各个光谱分别三维重建；
6）根据各个光谱的三维重建进行配准，得到高光谱三维重建模型。
5.根据权利要求4所述的高光谱三维重建方法，其特征在于：步骤1) 对大目标，手持高光谱二维图像采集设备对其多视角拍摄；对小目标，将小目标放在电控旋转台上自动完成多视角高光谱图像采集。
6.根据权利要求4所述的高光谱三维重建方法，其特征在于：步骤2)所述的特征点在各个光谱下通用，特征描述子是一个256维的向量，向量中每个元素取值范围都为0-255。
7.根据权利要求4所述的高光谱三维重建方法，其特征在于：步骤3)进行特征点匹配时使用余弦相似度进行匹配。
8.根据权利要求4所述的高光谱三维重建方法，其特征在于：步骤4)一个视角下计算得到的相机位姿在这幅图像的各个谱上通用。
9.根据权利要求8所述的高光谱三维重建方法，其特征在于：步骤6)进行各个光谱三维重建模型的配准时只需要对各个光谱重建出的三维模型空间叠加。
10.一种基于SfM和深度学习的高光谱三维重建系统的应用，其特征在于：用于物质属性分析；或者用于文物、古籍的信息化保存。
CN202210247159.8A 2022-03-14 2022-03-14 基于SfM和深度学习的高光谱三维重建系统及方法与应用 Pending CN114677474A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210247159.8A CN114677474A (zh) 2022-03-14 2022-03-14 基于SfM和深度学习的高光谱三维重建系统及方法与应用
PCT/CN2023/081051 WO2023174204A1 (zh) 2022-03-14 2023-03-13 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210247159.8A CN114677474A (zh) 2022-03-14 2022-03-14 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Publications (1)

Publication Number Publication Date
CN114677474A true CN114677474A (zh) 2022-06-28

Family

ID=82073683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210247159.8A Pending CN114677474A (zh) 2022-03-14 2022-03-14 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Country Status (2)

Country Link
CN (1) CN114677474A (zh)
WO (1) WO2023174204A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116210571A (zh) * 2023-03-06 2023-06-06 广州市林业和园林科学研究院 一种立体绿化遥感智能灌溉方法及系统
WO2023174204A1 (zh) * 2022-03-14 2023-09-21 浙江大学 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108051837A (zh) * 2017-11-30 2018-05-18 武汉大学 多传感器集成室内外移动测绘装置及自动三维建模方法
CN110853145B (zh) * 2019-09-12 2021-11-30 浙江大学 高空间分辨率便携式抗抖动高光谱成像方法及装置
CN113822896B (zh) * 2021-08-31 2024-04-23 北京市农林科学院信息技术研究中心 一种植物群体三维表型数据采集装置及方法
CN114677474A (zh) * 2022-03-14 2022-06-28 浙江大学 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023174204A1 (zh) * 2022-03-14 2023-09-21 浙江大学 基于SfM和深度学习的高光谱三维重建系统及方法与应用
CN116210571A (zh) * 2023-03-06 2023-06-06 广州市林业和园林科学研究院 一种立体绿化遥感智能灌溉方法及系统
CN116210571B (zh) * 2023-03-06 2023-10-20 广州市林业和园林科学研究院 一种立体绿化遥感智能灌溉方法及系统

Also Published As

Publication number Publication date
WO2023174204A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
Park et al. Transformation-grounded image generation network for novel 3d view synthesis
US20200242330A1 (en) Method for object recognition
WO2023174204A1 (zh) 基于SfM和深度学习的高光谱三维重建系统及方法与应用
CN109344813B (zh) 一种基于rgbd的目标识别和场景建模方法
JP2019514100A (ja) イメージベースオブジェクト認識のための画像特徴組み合わせ
DE112013003214T5 (de) Verfahren zum Registrieren von Daten
Gao et al. Adaptive anchor box mechanism to improve the accuracy in the object detection system
CN113112504A (zh) 一种植物点云数据分割方法及系统
Prasad et al. Medicinal plant leaf information extraction using deep features
CN109636927B (zh) 一种飞行器姿态测量算法训练与鉴定的系统及方法
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
Hu et al. Research on a single-tree point cloud segmentation method based on UAV tilt photography and deep learning algorithm
Aslahishahri et al. From RGB to NIR: Predicting of near infrared reflectance from visible spectrum aerial images of crops
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
Paturkar et al. 3D reconstruction of plants under outdoor conditions using image-based computer vision
CN116071424A (zh) 基于单目视觉的果实空间坐标定位方法
Liu et al. Registration of infrared and visible light image based on visual saliency and scale invariant feature transform
CN111598962A (zh) 基于矩阵草图分析的单像素成像方法和装置
Liu et al. Point cloud based iterative segmentation technique for 3d plant phenotyping
Guo et al. Deep material recognition in light-fields via disentanglement of spatial and angular information
Qian et al. Sat2density: Faithful density learning from satellite-ground image pairs
Dutagaci et al. SHREC'09 Track: Querying with Partial Models.
Rathnayake et al. An efficient approach towards image stitching in aerial images
Feng et al. Robust face recognition with deeply normalized depth images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination