CN113674400A - 基于重定位技术的光谱三维重建方法、系统及存储介质 - Google Patents
基于重定位技术的光谱三维重建方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113674400A CN113674400A CN202110948164.7A CN202110948164A CN113674400A CN 113674400 A CN113674400 A CN 113674400A CN 202110948164 A CN202110948164 A CN 202110948164A CN 113674400 A CN113674400 A CN 113674400A
- Authority
- CN
- China
- Prior art keywords
- spectral
- image
- dimensional reconstruction
- dimensional
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005516 engineering process Methods 0.000 title claims abstract description 29
- 238000001228 spectrum Methods 0.000 title claims abstract description 25
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000003595 spectral effect Effects 0.000 claims abstract description 110
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 abstract description 16
- 238000000701 chemical imaging Methods 0.000 abstract description 10
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005266 casting Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001553014 Myrsine salicina Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于重定位技术的光谱三维重建方法、系统及存储介质，该方法包括：通过SLAM技术构建现场RGB图像的稠密点云；基于RGB图像稠密点云构建现场三维模型；利用光线投射算法完成现场三维模型的纹理贴图；利用深度卷积神经网络实现对光谱图像的特征提取，基于提取的特征描述符完成对光谱图的位姿估计，进而完成光谱特征的重定位。本发明在基于RGB图像的三维重建上，结合匹配的多光谱图像，实现三维光谱成像，可以广泛应用在三维光谱成像物证检验中。
Description
技术领域
本发明是关于一种基于重定位技术的光谱三维重建方法、系统及存储介质，涉及计算机科学、模式识别与视觉算法技术领域。
背景技术
传统的多光谱相机能够获得物质的成分信息，但是由于其采集的信息是二维平面的，存在着对物证细节信息的遗漏，也无法获得物质的空间位置关系。而现有的基于彩色RGB图像的三维重建技术重建出来的三维空间物质，并没有考虑到多光谱图的图像像素信息，使其无法清晰的展示三维空间中指纹、血渍、精斑等重要的物证信息，在对于现场物证信息搜集时，会存在重要信息的遗漏。现有技术中未见成熟的三维光谱成像技术，主要原因为：
1、光谱图像无法直接用于三维重建。光谱图像为了能够清楚地拍摄指纹和血渍等信息，都是大光圈，近景深的相机，虽然在拍摄局部细节比较清楚，但是整体物体在焦平面远端的成像较虚，整个物证物体或场景无法全部清晰拍摄。因此，需要结合高清相机的图像完成三维重建，但是如何将光谱信息准确映射到高清三维模型上至今未能有效实现；
2、传统的特征描述符不适用于光谱信息映射。例如尺度不变特征变换描述符(SIFT)和基于二进制的特征提取描述符(BRISK)等，虽然能够对光谱图像进行特征提取和描述计算，但是提取的精度和普通RGB图像上提取的精度还是有差距的，这种差距主要体现在多光谱图和彩色RGB图在像素值和像素分布上的差异。而且，计算的描述符也很难和普通RGB图像上提取的描述符进行匹配，这给光谱图像在3D模型上的重定位和注册带来了困难；
3、光谱照片数据量巨大，匹配维度过大。一个位姿就会有数十幅甚至上百幅不同波长的光谱影像集，随着尺度的增加，需要匹配的数据量巨大，感知混叠的出现使得传统方法的匹配变得模糊，削弱了定位的稳健性。
发明内容
针对上述问题，本发明的目的之一是提供一种能够清晰准确还原现场视觉效果的基于重定位技术的光谱三维重建方法。
本发明的目的之二是提供一种基于重定位技术的光谱三维重建系统。
本发明的目的之三是提供一种处理设备。
本发明的目的之四是提供一种计算机可存储介质。
为实现上述目的，本发明采取以下技术方案：
第一方面，本发明提供一种基于重定位技术的光谱三维重建方法，包括：
获取现场待测物品的RGB图像和对应的光谱图像；
通过SLAM技术构建待测物品RGB图像的稠密点云；
基于RGB图像稠密点云构建现场待测物品三维模型；
利用光线投射算法完成现场三维模型的纹理贴图；
利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有RGB图像中的重定位，合成带有光谱信息的三维重建模型。
进一步地，通过SLAM技术构建待测物品RGB图像的稠密点云，包括：
获取高清相机多角度摄取的现场高清RGB图像；
通过RGB图像的运动恢复结构SFM算法确定每一帧图像的相机位姿，并通过蝙蝠算法对相机位姿图进行迭代优化，得到每一张RGB图像的相机位姿；
基于相机的位姿信息，融合每一个相机位姿对应的深度图，获得物体的稠密点云图。
进一步地，基于相机的位姿信息，融合每一个相机位姿对应的深度图，获得物体的稠密点云图，包括：
通过前端视觉里程计算获取相机的位姿；
通过后端非线性优化对相机姿态信息进行最优估计；
通过回环检测对位姿产生的累积误差进行纠正；
根据估算的相机位姿将RGB数据转化为点云，并对多个点云进行拼接，得到由离散的点组成的点云地图。
进一步地，利用稠密点云完成三维模型重建采用泊松重建、Surfel重建、八叉树地图或VRIP算法。
进一步地，利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有高清彩色图像集中的重定位，合成带有光谱信息的三维重建模型，包括：
在相对位姿估计中，首先在全局搜索策略下，通过局部特征匹配估计光谱相机位姿，确定出最接近光谱图像拍摄角度的一组RGB图像，作为候选图像，然后通过特征描述符提取和特征匹配确定出最佳RGB图像；
使用用于分层特征的神经网络HF-Net实现对最佳RGB图像的关键点检测，并计算光谱图像的关键点检测，通过HF-Net网络实现光谱特征点与最佳RGB图像的特征点位置的匹配，实现光谱图图像与三维模型点云的匹配，将光谱信息完整地映射到三维重建模型。
进一步地，HF-Net网络训练过程包括：
通过MobileNet实现三维重建彩色点云的提取特征，输出的特征图用于后续的全局描述子、关键点、局部描述子的预测；
通过SuperPoint解码，使用非学习的固定方式得到三维重建彩色点云的关键点得分和局部描述子；
通过MobileNet和NetVLAD层实现对三维重建彩色点云的全局描述子的提取；
通过三个teacher生成全局描述子、局部描述子、关键点得分，用于网络进行学习。
进一步地，HF-Net网络映射过程包括：
将光谱图像放入HF net中进行计算，分别得到光谱图像的全局描述子、局部描述子、关键点得分；
使用光谱图像的全局描述子，在三维重建彩色点云的数据集进行全局检索，然后根据检索得到此光谱照片对应的三维模型的位置；
使用光谱图像的局部描述子和关键点得分，进行局部特征匹配，找到光谱图像中的光谱信息与对应的三维模型点云中的匹配点，完成光谱信息和三维模型的映射。
第二方面，本发明还提供一种基于重定位技术的光谱三维重建系统，该系统包括：
图像获取单元，获取现场待测物品的RGB图像和对应的光谱图像；
点云构建单元，通过SLAM技术构建RGB图像的稠密点云；
三维重建单元，基于高清相机拍摄的多视角图像实现对现场的三维重建，将稠密点云重建构建三维模型；
贴图单元，利用光线投射算法完成三维重建模型的纹理贴图；
光谱定位单元，利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有高清彩色图像集中的重定位，合成带有光谱信息的三维重建模型。
第三方面，本发明还提供一种电子设备，所述电子设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现所述基于重定位技术的光谱三维重建方法。
第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以基于重定位技术的光谱三维重建方法。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明基于高清相机拍摄的多视角图像实现对现场的三维重建，重建出的效果图可以清晰准确还原现场的视觉效果，重建后的模型以计算机形式进行呈现，肉眼可见，并且算法的运算量低，模型存储空间小，可以很好达到实用化效果；
2、本发明结合图像的三维重建和光谱图像的视觉定位，可以精确匹配到多光谱图中可利用性最好的那张，将现场不明显的物证信息准确无误通过计算机的形式呈现出来，实现对物证的现场鲁棒性还原，鲁棒性体现在定位过程中不依赖其他人为操作、对天气、光照和季节不敏感等；
3、本发明可以实现对物证的光谱三维重建，该系统通过获取物证空间尺度信息，同时抓取其表面不同材质的光谱信息，对于现场指纹、血渍、精斑等重要物证的空间尺寸和位置分析，有着重要的意义；
4、本发明采用基于深度学习的视觉定位方法，通过卷积神经网络提取多光谱图特征描述符，提取的特征描述符具有统一性，能够满足对多光谱图重定位的要求，进而实现对多光谱图的位姿估计；
综上，本发明在基于RGB图像的三维重建上，结合匹配的多光谱图像，实现三维光谱成像，可以广泛应用在三维光谱成像物证检验中。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
图1为本发明实施例的基于重定位技术的光谱三维重建算法流程图；
图2为本发明实施例通过高清照片实现对物证的三维重建效果图；
图3为本发明实施例ORB-SLAM相机位姿跟踪图；
图4为本发明实施例三维点在两个视角下的SDF示意图；
图5为本发明实施例贴图前的模型效果图；
图6为本发明实施例贴图后模型效果图；
图7为本发明实施例光谱图像位姿估计网络组成；
图8为本发明实施例HF-Net网络架构图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
本发明提供的基于重定位技术的光谱三维重建方法、系统及存储介质，该方法包括：获取现场待测物品的RGB图像和对应的光谱图像；通过SLAM技术构建待测物品RGB图像的稠密点云；基于RGB图像稠密点云构建现场待测物品三维模型；利用光线投射算法完成现场三维模型的纹理贴图；利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有RGB图像中的重定位，合成带有光谱信息的三维重建模型。因此，本发明在基于RGB图像的三维重建上，结合匹配的多光谱图像，实现三维光谱成像，可以广泛应用在三维光谱成像物证检验中。
实施例一
如图1所示，本实施例提供的基于重定位技术的光谱三维重建方法，首先通过高清相机图像进行现场的三维重建；然后提取光谱图的特征描述符完成特征匹配，实现对光谱图的重定位；进而实现光谱特征和三维重建稠密点云的匹配；最终合成带有光谱信息的三维重建模型，具体包括：
S1、通过SLAM(Simultaneous localization and mapping同步定位与建图)技术构建RGB图像的稠密点云，具体包括：
S11、获取高清相机摄取的现场高清RGB图像。
S12、通过RGB图像的运动恢复结构SFM(structure-from-motion)算法确定每一帧图像的相机位姿，并通过蝙蝠算法(BA)对相机位姿图进行迭代优化，得到每一张RGB图像的相机位姿。
S13、基于相机的位姿信息，融合每一个相机位姿对应的深度图，获得物体的稠密点云图，具体过程为：
S131、通过前端视觉里程计算(VO)，获取相机的位姿。
具体地，视觉里程计算主要研究帧与帧之间变换关系。首先提取每帧图像的特征点(可以利用FAST特征点检测算法或Harris角点检测算法或SIFT、SURF等算法检测特征点的位置，以此为例，不限于此)进行相邻帧图像的特征匹配；然后利用RANSAC算法去除噪声点；最终得到一个该帧图像的姿态和位置信息。
S132、通过后端非线性优化(Optimization)实现对图像姿态信息的最优估计。
后端主要是对前端输出结果进行优化，利用滤波理论(EKF、UKF、PF)、优化理论TORO、G2O进行树或者图的优化，实现对图像姿态信息的最优估计。
一些实现中，基于滤波的最优姿态估计算法，对于滤波器的需求较大，这对于需要频繁求逆的EKF(扩展卡尔曼滤波器)，PF压力很大。而基于图模型的最优姿态估计，通常以关键帧为基础，建立多个节点以及节点之间的相对变换关系，进行不断的关键节点维护，保证了图的容量，其在保证精度的同时，降低了计算量，可以根据需要进行选择，在此不做限定。
S133、通过回环检测(loop closure)对位姿产生的累积误差进行纠正，以避免由于位姿的累计误差，在三维重建后出现模型叠层、撕裂等不完整现象。
具体地，无论在单目、双目还是深度相机中，追踪得到的位姿都是有误差的。随着路径的不断延伸，前面帧的误差会一直传递到后面去，导致最后一帧的位姿在世界坐标系里的误差有可能非常大。除了利用优化方法在局部和全局调整位姿外，也可以利用回环检测(loop closure)来优化位姿。
一些实现中，现有技术常用的回环检测方法包括：
SLAM，PTAM,MonoSLAM,ORB-SLAM,RGBD-SLAM,RTAB-SLAM,LSD-SLAM，优选地，ORB-SLAM中用到了DBoW2算法做回环检测：通过机器学习对图像数据集提取特征(ORB特征)，并对所有特征进行聚类，使用BoW(bag of words，词袋模型)组织成树状结构，每次扫描利用BoW分析每个关键帧之间的相似性，判断是否存在回环，如果存在回环，将两帧之间的相机位姿坐标修正为同一个，如果不存在回环，则正常进行位姿估计，如图3为ORB-SLAM相机位姿跟踪图的效果。
S134、制图Mapping
根据估算的相机位姿将RGB数据转化为点云(Point Cloud)即：通过相机位姿估计能够得到相机的空间位置，通过拍摄连续两帧的空间三角关系，可以得到相机照片上对应点的空间位置，从而得到点云数据，对多个点云进行拼接，最后得到一个由离散的点组成的点云地图(Point Cloud)，具体过程为：
首先，对于生成的每一帧点云，去掉深度值太大或无效的点(深度值超出拍摄范围的点)，并利用统计滤波器的方法去掉孤立点(例如标准单位内临近点小于10个)，该滤波器统计每个点与距离它最近的N个点的距离值分布，去除距离均值过大的点。
然后，由于多个视角存在视野重叠的情况，这会使得在重叠位置会出现大量位置十分相近的点，占据了大量的存储空间，因此使用体素滤波器(Voxel Filter)进行降采样去掉这些点，可以节省大量的存储空间。
S2、基于高清相机拍摄的多视角图像实现对现场的三维重建，将稠密点云重建构建三维模型，形成三维网格(3D mesh)或面元(Surfel)图。
具体地，为了完成对现场的三维重建，引入多张图像的三维重建技术，通过高清相机在多角度拍摄现场图像，捕捉现场的细节信息，构造现场的可视化三维模型。该过程实现从二维到三维空间的转换，重建出来的模型将直接影响到现场的准确度还原情况，因此需要在保持算法的复杂度上提升重建的准确度。如图2所示，将稠密点云重建构建三维模型的具体过程为：
利用稠密点云完成立体模型重建，进而构建三维网格或面元图，利用生成的点云图构建网格地图，常见方法有泊松重建，Surfel重建，八叉树地图，VRIP算法等。
进一步地，本实施例采用VRIP算法作为示例进行说明，VRIP算法是从深度图重建网格图，其核心问题是已知世界坐标系下，某物体表面ff在不同视角下的深度图f1^,...,fK^f1^,...,fK^，求ff。在计算过程中，深度图在世界坐标系下的位姿是已知的。VRIP算法最重要的假设是测量误差是沿着光线传播方向(投影方向)，并且服从高斯分布，其尝试从概率的角度来描述核心问题，对任意曲面f，P(f|f1^,...,fK^)为f的条件概率，求解核心问题转化为一个最大似然问题。如图4所示是同一个三维点在两个视角下的SDF(SignedDistance Field,译为有向距离场)示意图，其中，SDF是沿着视角方向(光线传播反方向)的，有d1<0,d2>0d1<0,d2>0。
一些实现中，本实施例使用VRIP算法将稠密点云重建构建三维模型的过程为：
VRIP算法对每个体素设置一个权重值，然后循环，沿投影方向找到深度网格中的对应点；
计算其沿投影方向的SDF，插值得到其权重；
更新这个体素的权重和SDF，最终提取零等值面得到三维网格模型。
S3、利用光线投射算法(Ray Casting)完成三维重建模型的纹理贴图。
具体地，对没有纹理的三维模型，需要通过立体贴图得到最终的彩色模型，光线投射是立体贴图的方法之一，它的基础就是从眼睛投射光线到物体上的每个点，查找阻挡光线的最近物体。在该算法中，成像平面每个像素沿着视线方向发出一条射线穿过体数据，沿着这条射线等距离重采样，求出各重采样的颜色值和阻光度，然后按照由前向后或由后向前的方式合成射线上各重采样点的颜色和阻光度，即得到该像素颜色。通过立体贴图后，就可以完整呈现一个重建后的彩色三维立体模型了，如图5和图6所示。对模型进行裁剪、优化、减面、平滑、补洞等优化后可得到完整的三维重建模型。
S4、对拍摄高清彩色图像的同一物体同时拍摄光谱图像，利用深度卷积神经网络实现对光谱图像的特征提取，基于提取的特征描述符完成对光谱图的位姿估计，进而完成光谱特征的在所拍摄的所有高清彩色图像集中的重定位。
具体地，本发明的光谱图像的视觉定位，解决了光谱相机位姿估计与三维模型的空间重定位问题，单摄像机的精确6自由度(DoF)定位是三维光谱成像的核心功能之一，厘米级精确的光谱视觉定位对于三维光谱成像的准确性至关重要。无论天气，照明或季节变化如何，视觉定位需要在室内和室外的各种光照环境下可靠运行，能保证物证检验系统在各种复杂场景的使用。
基于多任务学习的视觉定位方法是一种异构的定位方法，其中相机位姿估计是主任务，图像语义分割、图像深度估计和视觉里程计估计是辅助任务。本发明所对应的系统框架由四部分网络结构组成，包括：全局位姿回归子网络、语义分割子网络、深度估计子网络和相对位姿估计子网络，如图7所示，过程包括：
S41、在相对位姿估计中，首先在全局搜索策略下，通过局部特征匹配估计出一个6-DoF的位姿，确定出最接近光谱图像拍摄角度的一组RGB图像，作为候选图像(候选RGB图像是所有彩色图像中，包含目标物体，最接近光谱图像拍摄角度的一组RGB图像)，然后进一步做精确定位。也就是说，首先通过局部特征匹配估计6-DoF一个大致位姿，得到候选RGB图像，然后通过精确的特征描述符提取和特征匹配确定出最佳RGB图像(最佳RGB图像是指与光谱图像拍摄角度和位置完全一致的一个RGB图像)。
S42、使用用于分层特征的新型神经网络HF-Net实现对最佳彩色图像的关键点检测，并计算光谱图像的关键点检测，通过HF-Net网络实现光谱特征点与最佳RGB图像的特征点位置的一一匹配，由于最佳RGB图像的像素点坐标都在三维模型点云中，已有对应，所以就实现了光谱图图像与三维模型点云的匹配，将光谱信息完整地映射到三维重建模型。
具体地，HF-Net网络能最大限度地提高计算共享，同时保留较大基线网络的性能。HF-Net架构卷积神经网络本质上是一种层次性网络结构。HF-Net架构输出三种预测：关键点检测分数、密集局部描述符和全局图像范围描述符。这三种输出共享一个网络，可以最大限度的完成更多的任务，并且减少网络的计算量。HF-Net的编码器网络是EdgeNet骨干网，是一种针对移动推理进行了优化的流行架构，其具有一个NetVLAD层位于MobileNet的最后。为了提高效率和灵活性，采用针对关键点和局部描述符的SuperPoint解码方案。本地特征头部在比全局头部更早的阶段从MobileNet编码器分支出来，因为需要更高的空间分辨率来保留空间辨别特征，局部特征在比图像范围描述符更低的语义级别上。在通过HF-Net网络实现光谱特征点的匹配后，就可以将光谱信息完整的映射到三维重建的模型上去，从而实现三维光谱成像物证检验系统的核心功能。
一些实现中，如图8所示，HF-Net网络具体训练过程：
首先通过MobileNet实现三维重建彩色点云(Point Cloud)的提取特征，输出的特征图用于后续的全局描述子、关键点、局部描述子的预测。
通过SuperPoint解码，使用一种非学习的固定方式得到三维重建彩色点云(PointCloud)的关键点得分和局部描述子。
通过MobileNet和NetVLAD层实现对三维重建彩色点云(Point Cloud)的全局描述子的提取。
有三个teacher分别生成全局描述子(Global descriptor)、局部描述子(Localdescriptors)、关键点得分(Key point Scores)，用于网络进行学习。
另一些实现中，光谱信息完整地映射到三维重建模型的映射过程：
将光谱图像放入HF net中进行计算，分别得到光谱图像的全局描述子(Globaldescriptor)、局部描述子(Local descriptors)、关键点得分(Key point Scores)；
使用光谱图像的全局描述子，在三维重建彩色点云(Point Cloud)的数据集进行全局检索，然后根据检索得到此光谱照片对应的三维模型的大致位置。
使用光谱图像的局部描述子和关键点得分，进行局部特征匹配，找到光谱图像中的光谱信息，对应的三维模型点云中的匹配点，从而完成光谱信息和三维模型的映射。
实施例二
上述实施例一提供了基于重定位技术的光谱三维重建方法，与之相对应地，本实施例提供光谱三维重建系统。本实施例提供的光谱三维重建系统可以实施实施例一的基于重定位技术的光谱三维重建方法，该系统可以通过软件、硬件或软硬结合的方式来实现。例如，该系统可以包括集成的或分开的功能模块或功能单元来执行实施例一各方法中的对应步骤。由于本实施例的光谱三维重建系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例一的部分说明即可，本实施例的光谱三维重建系统仅仅是示意性的。
本实施例提供的一种基于重定位技术的光谱三维重建系统，该系统包括：
图像获取单元，获取现场待测物品的RGB图像和对应的光谱图像；
点云构建单元，通过SLAM技术构建RGB图像的稠密点云；
三维重建单元，基于高清相机拍摄的多视角图像实现对现场的三维重建，将稠密点云重建构建三维模型；
贴图单元，利用光线投射算法完成三维重建模型的纹理贴图；
光谱定位单元，利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有高清彩色图像集中的重定位，合成带有光谱信息的三维重建模型。
实施例三
本实施例提供一种实现本实施例一所提供的基于重定位技术的光谱三维重建方法的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例一的基于重定位技术的光谱三维重建方法。
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例一所提供的基于重定位技术的光谱三维重建方法。
优选地，存储器可以是高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
优选地，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例四
本实施例一的基于重定位技术的光谱三维重建方法被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例一所述的基于重定位技术的光谱三维重建方法的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于重定位技术的光谱三维重建方法，其特征在于包括：
获取现场待测物品的RGB图像和对应的光谱图像；
通过SLAM技术构建待测物品RGB图像的稠密点云；
基于RGB图像稠密点云构建现场待测物品三维模型；
利用光线投射算法完成现场三维模型的纹理贴图；
利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有RGB图像中的重定位，合成带有光谱信息的三维重建模型。
2.根据权利要求1所述的基于重定位技术的光谱三维重建方法，其特征在于，通过SLAM技术构建待测物品RGB图像的稠密点云，包括：
获取高清相机多角度摄取的现场高清RGB图像；
通过RGB图像的运动恢复结构SFM算法确定每一帧图像的相机位姿，并通过蝙蝠算法对相机位姿图进行迭代优化，得到每一张RGB图像的相机位姿；
基于相机的位姿信息，融合每一个相机位姿对应的深度图，获得物体的稠密点云图。
3.根据权利要求1所述的基于重定位技术的光谱三维重建方法，其特征在于，基于相机的位姿信息，融合每一个相机位姿对应的深度图，获得物体的稠密点云图，包括：
通过前端视觉里程计算获取相机的位姿；
通过后端非线性优化对相机姿态信息进行最优估计；
通过回环检测对位姿产生的累积误差进行纠正；
根据估算的相机位姿将RGB数据转化为点云，并对多个点云进行拼接，得到由离散的点组成的点云地图。
4.根据权利要求1所述的基于重定位技术的光谱三维重建方法，其特征在于，利用稠密点云完成三维模型重建采用泊松重建、Surfel重建、八叉树地图或VRIP算法。
5.根据权利要求1～4任一项所述的基于重定位技术的光谱三维重建方法，其特征在于，利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有高清彩色图像集中的重定位，合成带有光谱信息的三维重建模型，包括：
在相对位姿估计中，首先在全局搜索策略下，通过局部特征匹配估计光谱相机位姿，确定出最接近光谱图像拍摄角度的一组RGB图像，作为候选图像，然后通过特征描述符提取和特征匹配确定出最佳RGB图像；
使用用于分层特征的神经网络HF-Net实现对最佳RGB图像的关键点检测，并计算光谱图像的关键点检测，通过HF-Net网络实现光谱特征点与最佳RGB图像的特征点位置的匹配，实现光谱图图像与三维模型点云的匹配，将光谱信息完整地映射到三维重建模型。
6.根据权利要求5所述的基于重定位技术的光谱三维重建方法，其特征在于，HF-Net网络训练过程包括：
通过MobileNet实现三维重建彩色点云的提取特征，输出的特征图用于后续的全局描述子、关键点、局部描述子的预测；
通过SuperPoint解码，使用非学习的固定方式得到三维重建彩色点云的关键点得分和局部描述子；
通过MobileNet和NetVLAD层实现对三维重建彩色点云的全局描述子的提取；
通过三个teacher生成全局描述子、局部描述子、关键点得分，用于网络进行学习。
7.根据权利要求6所述的基于重定位技术的光谱三维重建方法，其特征在于，HF-Net网络映射过程包括：
将光谱图像放入HF net中进行计算，分别得到光谱图像的全局描述子、局部描述子、关键点得分；
使用光谱图像的全局描述子，在三维重建彩色点云的数据集进行全局检索，然后根据检索得到此光谱照片对应的三维模型的位置；
使用光谱图像的局部描述子和关键点得分，进行局部特征匹配，找到光谱图像中的光谱信息与对应的三维模型点云中的匹配点，完成光谱信息和三维模型的映射。
8.一种基于重定位技术的光谱三维重建系统，其特征在于，该系统包括：
图像获取单元，获取现场待测物品的RGB图像和对应的光谱图像；
点云构建单元，通过SLAM技术构建RGB图像的稠密点云；
三维重建单元，基于高清相机拍摄的多视角图像实现对现场的三维重建，将稠密点云重建构建三维模型；
贴图单元，利用光线投射算法完成三维重建模型的纹理贴图；
光谱定位单元，利用深度卷积神经网络实现对光谱图像的特征提取，完成光谱特征在所拍摄的所有高清彩色图像集中的重定位，合成带有光谱信息的三维重建模型。
9.一种电子设备，所述电子设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现根据权利要求1到7任一项所述基于重定位技术的光谱三维重建方法。
10.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1到7任一项基于重定位技术的光谱三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110948164.7A CN113674400A (zh) | 2021-08-18 | 2021-08-18 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110948164.7A CN113674400A (zh) | 2021-08-18 | 2021-08-18 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674400A true CN113674400A (zh) | 2021-11-19 |
Family
ID=78543659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110948164.7A Pending CN113674400A (zh) | 2021-08-18 | 2021-08-18 | 基于重定位技术的光谱三维重建方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674400A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494156A (zh) * | 2022-01-03 | 2022-05-13 | 西北工业大学 | 一种物体位姿估计和物理属性协同估计方法 |
| CN114972625A (zh) * | 2022-03-22 | 2022-08-30 | 广东工业大学 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
| CN115100360A (zh) * | 2022-07-28 | 2022-09-23 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN116612182A (zh) * | 2023-07-19 | 2023-08-18 | 煤炭科学研究总院有限公司 | 单目位姿估计方法及装置 |
| CN117671022A (zh) * | 2023-11-02 | 2024-03-08 | 武汉大学 | 一种室内弱纹理环境的移动机器人视觉定位系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978931A (zh) * | 2019-04-04 | 2019-07-05 | 北京悉见科技有限公司 | 三维场景重建方法及设备、存储介质 |
| CN110728671A (zh) * | 2019-10-15 | 2020-01-24 | 西安电子科技大学 | 基于视觉的无纹理场景的稠密重建方法 |
| CN111323024A (zh) * | 2020-02-10 | 2020-06-23 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建系统及方法 |
| CN112085844A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 面向野外未知环境的无人机影像快速三维重建方法 |
| CN112233221A (zh) * | 2020-11-10 | 2021-01-15 | 北京邮电大学 | 基于即时定位与地图构建的三维地图重建系统及方法 |
| CN112270760A (zh) * | 2020-11-03 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种定位方法、装置、电子设备及存储介质 |
| CN112288875A (zh) * | 2020-10-30 | 2021-01-29 | 中国有色金属长沙勘察设计研究院有限公司 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
| US20210192271A1 (en) * | 2019-12-23 | 2021-06-24 | Beijing Institute Of Technology | Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction |
| CN113178009A (zh) * | 2021-04-19 | 2021-07-27 | 中国人民解放军陆军工程大学 | 一种利用点云分割和网格修补的室内三维重建方法 |
| CN113223173A (zh) * | 2021-05-11 | 2021-08-06 | 华中师范大学 | 基于图模型的三维模型重建迁移方法及系统 |
-
2021
- 2021-08-18 CN CN202110948164.7A patent/CN113674400A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978931A (zh) * | 2019-04-04 | 2019-07-05 | 北京悉见科技有限公司 | 三维场景重建方法及设备、存储介质 |
| CN110728671A (zh) * | 2019-10-15 | 2020-01-24 | 西安电子科技大学 | 基于视觉的无纹理场景的稠密重建方法 |
| US20210192271A1 (en) * | 2019-12-23 | 2021-06-24 | Beijing Institute Of Technology | Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction |
| CN111323024A (zh) * | 2020-02-10 | 2020-06-23 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN111968129A (zh) * | 2020-07-15 | 2020-11-20 | 上海交通大学 | 具有语义感知的即时定位与地图构建系统及方法 |
| CN112085844A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 面向野外未知环境的无人机影像快速三维重建方法 |
| CN112288875A (zh) * | 2020-10-30 | 2021-01-29 | 中国有色金属长沙勘察设计研究院有限公司 | 一种面向无人机矿山巡检场景的快速三维重建方法 |
| CN112270760A (zh) * | 2020-11-03 | 2021-01-26 | 北京百度网讯科技有限公司 | 一种定位方法、装置、电子设备及存储介质 |
| CN112233221A (zh) * | 2020-11-10 | 2021-01-15 | 北京邮电大学 | 基于即时定位与地图构建的三维地图重建系统及方法 |
| CN113178009A (zh) * | 2021-04-19 | 2021-07-27 | 中国人民解放军陆军工程大学 | 一种利用点云分割和网格修补的室内三维重建方法 |
| CN113223173A (zh) * | 2021-05-11 | 2021-08-06 | 华中师范大学 | 基于图模型的三维模型重建迁移方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴铮铮;寇展;: "基于单目多视角影像的场景三维重建", 光学与光电技术, no. 05, 10 October 2020 (2020-10-10) * |
| 唐灿等: "图像特征检测与匹配方法研究综述", 《南京信息工程大学学报（自然科学版）》, vol. 12, no. 3, 31 March 2020 (2020-03-31), pages 261 - 273 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494156A (zh) * | 2022-01-03 | 2022-05-13 | 西北工业大学 | 一种物体位姿估计和物理属性协同估计方法 |
| CN114494156B (zh) * | 2022-01-03 | 2024-03-08 | 西北工业大学 | 一种物体位姿估计和物理属性协同估计方法 |
| CN114972625A (zh) * | 2022-03-22 | 2022-08-30 | 广东工业大学 | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 |
| CN115100360A (zh) * | 2022-07-28 | 2022-09-23 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN115100360B (zh) * | 2022-07-28 | 2023-12-01 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN116612182A (zh) * | 2023-07-19 | 2023-08-18 | 煤炭科学研究总院有限公司 | 单目位姿估计方法及装置 |
| CN116612182B (zh) * | 2023-07-19 | 2023-09-29 | 煤炭科学研究总院有限公司 | 单目位姿估计方法及装置 |
| CN117671022A (zh) * | 2023-11-02 | 2024-03-08 | 武汉大学 | 一种室内弱纹理环境的移动机器人视觉定位系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Walch et al. | Image-based localization using lstms for structured feature correlation | |
| Wang et al. | 360sd-net: 360 stereo depth estimation with learnable cost volume | |
| Guerry et al. | Snapnet-r: Consistent 3d multi-view semantic labeling for robotics | |
| CN113674400A (zh) | 基于重定位技术的光谱三维重建方法、系统及存储介质 | |
| EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| Li et al. | A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges | |
| CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
| WO2019057179A1 (zh) | 一种基于点线特征的视觉slam方法和装置 | |
| CN107657644B (zh) | 一种移动环境下稀疏场景流检测方法和装置 | |
| CN113298934B (zh) | 一种基于双向匹配的单目视觉图像三维重建方法及系统 | |
| CN112784873A (zh) | 一种语义地图的构建方法及设备 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| WO2018133119A1 (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
| Irschara et al. | Large-scale, dense city reconstruction from user-contributed photos | |
| Alcantarilla et al. | Large-scale dense 3D reconstruction from stereo imagery | |
| Hirner et al. | FC-DCNN: A densely connected neural network for stereo estimation | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN113160210A (zh) | 基于深度相机的排水管道缺陷检测方法及装置 | |
| CN110135474A (zh) | 一种基于深度学习的倾斜航空影像匹配方法和系统 | |
| Goldluecke | Total variation | |
| CN113112547A (zh) | 机器人及其重定位方法、定位装置及存储介质 | |
| CN112288817A (zh) | 基于图像的三维重建处理方法及装置 | |
| Lyra et al. | Development of an efficient 3D reconstruction solution from permissive open-source code | |
| Chin et al. | Transfer Learning | |
| Brill | Trichromatic theory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |