CN117557733B - 基于超分辨率的自然保护区三维重建方法 - Google Patents
基于超分辨率的自然保护区三维重建方法 Download PDFInfo
- Publication number
- CN117557733B CN117557733B CN202410039253.3A CN202410039253A CN117557733B CN 117557733 B CN117557733 B CN 117557733B CN 202410039253 A CN202410039253 A CN 202410039253A CN 117557733 B CN117557733 B CN 117557733B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- matching
- pair
- pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 24
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于超分辨率的自然保护区三维重建方法，包括获取一组自然保护区的高分辨率点云Q；将Q中点云两两组合构成点云对，若点云对中两片点云相邻，用点云局部配准得到匹配点对集合，若不相邻，先用全局配准判断两片点云是否相关，若相关再通过最近邻得到匹配点对集合；用点云间的匹配点对集合进行多点云同时配准，更新点云位姿；并用更新后的位姿集合融合点云，得到完整三维点云并映射颜色。本发明使用点云配准的方式进行三维重建，先对点云密度进行提升，通过全局配准寻找不相邻点云间的关联减少累积误差、最小化匹配点距离避免配准时仅是点云的相对位姿自洽而非几何对齐的缺陷，本发明无需大量的计算资源，重建速度快、精度高。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种基于超分辨率的自然保护区三维重建方法。
背景技术
对自然保护区实现更好的监测需要对整个环境进行三维重建，能从三维视角上进行观测。但是已有的方法存在以下几个问题：
1、自然保护区的遥感影像纹理重复度较高，难以提取有效的局部特征用于计算无人机位姿并借此进行三维重建。
2、激光雷达采集的点云数据空间密度太低，难以借此计算得到高精度的三维重建结果。但直接提升三维数据的空间密度所占用的计算资源相对于二维数据会指数级增长，对于比较大型的场景，现有的计算方法和计算资源难以进行复杂的计算或处理。
3、由于点云数据密度低，也难以提取点云中的局部几何特征用于全局配准，仅能使用时序信息，而仅使用时序信息会产生巨大的累积误差。
4、在同时计算多点云位姿时，往往仅使用点云的相对位姿信息，这使得最终结果仅是点云间位姿自洽而并非点云间的几何对齐。
发明内容
本发明的目的就在于提供一种解决上述问题的，基于超分辨率的自然保护区三维重建方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种基于超分辨率的自然保护区三维重建方法，包括以下步骤；
S1，获取一组自然保护区的高分辨率点云，/>为第n片点云；
S2，将Q中任意相邻两片点云两两组合成点云对，对每个点云对，采用点云局部配准的方式寻找两片点云的匹配点对，构成匹配点对集合；
S3，将Q中任意不相邻两片点云两两组合成点云对，对每个点云对，判断两片点云是否相关，其中一点云对的判断方法为：
S31，对Q中不相邻的第m片点云和第k片点云/>，用全局配准的方式寻找二者间的匹配点对，所有匹配点对构成第一集合/>；
S32，构建图G=（V,E）；
将中的每对匹配点对作为一个顶点，得到顶点的集合V；
对任意两匹配点对和/>，若满足，则在两匹配点对代表的两顶点间增加一条边，所有边构成集合E，得到图/>，其中，/>、/>为/>中的点，/>、/>为/>中的点，η为预设的距离阈值；
S33，提取图G的最大完全子图Gc，用Gc的所有顶点，通过最小二乘算法计算Qm与Qk间的刚性变换，将Qm与Qk对齐；
S34，预设全局配准可靠性检测阈值、重合距离阈值/>、重合度阈值/>；
S35，判断：对Gc的每个顶点，计算其对应匹配点对的距离，若有距离大于/>，则与/>不相关，否则进行/>判断；
S36，判断：对齐后的/>与/>，用最近邻搜索方式重新得到N对匹配点对，构成第二集合，计算第二集合中的每对匹配点对的距离，将距离小于/>的匹配点对构成第三集合，计算距离比值/>，/>为第三集合中匹配点对数量；
S37，判断：若/>，则/>与/>不相关，否则相关；
S4，对相关但不相邻的点云对，将对应的第三集合，作为其匹配点对集合；
S5，用点云间的匹配点对集合进行多点云同时配准，包括步骤S51~S55，
S51，构造Q中所有点云的位姿集合的表达式：
（1），
（2），
式（1）中，、/>、/>分为第i片点云/>、第j片点云/>、第n片点云/>的位姿；
式（2）中，为/>的旋转矩阵，/>为/>的平移向量，T为转置操作；
S52，构造的目标函数F
（3），
式（3）中，为所有存在匹配点对集合的点云对集合，/>为/>与/>的匹配点对集合，/>为/>中的一组匹配点对，/>、/>；
S54，求解目标函数，对位姿进行更新；
S55，按步骤S52到S54，依次对中每片点云的位姿进行更新，得到更新后的位姿集合；
S6，根据更新后的位姿集合融合点云，得到完整三维点云，并映射颜色。
作为优选：S2中，局部配准寻找匹配点对包括S21到S23；
S21，对Q中两片相邻的第i片点云和第i+1片点云/>，用迭代最近点算法将二者对齐，且迭代最近点算法中，将单位矩阵I作为相对位姿的初始值；
S22，使用交叉检验的方式，寻找与/>间的最近点对；
S23，将最近点对作为与/>的匹配点对。
作为优选：S22中，所述交叉检验为：
将中所有点的坐标构建为第一KD树，/>中所有点的坐标构建为第二个KD树；
对中的每一个点/>坐标在第一KD树中进行搜索，寻找一个最近的点/>；
对中的每一个点/>在第二KD树中进行搜索寻找最近点，若找到的最近点为则通过交叉检验，否则排除这对点。
作为优选：步骤S31中，全局配准为，对中不相邻的第m片点云/>和第k片点云/>，分别提取/>和/>中点的特征描述/>和/>，再通过特征匹配和交叉检验得到/>和/>间的匹配点对。
作为优选：S33具体为，提取图G中度最大的v个顶点的导出子图，使用最大团算法从/>中提取最大完全子图/>，v≥3。
作为优选：，/>，/>。
作为优选：S1所述Q中的点云通过以下方法得到；
S11，构造训练数据集；
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像IRGB和第一深度图像D1；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D2，其中分辨率D1大于D2；
将对应的I、D1、D2构成一个训练样本，所有训练样本构成训练数据集；
S12，以训练样本的I、D2为输入，D1为期望输出，训练一生成网络得到高分辨率点云生成模型；
S13，获取自然保护区的RGB-D数据集和点云数据，构造成训练样本，送入高分辨率点云生成模型中，输出一深度图，再反投影到三维空间得到高分辨率的点云数据，作为Q中的一片点云。
作为优选：所述生成网络包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对IRGB、D1编码，得到编码彩色图像I’RGB和编码第一深度图像D’1；
所述第二自编码器用于对D2编码，得到编码第二深度图像D’2并能对扩散模型的输出解码；
所述扩散模型以I’RGB、D’2为输入，以D’1为期望输出，并将输出送入第二自编码器中解码，解码时以D1为期望输出。
本发明中：自然保护区的高分辨率点云Q中的点云，分辨率高，所以能应用于本发明中高精度的三维重建。本发明给出了一种提高点云分辨率的方法和网络结构，但不限于此方法及结构。
对于相邻的两片点云，由于二者必然相关，故直接通过点云局部配准的方式寻找两片点云的匹配点对，构成匹配点对集合。在进行点云局部配准的时候，使用迭代最近点算法和交叉检验的方法，更准确的获得匹配点对。
对于不相邻的两片点云，按本发明步骤S3先判断相关性。在步骤S3中，设置了、、/>。/>的目的是用来判断全局配准的结果是否可靠，也就是判断这两片点云能不能有效对齐，故为全局配准可靠性检测阈值，如果存在距离特别大的一对匹配点，认为这两片点云的配准结果不可靠。/>的目的是用来判断这对匹配点是否是属于两片点云的重合区域，故为重合距离阈值，在进行这一步判定时，需重新用最近邻搜索方式重新一批匹配点对。再进行判定。/>的目的是判断这两片点云的重合度是否占据一定比例，达到比例两片点云才相关，否则依然认为不相关，故/>为重合度阈值。经过判定后，我们舍弃不相关的点云对间的数据，仅获取相关但不相邻的点云对的匹配点对集合。
最终，仅利用相关的点云对的匹配点对集合进行多点云同时配准。
与现有技术相比，本发明的优点在于：
1、提出了一种使用点云配准进行三维重建的方法，避免使用纹理重复度高的遥感影像，在重建过程中尽可能减少会产生歧义的匹配，以此提升算法的鲁棒性。
2、针对激光雷达获取的点云数据分辨率低的问题，提出了采用RGB-D相机的深度图像提升点云数据分辨率的方法，将点云投影为二维图像，利用图像处理的方式提升点云密度。克服了现实中难以使用激光雷达采集更高密度的数据的缺陷，数据处理速度快、效果好，无需占用大量的计算资源。
3、通过点云局部配准的方式寻找相邻点云间的关联，全局配准的方式寻找不相邻点云间的关联，在多点云同时配准时，基于匹配点对集合进行配准，能有效减少误差累积，实现点云间的几何对齐，本发明和常规的点云配准方式相比，距离误差能降低为其1/3甚至更低。从而重建的三维数据更准确。
附图说明
图1为本发明流程图；
图2为生成网络的结构示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1，一种基于超分辨率的自然保护区三维重建方法，包括以下步骤；
S1，获取一组自然保护区的高分辨率点云，/>为第n片点云；
S2，将Q中任意相邻两片点云两两组合成点云对，对每个点云对，采用点云局部配准的方式寻找两片点云的匹配点对，构成匹配点对集合；
S3，将Q中任意不相邻两片点云两两组合成点云对，对每个点云对，判断两片点云是否相关，其中一点云对的判断方法为：
S31，对Q中不相邻的第m片点云和第k片点云/>，用全局配准的方式寻找二者间的匹配点对，所有匹配点对构成第一集合/>；
S32，构建图G=（V,E）；
将中的每对匹配点对作为一个顶点，得到顶点的集合V；
对任意两匹配点对和/>，若满足，则在两匹配点对代表的两顶点间增加一条边，所有边构成集合E，得到图/>，其中，/>、/>为/>中的点，/>、/>为/>中的点，η为预设的距离阈值；
S33，提取图G的最大完全子图Gc，用Gc的所有顶点，通过最小二乘算法计算Qm与Qk间的刚性变换，将Qm与Qk对齐；
S34，预设全局配准可靠性检测阈值、重合距离阈值/>、重合度阈值/>；
S35，判断：对Gc的每个顶点，计算其对应匹配点对的距离，若有距离大于/>，则与/>不相关，否则进行/>判断；
S36，判断：对齐后的/>与/>，用最近邻搜索方式重新得到N对匹配点对，构成第二集合，计算第二集合中的每对匹配点对的距离，将距离小于/>的匹配点对构成第三集合，计算距离比值/>，/>为第三集合中匹配点对数量；
S37，判断：若/>，则/>与/>不相关，否则相关；
S4，对相关但不相邻的点云对，将对应的第三集合，作为其匹配点对集合；
S5，用点云间的匹配点对集合进行多点云同时配准，包括步骤S51~S55，
S51，构造Q中所有点云的位姿集合的表达式：
（1），
（2），
式（1）中，、/>、/>分为第i片点云/>、第j片点云/>、第n片点云/>的位姿；
式（2）中，为/>的旋转矩阵，/>为/>的平移向量，T为转置操作；
S52，构造的目标函数F
（3），
式（3）中，为所有存在匹配点对集合的点云对集合，/>为/>与/>的匹配点对集合，/>为/>中的一组匹配点对，/>、/>；
S54，求解目标函数，对位姿进行更新；
S55，按步骤S52到S54，依次对中每片点云的位姿进行更新，得到更新后的位姿集合；
S6，根据更新后的位姿集合融合点云，得到完整三维点云，并映射颜色。
本发明中，求解目标函数时通过半正定松弛与半正定规划进行求解。求解后，不管计算结果是否存在镜像翻转都可以进行一次镜像翻转。若不存在镜像翻转，整体进行相同的刚性变换并不会改变几何形状；若存在镜像翻转时可以借此消除镜像翻转的情况。镜像翻转通过来执行，/>为第i片点云/>，/>为镜像翻转后的第i片点云/>，/>为的逆矩阵。
实施例2：参见图1和图2，S2中，局部配准寻找匹配点对包括S21到S23；
S21，对Q中两片相邻的第i片点云和第i+1片点云/>，用迭代最近点算法将二者对齐，且迭代最近点算法中，将单位矩阵I作为相对位姿的初始值；
S22，使用交叉检验的方式，寻找与/>间的最近点对；
S23，将最近点对作为与/>的匹配点对。
S22中，所述交叉检验为：
将中所有点的坐标构建为第一KD树，/>中所有点的坐标构建为第二个KD树；
对中的每一个点/>坐标在第一KD树中进行搜索，寻找一个最近的点/>；
对中的每一个点/>在第二KD树中进行搜索寻找最近点，若找到的最近点为则通过交叉检验，否则排除这对点。
步骤S31中，全局配准为，对中不相邻的第m片点云/>和第k片点云/>，分别提取和/>中点的特征描述/>和/>，再通过特征匹配和交叉检验得到/>和/>间的匹配点对。
S33具体为，提取图G中度最大的v个顶点的导出子图，使用最大团算法从/>中提取最大完全子图/>，v≥3。
，/>，/>。其余与实施例1相同。
实施例3：参见图1和图2，在实施例1或实施例2的基础上，步骤S1所述Q中的点云通过以下方法得到；
S11，构造训练数据集；
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像IRGB和第一深度图像D1；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D2，其中分辨率D1大于D2；
将对应的I、D1、D2构成一个训练样本，所有训练样本构成训练数据集；
S12，以训练样本的I、D2为输入，D1为期望输出，训练一生成网络得到高分辨率点云生成模型；
S13，获取自然保护区的RGB-D数据集和点云数据，构造成训练样本，送入高分辨率点云生成模型中，输出一深度图，再反投影到三维空间得到高分辨率的点云数据，作为Q中的一片点云。
所述生成网络包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对IRGB、D1编码，得到编码彩色图像I’RGB和编码第一深度图像D’1；
所述第二自编码器用于对D2编码，得到编码第二深度图像D’2并能对扩散模型的输出解码；
所述扩散模型以I’RGB、D’2为输入，以D’1为期望输出，并将输出送入第二自编码器中解码，解码时以D1为期望输出。
实施例4：参见图1和图2，除以下内容，其余与实施例1、实施例2或实施例3相同。
关于映射颜色：通过计算得到的每片点云的位姿，可以直接将Q中所有的点云对齐，得到完整的三维点云，也称为合成点云。但是由于点云之间的重合度不同，因此点云中的点在三维空间中的分布并不均匀。因此对合成点云进行均匀下采样。
在合成点云之后，需要计算每个点的颜色，通过将合成点云投影到彩色图像上的方式进行计算。具体来说，由于我们计算得到了位姿，根据点云与拍摄图像的相机之间的相对位姿关系，可以得到相机在拍摄每帧图像时的位姿。对于合成点云中的任意一点x，根据相机的位姿将其投影到彩色图像中的每一帧图像中搜索颜色。当x的投影在某帧图像的范围内，称其为有效投影，则将x的颜色赋为投影像素的颜色；假如x在多帧图像中都存在有效投影，则选择投影像素离中心像素最近的那一帧，该帧中投影像素的颜色则为x的颜色。
在合成完整的三维点云，并计算了其中每个点的颜色之后，我们得到了最后的三维重建结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于超分辨率的自然保护区三维重建方法，其特征在于：包括以下步骤；
S1，获取一组自然保护区的高分辨率点云，/>为第n片点云；
S2，将Q中任意相邻两片点云两两组合成点云对，对每个点云对，采用点云局部配准的方式寻找两片点云的匹配点对，构成匹配点对集合；
S3，将Q中任意不相邻两片点云两两组合成点云对，对每个点云对，判断两片点云是否相关，其中一点云对的判断方法为：
S31，对Q中不相邻的第m片点云和第k片点云/>，用全局配准的方式寻找二者间的匹配点对，所有匹配点对构成第一集合/>；
S32，构建图G=（V,E）；
将中的每对匹配点对作为一个顶点，得到顶点的集合V；
对任意两匹配点对和/>，若满足/>，则在两匹配点对代表的两顶点间增加一条边，所有边构成集合E，得到图/>，其中，、/>为/>中的点，/>、/>为/>中的点，η为预设的距离阈值；
S33，提取图G的最大完全子图，用/>的所有顶点，通过最小二乘算法计算/>与/>间的刚性变换，将/>与/>对齐；
S34，预设全局配准可靠性检测阈值、重合距离阈值/>、重合度阈值/>；
S35，判断：对Gc的每个顶点，计算其对应匹配点对的距离，若有距离大于/>，则/>与不相关，否则进行/>判断；
S36，判断：对齐后的/>与/>，用最近邻搜索方式重新得到N对匹配点对，构成第二集合，计算第二集合中的每对匹配点对的距离，将距离小于/>的匹配点对构成第三集合，计算距离比值/>，/>为第三集合中匹配点对数量；
S37，判断：若/>，则/>与/>不相关，否则相关；
S4，对相关但不相邻的点云对，将对应的第三集合，作为其匹配点对集合；
S5，用点云间的匹配点对集合进行多点云同时配准，包括步骤S51~S55，
S51，构造Q中所有点云的位姿集合的表达式：
（1），
（2），
式（1）中，、/>、/>分为第i片点云/>、第j片点云/>、第n片点云/>的位姿；
式（2）中，为/>的旋转矩阵，/>为/>的平移向量，T为转置操作；
S52，构造的目标函数F
（3），
式（3）中，为所有存在匹配点对集合的点云对集合，/>为/>与/>的匹配点对集合，为/>中的一组匹配点对，/>、/>；
S54，求解目标函数，对位姿进行更新；
S55，按步骤S52到S54，依次对中每片点云的位姿进行更新，得到更新后的位姿集合；
S6，根据更新后的位姿集合融合点云，得到完整三维点云，并映射颜色。
2.根据权利要求1所述的基于超分辨率的自然保护区三维重建方法，其特征在于：S2中，局部配准寻找匹配点对包括S21到S23；
S21，对Q中两片相邻的第i片点云和第i+1片点云/>，用迭代最近点算法将二者对齐，且迭代最近点算法中，将单位矩阵I作为相对位姿的初始值；
S22，使用交叉检验的方式，寻找与/>间的最近点对；
S23，将最近点对作为与/>的匹配点对。
3.根据权利要求2所述的基于超分辨率的自然保护区三维重建方法，其特征在于：S22中，所述交叉检验为：
将中所有点的坐标构建为第一KD树，/>中所有点的坐标构建为第二个KD树；
对中的每一个点/>坐标在第一KD树中进行搜索，寻找一个最近的点/>；
对中的每一个点/>在第二KD树中进行搜索寻找最近点，若找到的最近点为/>则通过交叉检验，否则排除这对点。
4.根据权利要求1所述的基于超分辨率的自然保护区三维重建方法，其特征在于：步骤S31中，全局配准为，对中不相邻的第m片点云/>和第k片点云/>，分别提取/>和/>中点的特征描述/>和/>，再通过特征匹配和交叉检验得到/>和/>间的匹配点对。
5.根据权利要求1所述的基于超分辨率的自然保护区三维重建方法，其特征在于：S33具体为，提取图G中度最大的v个顶点的导出子图，使用最大团算法从/>中提取最大完全子图/>，v≥3。
6.根据权利要求1所述的基于超分辨率的自然保护区三维重建方法，其特征在于：，/>，/>。
7.根据权利要求1所述的基于超分辨率的自然保护区三维重建方法，其特征在于：S1所述Q中的点云通过以下方法得到；
S11，构造训练数据集；
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像IRGB和第一深度图像D1；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D2，其中分辨率D1大于D2；
将对应的I、D1、D2构成一个训练样本，所有训练样本构成训练数据集；
S12，以训练样本的I、D2为输入，D1为期望输出，训练一生成网络得到高分辨率点云生成模型；
S13，获取自然保护区的RGB-D数据集和点云数据，构造成训练样本，送入高分辨率点云生成模型中，输出一深度图，再反投影到三维空间得到高分辨率的点云数据，作为Q中的一片点云。
8.根据权利要求7所述的基于超分辨率的自然保护区三维重建方法，其特征在于：所述生成网络包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对IRGB、D1编码，得到编码彩色图像I’RGB和编码第一深度图像D’1；
所述第二自编码器用于对D2编码，得到编码第二深度图像D’2并能对扩散模型的输出解码；
所述扩散模型以I’RGB、D’2为输入，以D’1为期望输出，并将输出送入第二自编码器中解码，解码时以D1为期望输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410039253.3A CN117557733B (zh) | 2024-01-11 | 2024-01-11 | 基于超分辨率的自然保护区三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410039253.3A CN117557733B (zh) | 2024-01-11 | 2024-01-11 | 基于超分辨率的自然保护区三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557733A CN117557733A (zh) | 2024-02-13 |
| CN117557733B true CN117557733B (zh) | 2024-05-24 |
Family
ID=89817003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410039253.3A Active CN117557733B (zh) | 2024-01-11 | 2024-01-11 | 基于超分辨率的自然保护区三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557733B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117911465B (zh) * | 2024-03-20 | 2024-05-17 | 深圳市森歌数据技术有限公司 | 一种基于双目立体匹配的自然保护区稠密点云生成方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701820A (zh) * | 2016-01-14 | 2016-06-22 | 上海大学 | 一种基于匹配区域的点云配准方法 |
| WO2017096299A1 (en) * | 2015-12-04 | 2017-06-08 | Autodesk, Inc. | Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans |
| CN111524168A (zh) * | 2020-04-24 | 2020-08-11 | 中国科学院深圳先进技术研究院 | 点云数据的配准方法、系统、装置及计算机存储介质 |
| CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
| CN113160285A (zh) * | 2021-05-08 | 2021-07-23 | 中国科学院自动化研究所苏州研究院 | 一种基于局部深度图像关键性的点云匹配方法 |
| WO2022095302A1 (zh) * | 2020-11-05 | 2022-05-12 | 湖南大学 | 基于分层高斯混合模型的机器人快速鲁棒三维重建方法 |
| CN114549746A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种高精度真彩三维重建方法 |
| CN114549307A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种基于低分辨率图像的高精度点云色彩重建方法 |
| WO2022165876A1 (zh) * | 2021-02-06 | 2022-08-11 | 湖南大学 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
| CN115089303A (zh) * | 2021-05-10 | 2022-09-23 | 武汉联影智融医疗科技有限公司 | 机器人定位方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2564642A (en) * | 2017-07-10 | 2019-01-23 | Nokia Technologies Oy | Methods and apparatuses for panoramic image processing |
-
2024
- 2024-01-11 CN CN202410039253.3A patent/CN117557733B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017096299A1 (en) * | 2015-12-04 | 2017-06-08 | Autodesk, Inc. | Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans |
| CN108604301A (zh) * | 2015-12-04 | 2018-09-28 | 欧特克公司 | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 |
| CN105701820A (zh) * | 2016-01-14 | 2016-06-22 | 上海大学 | 一种基于匹配区域的点云配准方法 |
| CN111524168A (zh) * | 2020-04-24 | 2020-08-11 | 中国科学院深圳先进技术研究院 | 点云数据的配准方法、系统、装置及计算机存储介质 |
| WO2022095302A1 (zh) * | 2020-11-05 | 2022-05-12 | 湖南大学 | 基于分层高斯混合模型的机器人快速鲁棒三维重建方法 |
| WO2022165876A1 (zh) * | 2021-02-06 | 2022-08-11 | 湖南大学 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
| CN113112588A (zh) * | 2021-04-07 | 2021-07-13 | 中国电建集团贵州电力设计研究院有限公司 | 基于rgb-d深度相机重建的地下管井三维可视化方法 |
| CN113160285A (zh) * | 2021-05-08 | 2021-07-23 | 中国科学院自动化研究所苏州研究院 | 一种基于局部深度图像关键性的点云匹配方法 |
| CN115089303A (zh) * | 2021-05-10 | 2022-09-23 | 武汉联影智融医疗科技有限公司 | 机器人定位方法及系统 |
| CN114549746A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种高精度真彩三维重建方法 |
| CN114549307A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种基于低分辨率图像的高精度点云色彩重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于相对坐标ICP的室内场景三维重建算法;李策;卢冰;肖利梅;陈晓雷;;兰州理工大学学报;20170615(第03期);全文 * |
| 散乱点云数据配准算法;朱延娟;周来水;张丽艳;;计算机辅助设计与图形学学报;20060420(第04期);全文 * |
| 面向RGBD深度数据的快速点云配准方法;苏本跃;马金宇;彭玉升;盛敏;马祖长;;中国图象图形学报;20170516(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557733A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473196B (zh) | 一种基于深度学习的腹部ct图像目标器官配准方法 | |
| CN117557733B (zh) | 基于超分辨率的自然保护区三维重建方法 | |
| CN107481279A (zh) | 一种单目视频深度图计算方法 | |
| CN104867126A (zh) | 基于点对约束和三角形网的有变化区域的合成孔径雷达图像配准方法 | |
| CN104574347A (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| CN102521816A (zh) | 一种云数据中心机房实时宽场景监控合成方法 | |
| Eichhardt et al. | Affine correspondences between central cameras for rapid relative pose estimation | |
| CN109308715A (zh) | 一种基于点特征和线特征结合的光学图像配准方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN103700135B (zh) | 一种三维模型局部球面调和特征提取方法 | |
| Yao et al. | Relative camera refinement for accurate dense reconstruction | |
| CN113610905A (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| Remondino et al. | Evaluating hand-crafted and learning-based features for photogrammetric applications | |
| CN101395613A (zh) | 由2d图像实现3d人脸重建 | |
| CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN114399547B (zh) | 一种基于多帧的单目slam鲁棒初始化方法 | |
| CN110009726B (zh) | 一种根据平面基元间的结构关系对点云提取平面的方法 | |
| CN106228593B (zh) | 一种图像密集匹配方法 | |
| CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
| CN116188249A (zh) | 基于图像块三阶段匹配的遥感图像配准方法 | |
| CN115375843A (zh) | 未标定单目视觉系统的三维重建方法 | |
| CN114708315A (zh) | 一种基于深度虚拟对应点生成的点云配准方法及系统 | |
| Hlubik et al. | Advanced point cloud estimation based on multiple view geometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |