CN116030189A - 一种基于单视角遥感图像的目标三维重建方法 - Google Patents
一种基于单视角遥感图像的目标三维重建方法 Download PDFInfo
- Publication number
- CN116030189A CN116030189A CN202211642234.7A CN202211642234A CN116030189A CN 116030189 A CN116030189 A CN 116030189A CN 202211642234 A CN202211642234 A CN 202211642234A CN 116030189 A CN116030189 A CN 116030189A
- Authority
- CN
- China
- Prior art keywords
- target
- processed
- pixel point
- model
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于单视角遥感图像的目标三维重建方法，包括：获取目标区域的待处理二维图像。将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息。对每一像素点对应的特征信息进行数据转换，得到每一像素点对应的高程预测信息。根据目标像素点的高程预测信息，生成每一目标物体对应的三维模型。本申请中使用目标区域的待处理二维图像即可快速预测到每一个目标物体的特征信息，进而可以得到每一个目标物体的高程预测信息。再配合位置信息，即可生成目标物体的三维模型。由于，高程信息通过目标模型预测即可得到，无需其他的处理，所以可以降低本方法的处理复杂程度，进而减少处理时间，提高运行效率。
Description
技术领域
本发明涉及图像生成领域，特别是涉及一种基于单视角遥感图像的目标三维重建方法。
背景技术
随着遥感技术的发展，对于某一区域内物体的三维模型构建也变得更加容易实现。通过构建的三维模型可以更加直观的了解对应区域的情况，对于日常的生产生活具有重要的参考价值。
现有技术中的物体的三维模型构建的方法主要为：基于多视角图像的重建方法。由于该方法需要将各个视角的图像中的特征提取出来，然后再将同一物体的特征匹配至一起来实现三维模型的构建。所以使得现有方法的处理复杂度很高，进而导致处理时间增加，运行效率较低。
发明内容
针对上述技术问题，本发明采用的技术方案为：
根据本发明的一个方面，提供了一种基于单视角遥感图像的目标三维重建方法，该方法包括如下步骤：
获取目标区域的待处理二维图像；待处理二维图像为目标区域的单一视角方向的二维遥感图像；目标区域内包括至少一个目标物体；
将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息；目标模型包括使用残差网络作为骨干网络的金字塔池化模型；
对每一像素点对应的特征信息进行数据转换，得到待处理二维图像中每一像素点对应的高程预测信息；
根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
根据本发明的第二个方面，提供了一种基于单视角遥感图像的目标三维重建装置，包括：
图像获取模块，用于获取目标区域的待处理二维图像。待处理二维图像为目标区域的单一视角方向二维图像。目标区域内包括至少一个目标物体。
信息处理模块，用于将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息。目标模型包括使用残差网络作为骨干网络的金字塔池化模型。
信息转化模块，用于对每一像素点对应的特征信息进行数据转换，得到每一像素点对应的高程预测信息。
三维模型生成模块，用于根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
根据本发明的第三个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于单视角遥感图像的目标三维重建方法。
根据本发明的第四个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于单视角遥感图像的目标三维重建方法。
本发明至少具有以下有益效果：
本申请中通过训练可以使得包括使用残差网络作为骨干网络的金字塔池化模型的目标模型具有预测待处理二维图像中每一个像素点的特征信息的能力。该特征信息用于表示该像素点对应的高程预测信息，由此，只使用目标区域的一张待处理二维图像即可快速预测到每一个目标物体的特征信息，进而可以由特征信息得到每一个目标物体的高程预测信息。获得目标物体的高程信息之后，再配合目标物体的位置信息，即可生成对应的目标物体的三维模型。由于，本申请中的高程信息仅通过目标模型预测即可得到，无需其他的处理过程，所以可以降低本方法的处理复杂程度，进而减少处理时间，提高运行效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于单视角遥感图像的目标三维重建方法的流程图。
图2为本发明一实施例提供的一种基于单视角遥感图像的目标三维重建装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的一个方面，如图1所示，提供了一种基于单视角遥感图像的目标三维重建方法，该方法包括如下步骤：
步骤S100：获取目标区域的待处理二维图像。待处理二维图像为目标区域的单一视角方向二维图像。目标区域内包括至少一个目标物体。目标物体可以为建筑物。待处理二维图像可以为遥感图像或者某一视角方向拍摄的二维图像。优选在俯视方向拍摄的二维图像。另外，待处理二维图像还可以携带该待处理二维图像所拍摄区域的经度范围及纬度范围。由于现有的多种拍摄设备均配置有GPS(Global Positioning System，全球定位系统)模块，所以可以使用现有技术获得对应的经度范围及纬度范围。
步骤S200：将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息。目标模型包括使用残差网络作为骨干网络的金字塔池化模型。
具体的，残差网络为具有跳接结构的残差网络，优选的，残差网络可以为具有跳接结构的resNet-50网络，优选的，金字塔池化模型可以为PSPNet(Pyramid Scene ParseingNetwork，金字塔池化模型)网络模型。
通过对初始目标模型进行大量的训练，可以使得目标模型具有根据输入的待处理二维图像来预测每一像素点的高程信息的能力。优选的，在进行训练时采用全监督的方式进行训练，由此可以进一步提高目标模型的预测准确性。当对目标模型进行训练时，可以将训练样本可以为遥感图像。该遥感图像中的DSM(Digital Surface Model，数字地表模型)信息为训练时的监督信息。
由于，在实际使用中，在一些特殊区域遥感卫星无法获得对应遥感图像匹配的DSM数据，特殊区域包括：管制区域和一些卫星无法探测到的区域。同时，遥感图像匹配的DSM数据的获得成本较高，难以大规模进行使用。
基于上述技术问题，本实施例中通过利用神经卷积网络进行深度学习，以使目标模型具有预测待处理二维图像中每一像素点的能力。由此在后期对目标区域的三维模型构建中，便不再需要该目标区域对应的遥感图像(DSM数据)，仅使用与训练样本具有相同视角的常规二维图像即可。由于常规二维图像更加容易获得且使用成本更低，由此，本实施例中的方法不仅可以构建特殊区域的三维模型，同时，还可以大幅降低三维模型构建的成本，进而可以实现大规模的推广使用。
步骤S300：对每一像素点对应的特征信息进行数据转换，得到待处理二维图像中每一像素点对应的高程预测信息。
具体的，特征信息可以为某一预设范围的任意数值。预设范围可以为[0,1]。根据现有的转化方法可以对特征信息进行数据转换。具体的，也可以根据待处理二维图像对应的目标区域中所有物体的最小高程值和最大高程值，然后将最小高程值与0对应，最大高程值与1对应，由此可以确定出一个关于特征信息与高程预测信息的线性函数。后续的特征信息可以直接根据该线性函数转化为对应的高程预测信息。通常，最大值可以为目标区域中的最高建筑物的高度信息，最小值可以为0米。
步骤S400：根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
在获取到每一目标物体对应的目标像素点的高程预测信息后，在结合每一个目标像素点对应的位置信息，即可形成每一个目标像素点的三维坐标。利用这些三维坐标即可生成对应的三维模型。由此，来生成每一目标物体对应的三维模型。每一个目标像素点对应的位置信息，可以为该像素点对应的经度及纬度。
本实施例中通过训练可以使得目标模型具有预测待处理二维图像中每一个像素点的特征信息的能力。该特征信息用于表示该像素点对应的高程预测信息，由此，只使用目标区域的待处理二维图像即可快速预测到每一个目标物体的特征信息，进而可以由特征信息得到每一个目标物体的高程预测信息。获得目标物体的高程信息之后，再配合目标物体的位置信息，即可生成对应的目标物体的三维模型。由于，本实施例中的高程信息仅通过目标模型预测即可得到，无需其他的处理过程，所以可以降低本方法的处理复杂程度，进而减少处理时间，提高运行效率。
作为本发明另一种可能的实施例，在步骤S400：根据每一目标物体对应的像素点的高程预测信息，生成每一目标物体对应的三维模型之前，该方法还包括：
步骤S110：获取待处理二维图像中每一目标物体对应的目标像素区域。目标像素区域包括构成对应的目标物体的目标像素点。
本步骤中可以通过现有的Deeplabv3网络来进行目标物体的掩膜提取，如建筑物的掩膜提取。提取出来的目标物体的掩膜即为对应的目标像素区域。
具体的，Deeplabv3网络采用包含跳接结构的50层残差网络作为骨架网络，并且将最后的分割头改为二分类分割头来进行目标物体的掩膜提取工作。二分类分割头中的一个类别是目标物体，如建筑物，另一个类别是图像背景。
步骤S120：根据每一目标物体对应的目标像素区域和待处理二维图像中每一像素点对应的高程预测信息，确定每一目标物体对应的目标像素点的高程预测信息。
本实施例中通过确定目标像素区域，可以滤除图像中其他无关像素点，进而仅剩下目标物体对应的像素点，由此可以减少数据的处理量，进一步提高本方法的处理效率。同时，本实施例中对待处理二维图像的高程预测及目标像素区域的确定是分别进行，这两个步骤之间不存在先后顺序，可以并行处理上述两个步骤，由此，可以进一步的提高本方法的处理效率。
作为本发明另一种可能的实施例，步骤S200：将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息，包括：
步骤S201：将待处理二维图像分割为多个子图像。
由于，实际中获得的待处理二维图像的分辨率较大，如果整体输入到目标模型中进行处理时，必然会降低处理速度，所以将待处理二维图像分割为多个子图像后，可以对多个子图像进行并行处理，以更快速的获得整个待处理二维图像中每一像素点的特征信息。
优选的，使用的待处理二维图像在空间上的分辨率不低于1米。在进行图像分割时，可以是在图像上进行划窗分块，每个划窗的分辨率大小为512*512。
步骤S202：将多个子图像分别输入目标模型中，以分别得到每一子图像对应子特征信息矩阵。子特征信息矩阵包括子图像中每一像素点的中间特征信息。该中间特征信息为目标模型根据每一个单独的子图像预测得到的每一像素点的高程特征信息。
步骤S203：将多个子图像的子特征信息矩阵拼合至一起，以生成待处理二维图像对应的总特征信息矩阵。总特征信息矩阵包括待处理二维图像中每一像素点的中间特征信息。
步骤S204：对总特征信息矩阵进行平滑处理，以得到待处理二维图像中每一像素点的特征信息。平滑处理用以去除总特征信息矩阵中的噪声特征信息。平滑处理可以为高斯平滑。
本实施例中，为了提高处理速度，所以将待处理二维图像分割为多个子图像后分别进行高程预测处理，然后在将多个子图像融合成为一个完整的图像，由此来更加快速的获取到待处理二维图像中每一像素点的特征信息。
但是，由于每一个子图像均为单独输入至目标模型中进行预测，所以每一子图像对应子特征信息矩阵中的中间特征信息分别与每一个子图像中的包括的具体内容有关。具体为，预测到的每个像素点对应的中间特征信息，与每一个子图像中所包括的像素点的最大高度信息及最小高度信息相关。由于每个子图像中所包括的像素点的最大高度信息及最小高度信息不同，所以，在最终进行拼合时，多个子图像的拼接处会有比较明显的差异。进而会导致拼合后的图像在拼接处，具有明显的边界感。本实施例中通过高斯平滑对最终拼接后的图像进行滤波处理，可以更好的消除图像在拼接处的边界感。
作为本发明另一种可能的实施例，目标模型还包括回归模型。
步骤S200：将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息，包括：
步骤S210：将待处理二维图像输入金字塔池化模型中，以得到待处理二维图像中每一像素点的初始特征信息。
步骤S220：将初始特征信息输入回归模型中，以得到待处理二维图像中每一像素点的特征信息，特征信息为在预设区间内的任一数值。
本实施例中通过对初始特征信息进行归一化处理，可以将初始特征信息转化为在预设区间中的某一个对应的数值。由于，预设区间与对应的高度区间对应，由此，可以便于后续将特征信息更加准确地转化为对应的的高度值。
具体的，回归模型对应的回归处理包括如下步骤：
步骤S221：对初始特征信息进行第一层卷积处理，以生成第一初始特征信息；第一层卷积处理的卷积核大小为3*3，输出通道数为512。
步骤S222：对第一初始特征信息进行第二层卷积处理，以得到待处理二维图像中每一像素点的第二初始特征信息；第二层卷积处理的卷积核大小为1*1，输出通道数为1。上述两个卷积核中的各个权重，需要使用者根据具体的使用场景自行进行确定。
步骤S223：然后再将第二初始特征信息输入回归函数中进行进一步回归。以使得到待处理二维图像中每一像素点的特征信息，均能够落入预设区间中，以便于后续更加准确地转化为高程预测信息。优选的，回归函数可以为sigmoid函数。
由于本实施例中的各个初始特征对应拟合函数，并非为常规的规则函数，所以传统的线性回归及逻辑回归的方法，并不能够进行准确的拟合。由此，通过设置卷积回归的方式来生成最终的拟合函数，可以使得最终生成的拟合函数更加精准，进而可以进一步提高高程预测的准确率。
作为本发明另一种可能的实施例，目标模型还包括配准模型。
在步骤S220：将初始特征信息输入回归模型中之前，该方法还包括：
步骤S211：对残差网络输出的结果进行全连接处理，以生成待处理二维图像的全局特征信息。
具体的，全局特征信息F2为对经过resNet-50网络处理后输出的特征进行全连接操作后生成的特征信息。
初始特征信息为对经过PSPNet网络处理后输出的特征信息，初始特征信息也可以成为局部特征信息F1。
步骤S212：将全局特征信息及初始特征信息输入配准模型中，以得到融合特征信息，融合特征信息包括待处理二维图像中目标物体及非目标物体的语义信息。
步骤S213：将融合特征信息作为初始特征信息。
具体的，配准模型中进行处理包括如下步骤：
对F1进行通道统一处理，以生成第一局部特征信息F3。F3与F2的通道数相同。
对F3及F2在通道维度进行拼接，以生成拼接特征信息F4，F4的通道数为F3通道数的两倍。
对F4进行两层卷积操作，以生成语义变化特征信息F0；F0的通道数与F2的通道数相同。两层卷积操作的卷积核大小为3*3。两个卷积核中的各个权重，需要使用者根据具体的使用场景自行进行确定。
将F0与F2进行相加，以生成融合特征信息。
本实施例中，通过配准模型对F1及F2进行进一步的处理，可以使得最终获得的融合特征信息中既包含有目标物体的语义信息，同时还包含有非目标物体的语义信息。由此，使得目标物体与非目标物体之间的特征区别更加明显。所以目标模型在训练过程中可以更好的学习同一图像中目标物体与非目标物体之间的区别，进而可以使得目标模型能够更加准确的识别出目标物体的边界轮廓，进而提高目标模型在进行最终预测时的准确性。
当本实施例应用在对目标区域中的建筑物的三维模型的生成任务时，由于建筑物的高度与图像中背景中的物体的高度有较大区别，所以通过本实施例中的方案，可以更加准确地识别出建筑物的边缘，并进行更加准确的高程预测。
作为本发明另一种可能的实施例，目标模型在训练时，
每一像素点的损失值根据当前像素点的高程预测信息和当前像素点对应的第一阈值确定。
损失值为目标模型在训练时所使用的损失函数的值；第一阈值根据当前像素点所在子图像的最大的误差值确定；误差值为当前像素点所在子图像中每一像素点的高程预测信息与对应的像素点的真实高程信息之间的差值的模。
具体的，损失函数L符合如下条件：
其中，m为任一像素点的高程预测值；predict与gt分别为对应的像素点所在的子图像中的任意像素点对应的高程预测值和真实高程值；a为第一阈值；k为设定参数，k∈[0,1]。
本实施例中损失函数为一个分段函数，且在m≤a时，L＝m；在m>a时，
由此在模型训练过程中可实现，当预测值与实际值的差距值较小时，其惩罚对应第一阶段的损失值，该阶段对应的惩罚较小。而当预测值与实际值的差距值较大时，其惩罚对应第二阶段的损失值。由于第二阶段对应的惩罚比一阶中的惩罚上升的更快，所以差距值越大对应的惩罚就越大，进而能够让网络更快的收敛。通过设置分段的损失函数，可以在模型训练的过程中，让模型能够根据预测误差的大小，来更好的选择对应的惩罚方式来调整学习方向，进而提高模型的学习效果，从而提高最终的预测精度。
作为本发明另一种可能的实施例，待处理二维图像包对应的目标区域的经度范围、纬度范围及图像分辨率。
步骤S400：根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型，包括：
步骤S401：根据目标区域的经度范围、纬度范围及图像分辨率，确定目标区域中每一目标物体对应的目标像素点的经度值及纬度值。
步骤S402：根据每一目标物体对应的目标像素点的经度值、纬度值及高程预测信息，生成每一目标物体对应的点云。
根据目标像素点的经度值、纬度值及高程预测信息可以生成目标物体顶部对应的点，然后可以在每个点的竖直方向在生成多个点，由此，可以提高点云的密集程度，以便于最后将点云重建为密集的三维几何形状——三角网格。
步骤S403：根据每一目标物体对应的点云，生成每一目标物体对应的三维模型。
在许多场景下我们希望生成密集的3D几何形状，比如三角网格。本实施例中可以通过使用现有的滚球法和泊松表面重建法来生成每一目标物体对应的三维模型，此三维模型可以为三角网格。
本实施例中，通过生成对应的目标物体的点云，然后在通过现有的表面重建方法生成三维模型，本实施例中的点云的密度可以进行调节，由此可以得到更为稠密的点云，在此基础上，可以更好的生成密集的3D几何形状。
根据本发明的第二个方面，如图2所示，提供了一种基于单视角遥感图像的目标三维重建装置，包括：
图像获取模块，用于获取目标区域的待处理二维图像。待处理二维图像为目标区域的单一视角方向二维图像。目标区域内包括至少一个目标物体。
信息处理模块，用于将待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息。目标模型包括使用残差网络作为骨干网络的金字塔池化模型。
信息转化模块，用于对每一像素点对应的特征信息进行数据转换，得到每一像素点对应的高程预测信息。
三维模型生成模块，用于根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
由于，本实施例中的高程信息仅通过目标模型预测即可得到，无需其他的处理过程，所以可以降低本方法的处理复杂程度，进而减少处理时间，提高运行效率。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现装置实施例中一种装置相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的装置。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的装置中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。
Claims (10)
1.一种基于单视角遥感图像的目标三维重建方法，其特征在于，所述方法包括如下步骤：
获取目标区域的待处理二维图像；所述待处理二维图像为所述目标区域的单一视角方向的二维遥感图像；所述目标区域内包括至少一个目标物体；
将所述待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息；所述特征信息为用于表征所述像素点对应的高程值的特征；所述目标模型包括使用残差网络作为骨干网络的金字塔池化模型；
对每一像素点对应的特征信息进行数据转换，得到待处理二维图像中每一像素点对应的高程预测信息；
根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
2.根据权利要求1所述的方法，其特征在于，在根据每一目标物体对应的像素点的高程预测信息，生成每一目标物体对应的三维模型之前，所述方法还包括：
获取所述待处理二维图像中每一目标物体对应的目标像素区域；所述目标像素区域包括构成对应的目标物体的目标像素点；
根据所述每一目标物体对应的目标像素区域和待处理二维图像中每一像素点对应的高程预测信息，确定所述每一目标物体对应的目标像素点的高程预测信息。
3.根据权利要求1所述的方法，其特征在于，将所述待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息，包括：
将所述待处理二维图像分割为多个子图像；
将多个所述子图像分别输入目标模型中，以分别得到每一所述子图像对应子特征信息矩阵；所述子特征信息矩阵包括所述子图像中每一像素点的中间特征信息；
对多个所述子图像的子特征信息矩阵进行拼合，得到所述待处理二维图像对应的总特征信息矩阵；所述总特征信息矩阵包括所述待处理二维图像中每一像素点的中间特征信息；
对所述总特征信息矩阵进行平滑处理，以得到所述待处理二维图像中每一像素点的特征信息；所述平滑处理用以去除所述总特征信息矩阵中的噪声特征信息。
4.根据权利要求1所述的方法，其特征在于，所述目标模型还包括回归模型；
将所述待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息，包括：
将所述待处理二维图像输入金字塔池化模型中，以得到所述待处理二维图像中每一像素点的初始特征信息；
将所述初始特征信息输入所述回归模型中，以得到所述待处理二维图像中每一像素点的特征信息；所述特征信息为在预设区间内的任一数值。
5.根据权利要求4所述的方法，其特征在于，所述目标模型还包括配准模型；
在将所述初始特征信息输入所述回归模型中进行回归处理之前，所述方法还包括：
对所述残差网络输出的结果进行全连接处理，以生成所述待处理二维图像的全局特征信息；
将所述全局特征信息及所述初始特征信息输入所述配准模型中，以得到融合特征信息；所述融合特征信息包括所述待处理二维图像中目标物体及非目标物体的语义信息；
将所述融合特征信息作为初始特征信息。
6.根据权利要求3所述的方法，其特征在于，所述目标模型在训练时，
每一像素点的损失值根据当前像素点的高程预测信息和当前像素点对应的第一阈值确定；
所述损失值为所述目标模型在训练时所使用的损失函数的值；所述第一阈值根据当前像素点所在子图像的最大的误差值确定；所述误差值为当前像素点所在子图像中每一像素点的高程预测信息与对应的像素点的真实高程信息之间的差值的模。
7.根据权利要求1所述的方法，其特征在于，所述待处理二维图像包对应的目标区域的经度范围、纬度范围及图像分辨率；
根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型，包括：
根据所述目标区域的经度范围、纬度范围及图像分辨率，确定所述目标区域中每一目标物体对应的目标像素点的经度值及纬度值；
根据每一目标物体对应的目标像素点的经度值、纬度值及高程预测信息，生成每一目标物体对应的点云；
根据所述每一目标物体对应的点云，生成每一目标物体对应的三维模型。
8.一种基于单视角遥感图像的目标三维重建装置，其特征在于，包括：
图像获取模块，用于获取目标区域的待处理二维图像；所述待处理二维图像为所述目标区域的单一视角方向的二维遥感图像；所述目标区域内包括至少一个目标物体；
信息处理模块，用于将所述待处理二维图像输入目标模型中，得到待处理二维图像中每一像素点的特征信息；所述目标模型包括使用残差网络作为骨干网络的金字塔池化模型；
信息转化模块，用于对每一像素点对应的特征信息进行数据转换，得到每一像素点对应的高程预测信息；
三维模型生成模块，用于根据每一目标物体对应的目标像素点的高程预测信息，生成每一目标物体对应的三维模型。
9.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于单视角遥感图像的目标三维重建方法。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于单视角遥感图像的目标三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211642234.7A CN116030189B (zh) | 2022-12-20 | 2022-12-20 | 一种基于单视角遥感图像的目标三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211642234.7A CN116030189B (zh) | 2022-12-20 | 2022-12-20 | 一种基于单视角遥感图像的目标三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030189A true CN116030189A (zh) | 2023-04-28 |
| CN116030189B CN116030189B (zh) | 2023-07-04 |
Family
ID=86077030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211642234.7A Active CN116030189B (zh) | 2022-12-20 | 2022-12-20 | 一种基于单视角遥感图像的目标三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030189B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022134655A1 (zh) * | 2020-12-25 | 2022-06-30 | 神思电子技术股份有限公司 | 一种端到端的视频动作检测定位系统 |
| CN114821192A (zh) * | 2022-05-19 | 2022-07-29 | 中国人民解放军战略支援部队信息工程大学 | 一种结合语义信息的遥感影像高程预测方法 |
| CN115346018A (zh) * | 2022-08-10 | 2022-11-15 | 中国电信股份有限公司 | 三维模型重建方法及装置、电子设备 |
| WO2022237249A1 (zh) * | 2021-05-10 | 2022-11-17 | 上海商汤智能科技有限公司 | 三维重建方法、装置和系统、介质及计算机设备 |
-
2022
- 2022-12-20 CN CN202211642234.7A patent/CN116030189B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022134655A1 (zh) * | 2020-12-25 | 2022-06-30 | 神思电子技术股份有限公司 | 一种端到端的视频动作检测定位系统 |
| WO2022237249A1 (zh) * | 2021-05-10 | 2022-11-17 | 上海商汤智能科技有限公司 | 三维重建方法、装置和系统、介质及计算机设备 |
| CN114821192A (zh) * | 2022-05-19 | 2022-07-29 | 中国人民解放军战略支援部队信息工程大学 | 一种结合语义信息的遥感影像高程预测方法 |
| CN115346018A (zh) * | 2022-08-10 | 2022-11-15 | 中国电信股份有限公司 | 三维模型重建方法及装置、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| JING HAO ET AL.: "《Fine Building Segmentation in High-Resolution SAR Images Via Selective Pyramid Dilated Network》", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 14, pages 6608 - 6623 * |
| 陈健?;彭凌霄;仇晓兰;丁赤飚;吴一戎;: "基于深度神经网络的SAR建筑目标三维重建方法", 中国科学:信息科学, no. 12, pages 1606 - 1625 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030189B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626176B (zh) | 一种基于动态注意力机制的遥感目标快速检测方法及系统 | |
| CN111860695B (zh) | 一种数据融合、目标检测方法、装置及设备 | |
| CN111753698B (zh) | 一种多模态三维点云分割系统和方法 | |
| CN110246181B (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN112464912B (zh) | 基于YOLO-RGGNet的机器人端人脸检测方法 | |
| CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
| CN106033621A (zh) | 一种三维建模的方法及装置 | |
| CN114120115B (zh) | 一种融合点特征和网格特征的点云目标检测方法 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
| CN113297959A (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及系统 | |
| CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
| CN113673478B (zh) | 基于深度学习全景拼接的港口大型设备检测与识别方法 | |
| CN117237623B (zh) | 一种无人机遥感图像语义分割方法及系统 | |
| CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
| CN116030189B (zh) | 一种基于单视角遥感图像的目标三维重建方法 | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| CN114820755B (zh) | 一种深度图估计方法及系统 | |
| CN116503282A (zh) | 基于流形的挖掘机施工环境场点云去噪方法及系统 | |
| CN115909347A (zh) | 仪表示数识别方法、装置、设备及介质 | |
| CN115773744A (zh) | 模型训练和路网处理方法、装置、设备、介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |