CN113496509A - 深度图像帧的生成方法、装置、计算机设备及存储介质 - Google Patents
深度图像帧的生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113496509A CN113496509A CN202010191166.1A CN202010191166A CN113496509A CN 113496509 A CN113496509 A CN 113496509A CN 202010191166 A CN202010191166 A CN 202010191166A CN 113496509 A CN113496509 A CN 113496509A
- Authority
- CN
- China
- Prior art keywords
- image frame
- point cloud
- cloud data
- original image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 11
- 238000005192 partition Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明实施例公开了一种深度图像帧的生成方法、装置、计算机设备及存储介质，所述方法包括：获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。本发明实施例的技术方案在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，以得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种深度图像帧的生成方法、装置、计算机设备及存储介质。
背景技术
随着无人机拍摄技术的不断发展，借助航拍无人机，可快速采集地面影像图，实现全自动化的三维建模，输出DSM(Digital Surface Model，数字表面模型)以及DOM(DigitalOrthophoto Map，数字正向影像图)等成果。
目前，可以利用MVS(Multi-view Stereo，多视立体视觉)方法从航拍无人机拍摄的图像中，计算出整个场景的点云数据。大致流程如下：首先根据当前帧图像与相邻帧图像形成立体匹配对，之后基于立体匹配对计算当前帧的深度图，并剔除深度图的噪声，这样轮流执行上述步骤，可以计算出每个图片帧的深度图，最后融合每张深度图，剔除误匹配点和冗余，将深度图反投影成三维点并融合成整个点云数据，进而可以对点云数据进行插值计算得到DSM。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：航拍的图像分辨率大，计算深度图的耗时长，如果对图像进行一定比例的降采样，虽然能降低计算耗时，但是点云数据中物体边缘以及有高度落差的边缘不够明显，导致利用该点云数据计算得到的DSM中物体边缘以及高度变化不够明显。
发明内容
本发明实施例提供一种深度图像帧的生成方法、装置、计算机设备及存储介质，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
第一方面，本发明实施例提供了一种深度图像帧的生成方法，包括：
获取待处理的原始图像帧；
在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；
计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
可选的，获取待处理的原始图像帧包括：
获取航拍图像帧，并对所述航拍图像帧进行设定倍数的降采样处理，得到所述原始图像帧。
可选的，计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧，包括：
获取与所述原始图像帧对应的稀疏点云数据，并根据所述稀疏点云数据中各点云数据点的深度信息，计算所述目标深度图像帧的深度范围；
根据所述深度范围，计算各所述目标像素点的初始化深度信息，并获取与各所述目标像素点对应的法向量图的初始化值；
以各所述目标像素点的初始化深度信息和所述法向量图的初始化值为起点，根据所述原始图像帧的前一相邻图像帧，迭代求解各所述目标像素点的深度信息最优值；
将各所述目标像素点的深度信息最优值加入至所述原始图像帧中，得到所述目标深度图像帧。
可选的，在得到与所述原始图像帧匹配的目标深度图像帧之后，还包括：
将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据。
可选的，在将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据之后，还包括：
根据点云数据中各点云数据点的水平坐标，计算点云数据的总体覆盖范围；
根据所述总体覆盖范围、单块数字表面模型DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的分块数；
根据所述总体覆盖范围、所述分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中；
计算与各所述点云分块分别对应的分块DSM，并将各所述分块DSM进行拼接，得到与所述点云数据对应的完整DSM。
可选的，根据所述总体覆盖范围、所述分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中，包括：
根据所述总体覆盖范围以及所述分块数，计算与每个点云分块分别对应的第一水平坐标范围；
根据预设的重叠度，将各所述第一水平坐标范围更新为第二水平坐标范围；
根据与每个点云分块分别对应的第二水平坐标范围，将所述点云数据中的各所述点云数据点分配到对应的分块点云中。
可选的，根据所述总体覆盖范围、单块数字表面模型DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的分块数，具体包括：
根据公式：
计算与所述点云数据匹配的分块数spilt_tiles；
其中，S为所述总体覆盖范围，S为所述点云数据的水平宽度和水平长度的乘积，tile_max_size为单块DSM的理想单边尺寸，resolution为所述DSM分辨率。
第二方面，本发明实施例还提供了一种深度图像帧的生成装置，包括：
原始图像帧获取模块，用于获取待处理的原始图像帧；
目标像素点选取模块，用于在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；
深度图像帧生成模块，用于计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的深度图像帧的生成方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的深度图像帧的生成方法。
本发明实施例通过获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与原始图像帧匹配的目标深度图像帧的技术手段，在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
附图说明
图1是本发明实施例一提供的一种深度图像帧的生成方法的实现流程图；
图2是本发明实施例二提供的一种深度图像帧的生成方法的实现流程图；
图3a是本发明实施例三提供的一种深度图像帧的生成方法的实现流程图；
图3b是现有技术中将航拍图像帧降采样4倍后，得到的DSM示意图；
图3c是本发明实施例中将航拍图像帧降采样2倍后，每2个像素点计算像素点深度信息后，得到的DSM示意图；
图4是本发明实施例四提供的一种深度图像帧的生成装置的结构示意图；
图5为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
实施例一
图1是本发明实施例一提供的一种深度图像帧的生成方法的流程图，本实施例可适用于根据航拍得到的高清图像帧，在一定的耗时范围内得到匹配的深度图像帧的情况，该方法可以由深度图像帧的生成装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在具有数据处理功能的终端或者服务器中。相应的，如图1所示，该方法包括如下操作：
S110、获取待处理的原始图像帧。
首先，将本发明实施例的应用场景进行简单介绍：为了形成设定区域(某一农田或者某一果园等)内的DSM，需要首先通过测绘无人机获取该区域内的多张连续的航拍图像帧，之后生成与每张航拍图像帧对应的深度图像帧，对各个深度图像帧进行融合，可以得到给区域内的点云数据，通过对点云数据进行插值运算，可以进而得到该区域内的DSM。
在本实施例中，所述原始图像帧可以直接为所述航拍图像帧，也可以为获取所述航拍图像帧后，对所述航拍图像帧进行设定倍数的降采样处理，得到所述原始图像帧。
所谓降采样处理，又作减采集，是一种多速率数字信号处理的技术或是降低信号采样率的过程，通常用于降低数据传输速率或者数据大小。所述倍数是指降采样因子(例如，M，M>1)，该倍数M一般为大于1的整数，是指对所述航拍图像帧进行降采样处理后，航拍图像帧的每M个像素点中，保留1个像素点。
需要说明的是，上述降采样处理所取的降采样倍数，是要低于现有技术对航拍图像帧所取的降采样倍数的。例如，现有技术为了减少降采样的计算耗时，将航拍图像帧的降采样倍数取为4，因此，在本实施例中可以仅将航拍图像帧的降采样倍数取为2，或者直接保留航拍图像帧中的全部像素点，以尽量保证航拍图像帧中包括的图像细节信息。
S120、在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点。
所述像素点间隔数量(例如，N)，具体是指目标像素点的选取间隔，该目标像素点具体是指需要计算深度信息的像素点。N一般为大于1的整数，具体是指每N个像素点中选取出一个目标像素点，或者说每隔N-1个像素点，选取出一个目标像素点。
在本实施例中，由于减少了航拍图像帧的降采样倍数得到了该原始图像帧，或者说，没有对该航拍图像进行降采样处理得到了该原始图像帧，因此直接使用上述航拍图像帧生成对应的深度图，会比现有技术增加很多计算耗时。基于此，发明人创造性的提出，在保留该原始图像帧中全部像素点的同时，以设定的间隔，计算像素点的深度信息，进而可以在计算耗时与现有技术基本持平的情况下，最终得到的深度图中还具有很多图像特征信息，以使得最终得到的DSM边缘清晰。
在一个具体的例子中，如果现有技术中使用了4倍的降采样对图像帧进行处理，并对处理后图像帧的每个像素点均计算深度信息，可以得到符合深度图计算耗时的深度图像帧。在本实施例中，可以先对图像帧进行2倍的降采样处理后，每2个像素点计算像素点的深度信息，也即，使得最终得到的深度图像帧中，即包括了一些像素点的二维图像特征信息，又包括了一些像素点的三维位置信息，且计算耗时与现有技术基本一致。
S130、计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
如前所述，通过计算原始图像帧中，间隔设定像素点所选出的目标像素点的深度信息，最终得到的目标深度图像帧中既包括有目标深度图像帧中各目标像素点的深度信息，也包括有目标深度图像帧中非目标像素点的二维图像特征信息。
本发明实施例通过获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与原始图像帧匹配的目标深度图像帧的技术手段，在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
实施例二
图2是本发明实施例二提供的一种深度图像帧的生成方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，对计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧的操作进行进一步细化。相应的，如图2所示，本实施例的方法可以包括：
S210、获取待处理的原始图像帧。
S220、在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点。
S230、获取与所述原始图像帧对应的稀疏点云数据，并根据所述稀疏点云数据中各点云数据点的深度信息，计算所述目标深度图像帧的深度范围。
在本实施例中，在通过测绘无人机获取多张航拍图像帧之后，可以首先使用SFM(Structure From Motion，运动重构)算法对上述航拍图像帧进行预处理，也即：从运动中实现3D重建，也就是从时间系列的2D图像中推算3D信息。通过使用SFM算法，可以估算出拍摄相机的相机参数(例如，相机内参或者旋转矩阵等参数)及一些三维点位置，也即，可以获取与各个航拍图像帧对应的稀疏点云数据。
其中，可以根据与所述原始图像帧对应的稀疏点云数据中各个点云数据点(x，y，z)坐标中的z值范围，来确定与该原始图像帧对应的目标深度图像帧的深度范围。
其中，x和y值为点云数据点的水平位置坐标，z值为点云数据点的深度信息。通过遍历各个点云数据点的z值，可以取得与该稀疏点云数据对应的最大z值zmax，和最小z值zmin，进而可以将[zmin，zmax]，作为与该原始图像帧对应的目标深度图像帧的深度范围。
S240、根据所述深度范围，计算各所述的初始化深度信息，并获取与各所述目标像素点对应的法向量图的初始化值。
其中，在各所述目标像素点的深度信息初始化阶段和法向量图初始化阶段，可以首先将计算机的内存空间大小设为(width/separated_pixels)*(height/separated_pixels)。
其中，width为原始图像帧的图像宽度，height为原始图像帧的图像高度，separated_pixels为像素间隔，表示每separated_pixels个像素点获取1个目标像素点计算对应的目标像素点的深度信息。上述separated_pixels可选取值为2。
基于上述内存空间，以及深度范围[zmin，zmax]，可以随机计算各所述目标像素点的初始化深度信息，并初始化相应的法向量图。
具体的，在初始化法向量图时，可以针对每个目标像素点的水平坐标(x，y)的值，先计算原始图像帧的各个目标像素点的朝向，也即：坐标(x*separated_pixels，y*separated_pixels)的朝向view_direction(x，y)。
view_direction(x，y)＝K-1*(x*separated_pixels，y*separated_pixels)，
其中K为相机内参，K可以通过前述的SFM算法计算得到。
在得到各个目标像素点的朝向后，可以根据朝向随机分配各个目标像素点的法向量，得到与各目标像素点对应的法向量图，所述法向量图用于迭代计算，得到各所述目标像素点的深度信息最优值。
S250、以各所述目标像素点的初始化深度信息和所述法向量图的初始化值为起点，根据所述原始图像帧的前一相邻图像帧，迭代求解各所述目标像素点的深度信息最优值。
在迭代求解过程中，先是从原始图像帧的左上角，按行逐点将与目标像素点对应的深度值，和法向量图中对应目标像素点的法向量依次传播直到原始图像帧的右下角，然后，从右下角反向传播至左上角，迭代多次得到目标像素点的深度信息最优值。
其中，确定每个目标像素点(x，y)深度信息最优值和法向量的条件是：使得每个目标像素点(x*separated_pixels，y*separated_pixels)与相邻图像帧对应像素点的匹配代价值最小。
具体的，计算图像匹配代价值方法可以为绝对误差和算法、归一化积相关算法或者平均绝对差算法等，本实施例对此并不进行限制。
S260、将各所述目标像素点的深度信息最优值加入至所述原始图像帧中，得到所述目标深度图像帧。
在得到与各个目标像素点的深度信息最优值，可以得到与原始图像帧对应的目标深度图像帧。其中，目标深度图像帧中包括两类像素点，一类是包括同时包括有图像特征信息和深度信息的目标像素点，另一类是仅包括图像特征信息的普通像素点，也即，原始图像帧中，除去目标像素点之外的其余像素点。
本发明实施例通过获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与原始图像帧匹配的目标深度图像帧的技术手段，在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
实施例三
图3a是本发明实施例三提供的一种深度图像帧的生成方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，在计算得到与各原始图像帧分别对应的目标深度图像帧之后，基于上述多个目标深度图像帧生成点云数据，并基于该点云数据生成匹配的DSM的操作进行进一步细化。相应的，如图3a所示，本实施例的方法可以包括：
S310、获取待处理的原始图像帧。
S320、在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点。
S330、计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
S340、将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据。
在本实施例中，在得到与各个原始图像帧分别对应的目标深度图像帧之后，可以对上述多个目标深度图像帧进行图像融合。在图像融合后，剔除误匹配点和冗余点，最终可以计算与多张原始图像帧所拍摄区域对应的三维点云。
在一个具体的例子中，已知一张目标深度图像帧中像素点A的水平坐标为(x，y)，深度值为depth，那么与该像素点A对应的三维点云中的三维数据点X＝R-1*K-1*(x*separated_pixels，y*separated_pixels，depth)+C。其中K为相机内参，R为旋转矩阵，C为相机中心坐标。
S350、根据点云数据中各点云数据点的水平坐标，计算点云数据的总体覆盖范围。
其中，点云数据由多个点云数据点构成，每个点云数据点包含三维坐标，由X轴上坐标值以及Y轴上坐标值构成的水平坐标，以及深度信息，有些可能含有颜色信息或反射强度信息等。点云数据的总体覆盖范围由各个点云数据点的水平坐标范围确定。一般来说，点云数据点所覆盖的水平坐标范围越大，点云数据的数据量也就越大，因此，可以将点云数据的总体覆盖范围作为点云分块的一个标准。
其中，上述点云数据可以根据与航拍无人机所采集的设定场景下的地面影像图生成，并作为后续生成DSM以及DOM的基础数据。
一般来说，DSM以及DOM都是规则的矩形形状。因此，在确定点云数据的总体覆盖范围时，可以计算点云数据所覆盖范围内的最大外接矩形，作为所述点云数据的总体覆盖范围。具体的，可以首先在点云数据的各个数据点中，遍历得到横向范围(X轴)的最小值min_x和横向范围的最大值max_x，以及，纵向范围(Y轴)的最小值min_y和纵向范围的最大值max_y，并将由上述四个极值点所围成的矩形，作为点云数据的总体覆盖范围。
可选的，在通过遍历点云数据的各个点云数据点，得到点云数据的横向范围的最小值为min_x和横向范围的最大值max_x，以及，纵向范围的最小值min_y和纵向范围的最大值max_y后，将max_x-min_x的差值，作为所述总体覆盖范围中的水平长度，将max_y-min_y的差值，作为所述总体覆盖范围中的水平宽度。将(max_x-min_x)*(max_y-min_y)的乘积，作为所述总体覆盖范围。
S360、根据所述总体覆盖范围、单块DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的单边分块数。
发明人通过多次试验发现，通过下述公式计算得到的单边分块数，在保证X轴方向以及Y轴方向上分出相同的单边分块数的基础上，分块效果最好，且最终计算得到的DSM效果也最好。
具体的，根据公式：
计算与所述点云数据匹配的单边分块数spilt_tiles。
其中，S为所述总体覆盖范围，S为所述点云数据的水平宽度和水平长度的乘积，tile_max_size为单块DSM的理想单边尺寸，resolution为所述DSM分辨率。
在本实施例中，可以计算生成点云数据的地面影像图的GSD，并将上述GSD作为所述DSM分辨率。
具体的，可以根据与所述点云数据匹配的图像采集参数，计算GSD，并根据所述GSD，确定所述DSM分辨率。
在一个具体的例子中，可以根据公式：
GSD＝[FlightHeight*SensorWidth]/[FocalLength*ImageWidth]，计算得到GSD。
或者，可以根据公式：
GSD＝[FlightHeight*SensorHeight]/[FocalLength*ImageHeight]，计算得到GSD。
其中，FlightHeight为无人机拍摄所述地面影像图时的飞行高度，SensorWidth为拍摄所述地面影像图的相机的分辨率宽度，SensorHeight为拍摄所述地面影像图的相机的分辨率高度，FocalLength为拍摄所述地面影像图的相机的焦距，ImageWidth为所述地面影像图的照片宽度，ImageHeight为所述地面影像图的照片高度。
S370、根据所述总体覆盖范围、所述单边分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中。
在本实施例中，根据所述总体覆盖范围、所述单边分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中的方式可以为：
S3701、根据所述总体覆盖范围以及所述分块数，计算与每个点云分块分别对应的第一水平坐标范围。
其中，所述第一水平坐标范围包括：每个点云分块的X轴坐标范围，以及每个点云分块的Y轴坐标范围。
具体的，如果假设点云数据的总体覆盖范围为水平宽度boundary_x和水平长度boundary_y的乘积，所述单边分块数split_tiles为针对水平宽度以及水平长度所等分的份数。因此，每块点云数据的宽度值tile_x＝boundary_x/split_tiles，每块点云数据的长度值tile_y＝boundary_y/split_tiles。
如前所述，在已经得知上述点云数据的四个极值点后，也即，点云数据的边缘点位置后，可以分别计算与每个点云分块分别对应的第一水平坐标范围。
在一个具体例子中，所述点云数据的横向范围的最小值为min_x、横向范围的最大值为max_x、纵向范围的最小值为min_y、纵向范围的最大值为max_y，所述单边分块数为split_tiles，该split_tiles为2，则可以根据所述点云数据确定4个点云分块，例如，点云分块A、点云分块B、点云分块C以及点云分块D。
上述4个点云分块的坐标范围分别为：点云分块A的X轴坐标范围为[min_x，min_x+tile_x]，Y轴坐标范围为[min_y，min_y+tile_y]；点云分块B的X轴坐标范围为[min_x+tile_x，max_x]，Y轴坐标范围为[min_y，min_y+tile_y]；点云分块C的X轴坐标范围为[min_x，min_x+tile_x]，Y轴坐标范围为[min_y+tile_y，max_y]；点云分块D的X轴坐标范围为[min_x+tile_x，max_x]，Y轴坐标范围为[min_y+tile_y，max_y]。
S3702、根据预设的重叠度，将各所述第一水平坐标范围更新为第二水平坐标范围。
如前所述，在确定重叠度后，可以使用该重叠度对每个点云分块的第一水平坐标范围进行扩展，得到相应的第二水平坐标范围，以保证不同分块点云之间具有一定的重叠区域。
在本实施例中，可以根据点云数据的稠密度，计算得到点云数据的重叠度。
可选的，可以根据所述点云数据中包括的点云数据点的数据总量，以及所述总体覆盖范围，计算所述点云数据的稠密度；进而根据所述稠密度，计算所述重叠度。
具体的，可以根据公式：pointcloud_density＝points_number/S，计算点云数据的稠密度pointcloud_density，其中，points_number为所述点云数据中包括的点云数据点的数据总量，S为所述总体覆盖范围。
同时，根据公式：
计算所述重叠度overlapp_step；pointcloud_density为所述稠密度，A为预设的经验常数。典型的，A可以为10。
续前例，点云分块A的第一水平坐标范围中：X轴坐标范围为[min_x，min_x+tile_x]，Y轴坐标范围为[min_y，min_y+tile_y]，通过重叠度扩展后，点云分块A的第二水平坐标范围中：X轴坐标范围为[min_x-overlapp_step，min_x+tile_x+overlapp_step]，Y轴坐标范围为[min_y-overlapp_step，min_x+tile_y+overlapp_step]。
S3703、根据与每个点云分块分别对应的第二水平坐标范围，将所述点云数据中的各所述点云数据点分配到对应的分块点云中。
在本实施例中，在得到与每个点云分块分别对应的第二水平坐标范围后，可以根据点云数据中每个点云数据点的水平坐标范围，将各个点云数据点划分至匹配的分块点云内处，以将点云数据划分为多个分块点云。
S380、计算与各所述点云分块分别对应的分块DSM，并将各所述分块DSM进行拼接，得到与所述点云数据对应的完整DSM。
在本实施例中，计算与各所述点云分块分别对应的分块DSM可以为：采用预设的插值算法，对各所述点云分块中的点云数据点进行插值处理；根据落入各所述第一水平坐标范围内的点云数据点以及插值点，生成与各所述第一水平坐标范围对应的分块DSM。之后通过将各所述分块DSM进行拼接，可以得到与所述点云数据对应的完整DSM。
其中，在图3b中示出了现有技术中将航拍图像帧降采样4倍后，得到的DSM示意图；在图3c中示出了本发明实施例中将航拍图像帧降采样2倍后，每2个像素点计算像素点深度信息后，得到的DSM示意图。
其中，图3b和图3c为根据在梯田场景下拍摄的航拍图像帧，生成相应的深度图像帧，并得到与该深度图像帧对应的点云数据后，对点云数据进行插值计算得到的DSM。
如图3b所示，直接对航拍图像帧降采样4倍，会舍弃航拍图像帧中很多的像素点，进而最终得到的DSM中梯田边缘不明显，高度变化不明显。
如图3c所示，通过将航拍图像帧降采样2倍后，每2个像素点计算像素点深度信息后，计算时间以及消耗资源与上述方法基本一样的情况下，但是比图3b的方案多保留了1倍的像素点(没有计算深度信息的像素点)，进而最终得到的DSM中梯田边缘明显，高度变化明显。
本发明实施例通过获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与原始图像帧匹配的目标深度图像帧的技术手段，在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
实施例四
图4是本发明实施例四提供的一种深度图像帧的生成装置的示意图，如图4所示，所述装置包括：原始图像帧获取模块410、目标像素点选取模块420以及深度图像帧生成模块430。其中：
原始图像帧获取模块410，用于获取待处理的原始图像帧；
目标像素点选取模块420，用于在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；
深度图像帧生成模块430，用于计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
本发明实施例通过获取待处理的原始图像帧；在原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各原始图像帧中各所述目标像素点的深度信息，得到与原始图像帧匹配的目标深度图像帧的技术手段，在保留原始图像帧中的各个像素点的图像特征信息的同时，仅计算原始图像帧中所选出的目标像素点的深度信息，得到最终的目标深度图像帧，实现了计算耗时和图像信息量的兼顾，在极大的减少深度图的计算耗时的同时，又能在最终得到的DSM中保持物体边缘明显以及高度落差有明显变化。
在上述各实施例的基础上，原始图像帧获取模块410，可以具体用于：
获取航拍图像帧，并对所述航拍图像帧进行设定倍数的降采样处理，得到所述原始图像帧。
在上述各实施例的基础上，深度图像帧生成模块430，可以具体用于：
获取与所述原始图像帧对应的稀疏点云数据，并根据所述稀疏点云数据中各点云数据点的深度信息，计算所述目标深度图像帧的深度范围；
根据所述深度范围，计算各所述目标像素点的初始化深度信息，并获取与各所述目标像素点对应的法向量图的初始化值；
以各所述目标像素点的初始化深度信息和所述法向量图的初始化值为起点，根据所述原始图像帧的前一相邻图像帧，迭代求解各所述目标像素点的深度信息最优值；
将各所述目标像素点的深度信息最优值加入至所述原始图像帧中，得到所述目标深度图像帧。
在上述各实施例的基础上，还可以包括：点云数据生成模块，用于在得到与所述原始图像帧匹配的目标深度图像帧之后，将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据。
在上述各实施例的基础上，还可以包括：
覆盖范围计算模块，用于在将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据之后，根据点云数据中各点云数据点的水平坐标，计算点云数据的总体覆盖范围；
分块数计算模块，用于根据所述总体覆盖范围、单块DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的单边分块数；
点云数据划分模块，用于根据所述总体覆盖范围、所述单边分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中；
DSM生成模块，用于计算与各所述点云分块分别对应的分块DSM，并将各所述分块DSM进行拼接，得到与所述点云数据对应的完整DSM。
在上述各实施例的基础上，点云数据划分模块，可以具体用于：
根据所述总体覆盖范围以及所述分块数，计算与每个点云分块分别对应的第一水平坐标范围；
根据预设的重叠度，将各所述第一水平坐标范围更新为第二水平坐标范围；
根据与每个点云分块分别对应的第二水平坐标范围，将所述点云数据中的各所述点云数据点分配到对应的分块点云中。
在上述各实施例的基础上，分块数计算模块，可以具体用于：
根据公式：
计算与所述点云数据匹配的单边分块数spilt_tiles；
其中，S为所述总体覆盖范围，S为所述点云数据的水平宽度和水平长度的乘积，tile_max_size为单块DSM的理想单边尺寸，resolution为所述DSM分辨率。
本发明实施例所提供的深度图像帧的生成装置可执行本发明任意实施例所提供的深度图像帧的生成方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的计算机设备412的框图。图5显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(MicroChannel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-ReadOnly Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arraysof Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的深度图像帧的生成方法。
也即，所述处理单元执行所述程序时实现：获取待处理的原始图像帧；在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
实施例六
本发明实施例六还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的深度图像帧的生成方法。也即：获取待处理的原始图像帧；在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种深度图像帧的生成方法，其特征在于，包括：
获取待处理的原始图像帧；
在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；
计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
2.根据权利要求1所述的方法，其特征在于，获取待处理的原始图像帧包括：
获取航拍图像帧，并对所述航拍图像帧进行设定倍数的降采样处理，得到所述原始图像帧。
3.根据权利要求1所述的方法，其特征在于，计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧，包括：
获取与所述原始图像帧对应的稀疏点云数据，并根据所述稀疏点云数据中各点云数据点的深度信息，计算所述目标深度图像帧的深度范围；
根据所述深度范围，计算各所述目标像素点的初始化深度信息，并获取与各所述目标像素点对应的法向量图的初始化值；
以各所述目标像素点的初始化深度信息和所述法向量图的初始化值为起点，根据所述原始图像帧的前一相邻图像帧，迭代求解各所述目标像素点的深度信息最优值；
将各所述目标像素点的深度信息最优值加入至所述原始图像帧中，得到所述目标深度图像帧。
4.根据权利要求1-3任一项所述的方法，其特征在于，在得到与所述原始图像帧匹配的目标深度图像帧之后，还包括：
将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据。
5.根据权利要求4所述的方法，其特征在于，在将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据之后，还包括：
根据点云数据中各点云数据点的水平坐标，计算点云数据的总体覆盖范围；
根据所述总体覆盖范围、单块DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的单边分块数；
根据所述总体覆盖范围、所述单边分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中；
计算与各所述点云分块分别对应的分块DSM，并将各所述分块DSM进行拼接，得到与所述点云数据对应的完整DSM。
6.根据权利要求5所述的方法，其特征在于，根据所述总体覆盖范围、所述分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中，包括：
根据所述总体覆盖范围以及所述分块数，计算与每个点云分块分别对应的第一水平坐标范围；
根据预设的重叠度，将各所述第一水平坐标范围更新为第二水平坐标范围；
根据与每个点云分块分别对应的第二水平坐标范围，将所述点云数据中的各所述点云数据点分配到对应的分块点云中。
7.根据权利要求5所述的方法，其特征在于，根据所述总体覆盖范围、单块数字表面模型DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的分块数，具体包括：
根据公式：
计算与所述点云数据匹配的单边分块数spilt_tiles；
其中，S为所述总体覆盖范围，S为所述点云数据的水平宽度和水平长度的乘积，tile_max_size为单块DSM的理想单边尺寸，resolution为所述DSM分辨率。
8.一种深度图像帧的生成装置，其特征在于，包括：
原始图像帧获取模块，用于获取待处理的原始图像帧；
目标像素点选取模块，用于在所述原始图像帧中，按照预设的像素点间隔数量，选取出目标像素点；
深度图像帧生成模块，用于计算各所述原始图像帧中各所述目标像素点的深度信息，得到与所述原始图像帧匹配的目标深度图像帧。
9.根据权利要求8所述的装置，其特征在于，所述原始图像帧获取模块，具体用于：
获取航拍图像帧，并对所述航拍图像帧进行设定倍数的降采样处理，得到所述原始图像帧。
10.根据权利要求8所述的装置，其特征在于，所述深度图像帧生成模块，具体用于：
获取与所述原始图像帧对应的稀疏点云数据，并根据所述稀疏点云数据中各点云数据点的深度信息，计算所述目标深度图像帧的深度范围；
根据所述深度范围，计算各所述目标像素点的初始化深度信息，并获取与各所述目标像素点对应的法向量图的初始化值；
以各所述目标像素点的初始化深度信息和所述法向量图的初始化值为起点，根据所述原始图像帧的前一相邻图像帧，迭代求解各所述目标像素点的深度信息最优值；
将各所述目标像素点的深度信息最优值加入至所述原始图像帧中，得到所述目标深度图像帧。
11.根据权利要求8-10任一项所述的装置，其特征在于，还包括，点云数据生成模块，用于：
在得到与所述原始图像帧匹配的目标深度图像帧之后，将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据。
12.根据权利要求11所述的装置，其特征在于，还包括：
覆盖范围计算模块，用于：在将与多张所述原始图像帧分别对应的目标深度图像帧进行融合，得到点云数据之后，根据点云数据中各点云数据点的水平坐标，计算点云数据的总体覆盖范围；
分块数计算模块，用于根据所述总体覆盖范围、单块DSM的理想单边尺寸和DSM分辨率，计算与所述点云数据匹配的单边分块数；
点云数据划分模块，用于根据所述总体覆盖范围、所述单边分块数以及预设的重叠度，将所述点云数据划分至多个点云分块中；
DSM生成模块，用于计算与各所述点云分块分别对应的分块DSM，并将各所述分块DSM进行拼接，得到与所述点云数据对应的完整DSM。
13.根据权利要求12所述的装置，其特征在于，所述点云数据划分模块，具体用于：
根据所述总体覆盖范围以及所述分块数，计算与每个点云分块分别对应的第一水平坐标范围；
根据预设的重叠度，将各所述第一水平坐标范围更新为第二水平坐标范围；
根据与每个点云分块分别对应的第二水平坐标范围，将所述点云数据中的各所述点云数据点分配到对应的分块点云中。
14.根据权利要求12所述的装置，其特征在于，所述分块数计算模块，具体用于：
根据公式：
计算与所述点云数据匹配的单边分块数spilt_tiles；
其中，S为所述总体覆盖范围，S为所述点云数据的水平宽度和水平长度的乘积，tile_max_size为单块DSM的理想单边尺寸，resolution为所述DSM分辨率。
15.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的深度图像帧的生成方法。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的深度图像帧的生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010191166.1A CN113496509A (zh) | 2020-03-18 | 2020-03-18 | 深度图像帧的生成方法、装置、计算机设备及存储介质 |
| PCT/CN2021/081588 WO2021185322A1 (zh) | 2020-03-18 | 2021-03-18 | 图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010191166.1A CN113496509A (zh) | 2020-03-18 | 2020-03-18 | 深度图像帧的生成方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496509A true CN113496509A (zh) | 2021-10-12 |
Family
ID=77993458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010191166.1A Pending CN113496509A (zh) | 2020-03-18 | 2020-03-18 | 深度图像帧的生成方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496509A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559737A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种对象全景建模方法 |
| CN107452033A (zh) * | 2017-08-17 | 2017-12-08 | 万维云视（上海）数码科技有限公司 | 一种生成深度图的方法和装置 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| CN108682029A (zh) * | 2018-03-22 | 2018-10-19 | 深圳飞马机器人科技有限公司 | 多尺度密集匹配方法和系统 |
| JP2019091122A (ja) * | 2017-11-10 | 2019-06-13 | 凸版印刷株式会社 | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム |
| US20190188872A1 (en) * | 2017-12-18 | 2019-06-20 | Samsung Electronics Co., Ltd. | Image processing with iterative closest point (icp) technique |
| WO2020024792A1 (zh) * | 2018-08-01 | 2020-02-06 | 中兴通讯股份有限公司 | 图像深度值获取方法、装置、设备、编解码器及存储介质 |
-
2020
- 2020-03-18 CN CN202010191166.1A patent/CN113496509A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559737A (zh) * | 2013-11-12 | 2014-02-05 | 中国科学院自动化研究所 | 一种对象全景建模方法 |
| CN107452033A (zh) * | 2017-08-17 | 2017-12-08 | 万维云视（上海）数码科技有限公司 | 一种生成深度图的方法和装置 |
| CN107610084A (zh) * | 2017-09-30 | 2018-01-19 | 驭势科技（北京）有限公司 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
| JP2019091122A (ja) * | 2017-11-10 | 2019-06-13 | 凸版印刷株式会社 | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム |
| US20190188872A1 (en) * | 2017-12-18 | 2019-06-20 | Samsung Electronics Co., Ltd. | Image processing with iterative closest point (icp) technique |
| CN108682029A (zh) * | 2018-03-22 | 2018-10-19 | 深圳飞马机器人科技有限公司 | 多尺度密集匹配方法和系统 |
| WO2020024792A1 (zh) * | 2018-08-01 | 2020-02-06 | 中兴通讯股份有限公司 | 图像深度值获取方法、装置、设备、编解码器及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JUI-YUAN SU, ET AL.: "Alignment of Deep Features in 3D Models for Camera Pose Estimation", 《MULTIMEDIA MODELING, MMM 2019, PT II》, 31 December 2019 (2019-12-31), pages 440 - 452 * |
| 王晶 等: "融合局部特征和全局特征的视频拷贝检测", 《清华大学学报(自然科学版)》, vol. 56, no. 3, 31 December 2016 (2016-12-31), pages 269 - 272 * |
| 郭裕兰 等: "距离图像局部特征提取方法综述", 《模式识别与人工智能》, vol. 25, no. 5, 31 October 2012 (2012-10-31), pages 783 - 791 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335353B (zh) | 动态场景的三维重建方法、装置和系统、服务器、介质 | |
| JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| CN113506370B (zh) | 基于立体遥感影像的三维地理场景模型构建方法和装置 | |
| US9324184B2 (en) | Image three-dimensional (3D) modeling | |
| Pylvanainen et al. | Automatic alignment and multi-view segmentation of street view data using 3d shape priors | |
| CN109685879B (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
| CN107370994B (zh) | 海域全景监控方法、装置、服务器及系统 | |
| CN107907111B (zh) | 一种自动分布式空中三角测量解算方法 | |
| WO2021185322A1 (zh) | 图像处理方法及相关装置 | |
| KR101969082B1 (ko) | 다수의 카메라를 이용한 최적의 구형 영상 획득 방법 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN108801225B (zh) | 一种无人机倾斜影像定位方法、系统、介质及设备 | |
| CN113129352A (zh) | 一种稀疏光场重建方法及装置 | |
| CN107862652B (zh) | 一种鸟瞰图生成方法及装置 | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN111881985A (zh) | 立体匹配方法、装置、终端和存储介质 | |
| CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
| CN111627119A (zh) | 纹理贴图方法及装置、设备、存储介质 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| CN113496509A (zh) | 深度图像帧的生成方法、装置、计算机设备及存储介质 | |
| KR102254961B1 (ko) | 무인항공기를 이용하여 3차원 모델링 효율 향상을 위한 측면촬영 기법을 포함하는 무인항공기 사전비행 시뮬레이터 시스템 | |
| CN114998496A (zh) | 一种基于场景航拍图及稀疏点云的正射影像快速生成方法 | |
| Hu et al. | 3D map reconstruction using a monocular camera for smart cities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |