CN113496138A - 稠密点云数据的生成方法、装置、计算机设备及存储介质 - Google Patents
稠密点云数据的生成方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113496138A CN113496138A CN202010190844.2A CN202010190844A CN113496138A CN 113496138 A CN113496138 A CN 113496138A CN 202010190844 A CN202010190844 A CN 202010190844A CN 113496138 A CN113496138 A CN 113496138A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- cloud data
- memory
- dense point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 15
- 230000036544 posture Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种稠密点云数据的生成方法、装置、计算机设备及存储介质，方法包括：获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。本发明实施例的技术方案能够实现在有限内存条件下，有效处理图像的稠密点云数据，从而提高稠密点云数据的计算性能。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种稠密点云数据的生成方法、装置、计算机设备及存储介质。
背景技术
随着无人机拍摄技术的不断发展，借助航拍无人机，可快速采集地面影像图，实现全自动化的三维建模，输出DSM(Digital Surface Model，数字表面模型)以及DOM(DigitalOrthophoto Map，数字正向影像图)等成果。
现有技术中，图像处理设备需要首先获取与航拍无人机所采集的设定场景下的地面影像图，并生成与地面影像图对应的深度图，基于该深度图以及其位置信息，生成该场景下的稠密点云数据，并进而生成相应的DSM以及DOM。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：图像处理设备的运行内存是有限的，如果场景对应的地面影像图的数量较大，例如包括几百或几千张图像时，会由于计算量过大导致计算失败。
发明内容
本发明实施例提供一种稠密点云数据的生成方法、装置、计算机设备及存储介质，实现在有限内存条件下，有效处理图像的稠密点云数据，从而提高稠密点云数据的计算性能。
第一方面，本发明实施例提供了一种稠密点云数据的生成方法，包括：
获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；
如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；
使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
可选的，根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，包括：根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
可选的，根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，包括：
根据公式：
计算所述预计消耗内存pre_memory_cost；
其中，N为所述采集图像总量，image_size为所述单张图像尺寸，M为所述采集图像降采样倍数，S为所述深度值计算间隔，K1和K2为常数。
可选的，对各所述采集图像进行分群处理，得到多个分群图像集合，包括：
根据所述预计消耗内存以及采集图像总量，计算单张图片内存消耗；
根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围；
根据与各所述采集图像分别对应的图像姿态，对各所述采集图像进行聚类处理，获取符合所述分群图像集合图像数量阈值范围的多个分群图像集合。
可选的，根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围，包括：
根据公式：
计算所述单张图片内存消耗each_memory_cost；
根据公式：
计算所述分群图像集合图像数量的上限值image_numbers_max；
根据公式：image_numbers_min＝K4*image_numbers_max，计算所述分群图像集合图像数量的下限值image_numbers_min；
其中，free_memory为所述空闲内存，K3和K4为常数。
可选的，对各所述采集图像进行分群处理，得到多个分群图像集合之后，还包括：
获取与所述目标场景匹配的稀疏点云数据，并将所述稀疏点云数据中的各点云数据点划分至匹配的分群图像集合中；
计算与分群图像集合对应的局部稠密点云数据，包括：
根据当前计算的分群图像集合中包括的各个采集图像，以及各所述点云数据点，计算与所述当前计算的分群图像集合对应的局部稠密点云数据。
可选的，所述方法还包括：如果所述预计消耗内存小于或等于所述计算设备的空闲内存，则直接计算所述目标场景中的稠密点云数据。
第二方面，本发明实施例还提供了一种稠密点云数据的生成装置，包括：
预计消耗内存确定模块，用于获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；
分群图像集合获取模块，用于如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；
第一稠密点云数据生成模块，用于使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的稠密点云数据的生成方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的稠密点云数据的生成方法。
本发明实施例通过获取的与目标场景匹配的多张采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，并在确定预计消耗内存大于计算设备的空闲内存时，对各采集图像进行分群处理得到多个分群图像集合，然后使用空闲内存分别计算与各分群图像集合对应的局部稠密点云数据，并将各局部稠密点云数据组合得到目标场景中的稠密点云数据，解决现有计算稠密点云数据时由于计算量过大导致的计算失败问题，实现在有限内存条件下，有效处理图像的点云数据，从而提高图像点云数据的计算性能。
附图说明
图1是本发明实施例一提供的一种稠密点云数据的生成方法的流程图；
图2是本发明实施例二提供的一种稠密点云数据的生成方法的流程图；
图3是本发明实施例三提供的一种稠密点云数据的生成装置的示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
实施例一
图1是本发明实施例一提供的一种稠密点云数据的生成方法的流程图，本实施例可适用于在有限内存条件下计算生成稠密点云数据的情况，该方法可以由稠密点云数据的生成装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图1所示，该方法包括如下操作：
S110、获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
其中，目标场景可以是无人机采集的，需要生成稠密点云数据的场景，如农田场景或山地场景等，本发明实施例并不对目标场景的具体场景类型进行限定。采集图像可以是无人机通过图像采集装置(如摄像头)等获取的图像。图像特征参数可以是能够反映采集图像特征的相关参数，包括但不限于单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔等。预计消耗内存可以是计算设备计算目标场景中的稠密点云数据预计需要消耗的内存。
在本发明实施例中，计算设备在计算目标场景中的稠密点云数据之前，可以首先获取与目标场景匹配的多张采集图像，然后可以根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
S120、如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合。
其中，计算设备的空闲内存可以是计算设备中未被占用的、可利用的内存。分群处理即为对采集图像进行分类处理，也即，将采集图像所属的一个集群划分为不同类的集群，每个集群可以作为一个分群图像集合，每个分群图像集合包括至少一张采集图像。
相应的，在确定目标场景中的稠密点云数据所需的预计消耗内存后，可以将预计消耗内存与计算机的空闲内存做对比判断。如果确定预计消耗内存大于空闲内存，表明该计算设备内存受限，无法直接根据所有的采集图像一次性计算稠密点云数据。此时，可以利用计算设备对各采集图像进行分群处理，得到多个分群图像集合。
S130、使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
其中，局部稠密点云数据可以是各分群图像集合所包括的采集图像对应的稠密点云数据。
对采集图像进行分群处理得到多个分群图像集合后，计算设备可以使用空闲内存分别计算与各分群图像集合对应的局部稠密点云数据，从而减轻所有采集图像引起的计算负担，避免出现计算失败问题。相应的，计算得到与各分群图像集合对应的局部稠密点云数据后，可以将各局部稠密点云数据进行组合，从而得到目标场景中的稠密点云数据。
由此可见，本发明实施例通过在确定计算设备的空闲内存无法满足目标场景中的稠密点云数据计算需求时，对各采集图像进行分群处理得到多个分群图像集合，以有效利用有限的空闲内存分别计算与各分群图像集合对应的局部稠密点云数据，并将各局部稠密点云数据进行组合得到目标场景中的稠密点云数据，避免稠密点云数据计算失败，提高了稠密点云数据的计算性能。
上述稠密点云数据的生成方法可以应用于任意类型的稠密点云的计算方法，如MVS(Multi View Stereo，多视角立体匹配)算法或伪双目算法等，本发明实施例对此并不进行限制。
本发明实施例通过获取的与目标场景匹配的多张采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，并在确定预计消耗内存大于计算设备的空闲内存时，对各采集图像进行分群处理得到多个分群图像集合，然后使用空闲内存分别计算与各分群图像集合对应的局部稠密点云数据，并将各局部稠密点云数据组合得到目标场景中的稠密点云数据，解决现有计算稠密点云数据时由于计算量过大导致的计算失败问题，实现在有限内存条件下，有效处理图像的点云数据，从而提高图像点云数据的计算性能。
实施例二
图2是本发明实施例二提供的一种稠密点云数据的生成方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，以及对各所述采集图像进行分群处理，得到多个分群图像集合的具体实现方式。相应的，如图2所示，本实施例的方法可以包括：
S210、获取与目标场景匹配的多张采集图像，根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
其中，单张图像尺寸可以是单张采集图像宽度与高度的乘积(像素数量的乘积)，采集图像总量可以是采集图像的总数量，采集图像的降采样倍数可以是对采集图像进行降采样的倍数，可以是二分之一或四分之一。深度值计算间隔可以是像素点深度值的计算间隔，例如，深度值计算间隔为2时，表示每隔1个像素点计算一个深度值。
需要说明的是，稠密点云数据需要计算采集图像的深度图，而深度图则需要计算采集图像中每个像素点的深度信息。如果采集图像的像素点数量过多，会导致深度图计算耗时过长。因此，在获取到与目标场景匹配的多张采集图像后，为了降低计算耗时，可以根据采集图像的降采样倍数对采集图像进行降采样处理。通常情况下，采集图像的降采样倍数可以设置为二分之一或四分之一。当采集图像的降采样倍数设置为二分之一时，深度图的计算耗时依然较大。当采集图像的降采样倍数设置为四分之一时，深度图的计算耗时虽然大幅缩短，但图像中物体边缘以及有高度落差的边缘会比较模糊，使得计算的稠密点云中物体边缘以及有高度落差的边缘不够明显。
为了解决上述问题，在本发明实施例中，可选的，采集图像的降采样倍数可以设置为二分之一，以保留更多的图像信息，从而保持采集图像中物体边缘以及有高度落差的边缘的清晰度。同时，为了降低深度图的计算耗时，可以采用深度值计算间隔每隔N个像素计算采集图像的深度图。可选的，N可以设置为1。上述处理方法既能保持采集图像中物体边缘以及有高度落差的边缘的清晰度，同时还能降低深度图的计算耗时。
相应的，在本发明实施例中，可以根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔等图像特征参数，确定预计消耗内存。
在本发明的一个可选实施例中，根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，可以包括：根据下述公式：
计算预计消耗内存pre_memory_cost；其中，N为采集图像总量，image_size为单张图像尺寸，M为采集图像降采样倍数，S为深度值计算间隔，K1和K2为常数。可选的，K1可以设置为10，K2可以设置为45，本发明实施例并不对K1和K2的具体数值进行限定。
S220、判断预计消耗内存是否大于计算设备的空闲内存，若是，则执行S230；否则，执行S260。
S230、对各所述采集图像进行分群处理，得到多个分群图像集合。
相应的，S230具体可以包括下述操作：
S231、根据所述预计消耗内存以及采集图像总量，计算单张图片内存消耗。
其中，单张图片内存消耗可以是单张采集图像预计消耗的内存。
在本发明实施例中，可以根据预计消耗内存以及采集图像总量，计算单张图片内存消耗。
S232、根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围。
其中，分群图像集合图像数量阈值范围可以规定各分群图像集合中包括的图像数量的最大值和最小值。分群图像集合中包括的图像数量不能超出分群图像集合图像数量阈值范围。
相应的，得到单张图片内存消耗后，可以根据单张图片内存消耗计算分群图像集合图像数量阈值范围。
在本发明的一个可选实施例中，根据单张图片内存消耗，计算分群图像集合图像数量阈值范围，可以包括：根据公式：
计算单张图片内存消耗each_memory_cost。相应的，可以根据公式
计算分群图像集合图像数量的上限值image_numbers_max；根据公式image_numbers_min＝K4*image_numbers_max，计算分群图像集合图像数量的下限值image_numbers_min；其中，free_memory为空闲内存，K3和K4为常数。可选的，K3和K4可以是小于1的常数，K3可以设置为0.9，K4也可以设置为0.9，本发明实施例并不对K3和K4的具体数值进行限定。
S233、根据与各所述采集图像分别对应的图像姿态，对各所述采集图像进行聚类处理，获取符合所述分群图像集合图像数量阈值范围的多个分群图像集合。
其中，图像姿态可以用于采集图像的聚类处理，将连续相邻帧的采集图像划分为一个分群图像集合中。
具体的，可以根据与各采集图像分别对应的图像姿态，对各采集图像进行聚类处理，将连续相邻帧的采集图像划分为一个分群图像集合中，从而获取符合分群图像集合图像数量阈值范围的多个分群图像集合。可选的，可以采用AP(Affinity PropagationClustering，亲和力传播聚类)聚类算法对各采集图像进行聚类处理。
S240、获取与所述目标场景匹配的稀疏点云数据，并将所述稀疏点云数据中的各点云数据点划分至匹配的分群图像集合中。
其中，点云数据点可以是稀疏点云数据中包括的各三维数据点。
在三维建模过程中，可以获取到与目标场景匹配的稀疏点云数据。稀疏点云数据可以应用于稠密点云数据的计算。具体的，可以根据稀疏点云数据与采集图像的匹配关系，将目标场景匹配的稀疏点云数据中包括的各点云数据点划分至匹配的分群图像集合中。
S250、使用所述空闲内存，根据当前计算的分群图像集合中包括的各个采集图像，以及各所述点云数据点，计算与所述当前计算的分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
可选的，根据当前计算的分群图像集合中包括的各个采集图像，以及各点云数据点，计算与当前计算的分群图像集合对应的局部稠密点云数据，可以是：将当前分群图像集合中包括的各个采集图像与各个采集图像匹配的各点云数据点进行融合，实现稠密三维点云重建，从而得到当前计算的分群图像集合对应的局部稠密点云数据。
相应的，在得到各分群图像集合对应的局部稠密点云数据后，即可将各局部稠密点云数据进行组合，从而得到目标场景中的稠密点云数据。
S260、直接计算所述目标场景中的稠密点云数据。
相应的，如果预计消耗内存小于或等于计算设备的空闲内存，表明当前计算设备内存充裕，可以一次性完成稠密点云数据的计算，则可以直接计算目标场景中的稠密点云数据。
本发明实施例通过利用采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔等图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，并在确定预计消耗内存大于计算设备的空闲内存时，根据图像姿态对各采集图像进行聚类处理得到多个分群图像集合，然后使用空闲内存根据各个采集图像的稀疏点云数据分别计算与各分群图像集合对应的局部稠密点云数据，并将各局部稠密点云数据组合得到目标场景中的稠密点云数据，解决现有计算稠密点云数据时由于计算量过大导致的计算失败问题，实现在有限内存条件下，有效处理图像的点云数据，从而提高图像点云数据的计算性能。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例三
图3是本发明实施例三提供的一种稠密点云数据的生成装置的示意图，如图3所示，所述装置包括：预计消耗内存确定模块310、分群图像集合获取模块320以及第一稠密点云数据生成模块330，其中：
预计消耗内存确定模块310，用于获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；
分群图像集合获取模块320，用于如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；
第一稠密点云数据生成模块330，用于使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
本发明实施例通过获取的与目标场景匹配的多张采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，并在确定预计消耗内存大于计算设备的空闲内存时，对各采集图像进行分群处理得到多个分群图像集合，然后使用空闲内存分别计算与各分群图像集合对应的局部稠密点云数据，并将各局部稠密点云数据组合得到目标场景中的稠密点云数据，解决现有计算稠密点云数据时由于计算量过大导致的计算失败问题，实现在有限内存条件下，有效处理图像的点云数据，从而提高图像点云数据的计算性能。
可选的，预计消耗内存确定模块310包括预计消耗内存确定单元，用于根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
可选的，预计消耗内存确定单元具体用于根据公式：
计算所述预计消耗内存pre_memory_cost；其中，N为所述采集图像总量，image_size为所述单张图像尺寸，M为所述采集图像降采样倍数，S为所述深度值计算间隔，K1和K2为常数。
可选的，分群图像集合获取模块320包括：单张图片内存消耗计算单元，用于根据所述预计消耗内存以及采集图像总量，计算单张图片内存消耗；图像数量阈值范围计算单元，用于根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围；分群图像集合获取单元，用于根据与各所述采集图像分别对应的图像姿态，对各所述采集图像进行聚类处理，获取符合所述分群图像集合图像数量阈值范围的多个分群图像集合。
可选的，图像数量阈值范围计算单元具体用于：根据公式：
计算所述单张图片内存消耗each_memory_cost；根据公式：
计算所述分群图像集合图像数量的上限值image_numbers_max；根据公式：image_numbers_min＝K4*image_numbers_max，计算所述分群图像集合图像数量的下限值image_numbers_min；其中，free_memory为所述空闲内存，K3和K4为常数。
可选的，所述装置还包括：稀疏点云数据划分模块，用于获取与所述目标场景匹配的稀疏点云数据，并将所述稀疏点云数据中的各点云数据点划分至匹配的分群图像集合中；第一稠密点云数据生成模块330具体用于：根据当前计算的分群图像集合中包括的各个采集图像，以及各所述点云数据点，计算与所述当前计算的分群图像集合对应的局部稠密点云数据。
可选的，所述装置还包括：第二稠密点云数据生成模块，用于如果所述预计消耗内存小于或等于所述计算设备的空闲内存，则直接计算所述目标场景中的稠密点云数据。
上述稠密点云数据的生成装置可执行本发明任意实施例所提供的稠密点云数据的生成方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的稠密点云数据的生成方法。
由于上述所介绍的稠密点云数据的生成装置为可以执行本发明实施例中的稠密点云数据的生成方法的装置，故而基于本发明实施例中所介绍的稠密点云数据的生成方法，本领域所属技术人员能够了解本实施例的稠密点云数据的生成装置的具体实施方式以及其各种变化形式，所以在此对于该稠密点云数据的生成装置如何实现本发明实施例中的稠密点云数据的生成方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中稠密点云数据的生成方法所采用的装置，都属于本申请所欲保护的范围。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arraysof Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的稠密点云数据的生成方法。
也即，所述处理单元执行所述程序时实现：获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
实施例五
本发明实施例五还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的稠密点云数据的生成方法：获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种稠密点云数据的生成方法，其特征在于，包括：
获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；
如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；
使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
2.根据权利要求1所述的方法，其特征在于，根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，包括：
根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
3.根据权利要求2所述的方法，其特征在于，根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存，包括：
根据公式：
计算所述预计消耗内存pre_memory_cost；
其中，N为所述采集图像总量，image_size为所述单张图像尺寸，M为所述采集图像降采样倍数，S为所述深度值计算间隔，K1和K2为常数。
4.根据权利要求1所述的方法，其特征在于，对各所述采集图像进行分群处理，得到多个分群图像集合，包括：
根据所述预计消耗内存以及采集图像总量，计算单张图片内存消耗；
根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围；
根据与各所述采集图像分别对应的图像姿态，对各所述采集图像进行聚类处理，获取符合所述分群图像集合图像数量阈值范围的多个分群图像集合。
5.根据权利要求4所述的方法，其特征在于，根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围，包括：
根据公式：
计算所述单张图片内存消耗each_memory_cost；
根据公式：
计算所述分群图像集合图像数量的上限值image_numbers_max；
根据公式：image_numbers_min＝K4*image_numbers_max，计算所述分群图像集合图像数量的下限值image_numbers_min；
其中，free_memory为所述空闲内存，K3和K4为常数。
6.根据权利要求4所述的方法，其特征在于，对各所述采集图像进行分群处理，得到多个分群图像集合之后，还包括：
获取与所述目标场景匹配的稀疏点云数据，并将所述稀疏点云数据中的各点云数据点划分至匹配的分群图像集合中；
计算与分群图像集合对应的局部稠密点云数据，包括：
根据当前计算的分群图像集合中包括的各个采集图像，以及各所述点云数据点，计算与所述当前计算的分群图像集合对应的局部稠密点云数据。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述预计消耗内存小于或等于所述计算设备的空闲内存，则直接计算所述目标场景中的稠密点云数据。
8.一种稠密点云数据的生成装置，其特征在于，包括：
预计消耗内存确定模块，用于获取与目标场景匹配的多张采集图像，并根据与采集图像匹配的图像特征参数，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存；
分群图像集合获取模块，用于如果所述预计消耗内存大于所述计算设备的空闲内存，则对各所述采集图像进行分群处理，得到多个分群图像集合；
第一稠密点云数据生成模块，用于使用所述空闲内存，分别计算与各分群图像集合对应的局部稠密点云数据，并将各所述局部稠密点云数据组合得到所述目标场景中的稠密点云数据。
9.根据权利要求8所述的装置，其特征在于，所述预计消耗内存确定模块包括预计消耗内存确定单元，用于根据采集图像的单张图像尺寸、采集图像总量、采集图像的降采样倍数以及深度值计算间隔，确定计算设备合成目标场景中的稠密点云数据所需的预计消耗内存。
10.根据权利要求9所述的装置，其特征在于，所述预计消耗内存确定单元具体用于：
根据公式：
计算所述预计消耗内存pre_memory_cost；
其中，N为所述采集图像总量，image_size为所述单张图像尺寸，M为所述采集图像降采样倍数，S为所述深度值计算间隔，K1和K2为常数。
11.根据权利要求8所述的装置，其特征在于，所述分群图像集合获取模块包括：
单张图片内存消耗计算单元，用于根据所述预计消耗内存以及采集图像总量，计算单张图片内存消耗；
图像数量阈值范围计算单元，用于根据所述单张图片内存消耗，计算所述分群图像集合图像数量阈值范围；
分群图像集合获取单元，用于根据与各所述采集图像分别对应的图像姿态，对各所述采集图像进行聚类处理，获取符合所述分群图像集合图像数量阈值范围的多个分群图像集合。
12.根据权利要求11所述的装置，其特征在于，所述图像数量阈值范围计算单元具体用于：
根据公式：
计算所述单张图片内存消耗each_memory_cost；
根据公式：
计算所述分群图像集合图像数量的上限值image_numbers_max；
根据公式：image_numbers_min＝K4*image_numbers_max，计算所述分群图像集合图像数量的下限值image_numbers_min；
其中，free_memory为所述空闲内存，K3和K4为常数。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
稀疏点云数据划分模块，用于获取与所述目标场景匹配的稀疏点云数据，并将所述稀疏点云数据中的各点云数据点划分至匹配的分群图像集合中；
所述第一稠密点云数据生成模块具体用于：根据当前计算的分群图像集合中包括的各个采集图像，以及各所述点云数据点，计算与所述当前计算的分群图像集合对应的局部稠密点云数据。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二稠密点云数据生成模块，用于如果所述预计消耗内存小于或等于所述计算设备的空闲内存，则直接计算所述目标场景中的稠密点云数据。
15.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的稠密点云数据的生成方法。
16.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的稠密点云数据的生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190844.2A CN113496138A (zh) | 2020-03-18 | 2020-03-18 | 稠密点云数据的生成方法、装置、计算机设备及存储介质 |
| PCT/CN2021/081588 WO2021185322A1 (zh) | 2020-03-18 | 2021-03-18 | 图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190844.2A CN113496138A (zh) | 2020-03-18 | 2020-03-18 | 稠密点云数据的生成方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496138A true CN113496138A (zh) | 2021-10-12 |
Family
ID=77992946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010190844.2A Pending CN113496138A (zh) | 2020-03-18 | 2020-03-18 | 稠密点云数据的生成方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496138A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359474A (zh) * | 2021-12-03 | 2022-04-15 | 广州极飞科技股份有限公司 | 三维重建方法和装置、计算机设备、存储介质 |
| CN116310227A (zh) * | 2023-05-18 | 2023-06-23 | 海纳云物联科技有限公司 | 三维稠密重建方法、装置、电子设备及介质 |
| CN118042263A (zh) * | 2024-01-10 | 2024-05-14 | 荣耀终端有限公司 | 一种图像采集方法、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346608A (zh) * | 2013-07-26 | 2015-02-11 | 株式会社理光 | 稀疏深度图稠密化方法和装置 |
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| CN106600675A (zh) * | 2016-12-07 | 2017-04-26 | 西安蒜泥电子科技有限责任公司 | 一种基于深度图约束的点云合成方法 |
| CN109685842A (zh) * | 2018-12-14 | 2019-04-26 | 电子科技大学 | 一种基于多尺度网络的稀疏深度稠密化方法 |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110379022A (zh) * | 2019-07-22 | 2019-10-25 | 西安因诺航空科技有限公司 | 一种航拍地形三维重建系统中的点云及网格分块方法 |
| US20190370989A1 (en) * | 2017-02-17 | 2019-12-05 | SZ DJI Technology Co., Ltd. | Method and apparatus for 3-dimensional point cloud reconstruction |
-
2020
- 2020-03-18 CN CN202010190844.2A patent/CN113496138A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346608A (zh) * | 2013-07-26 | 2015-02-11 | 株式会社理光 | 稀疏深度图稠密化方法和装置 |
| CN105184863A (zh) * | 2015-07-23 | 2015-12-23 | 同济大学 | 一种基于无人机航拍序列影像的边坡三维重建方法 |
| CN106600675A (zh) * | 2016-12-07 | 2017-04-26 | 西安蒜泥电子科技有限责任公司 | 一种基于深度图约束的点云合成方法 |
| US20190370989A1 (en) * | 2017-02-17 | 2019-12-05 | SZ DJI Technology Co., Ltd. | Method and apparatus for 3-dimensional point cloud reconstruction |
| CN109685842A (zh) * | 2018-12-14 | 2019-04-26 | 电子科技大学 | 一种基于多尺度网络的稀疏深度稠密化方法 |
| CN109949399A (zh) * | 2019-03-15 | 2019-06-28 | 西安因诺航空科技有限公司 | 一种基于无人机航拍图像的场景三维重建方法 |
| CN110379022A (zh) * | 2019-07-22 | 2019-10-25 | 西安因诺航空科技有限公司 | 一种航拍地形三维重建系统中的点云及网格分块方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. RHEE ET AL.: "DENSE 3D POINT CLOUD GENERATION FROM UAV IMAGES FROM IMAGE MATCHING AND GLOBAL OPTIMAZATION", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY，REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》, vol. 1, 31 December 2016 (2016-12-31), pages 1005 - 1009 * |
| 刘彬 等: "分块立体重建的PMVS算法研究与实现", 《测绘科学技术学报》, vol. 31, no. 6, 15 December 2014 (2014-12-15), pages 1 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359474A (zh) * | 2021-12-03 | 2022-04-15 | 广州极飞科技股份有限公司 | 三维重建方法和装置、计算机设备、存储介质 |
| CN116310227A (zh) * | 2023-05-18 | 2023-06-23 | 海纳云物联科技有限公司 | 三维稠密重建方法、装置、电子设备及介质 |
| CN116310227B (zh) * | 2023-05-18 | 2023-09-12 | 海纳云物联科技有限公司 | 三维稠密重建方法、装置、电子设备及介质 |
| CN118042263A (zh) * | 2024-01-10 | 2024-05-14 | 荣耀终端有限公司 | 一种图像采集方法、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3621034B1 (en) | Method and apparatus for calibrating relative parameters of collector, and storage medium | |
| WO2019170164A1 (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN113496138A (zh) | 稠密点云数据的生成方法、装置、计算机设备及存储介质 | |
| CN112668588B (zh) | 车位信息生成方法、装置、设备和计算机可读介质 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN110399847B (zh) | 关键帧提取方法、装置及电子设备 | |
| CN110222726A (zh) | 图像处理方法、装置及电子设备 | |
| CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
| US20150248767A1 (en) | Method of sampling colors of images of a video sequence, and application to color clustering | |
| CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
| CN115861891B (zh) | 视频目标检测方法、装置、设备及介质 | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| Hu et al. | 3D map reconstruction using a monocular camera for smart cities | |
| CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
| CN115393423A (zh) | 目标检测方法和装置 | |
| CN111652831B (zh) | 对象融合方法、装置、计算机可读存储介质及电子设备 | |
| CN111870954B (zh) | 一种高度图生成方法、装置、设备及存储介质 | |
| CN115205111A (zh) | 一种图像拼接方法、装置、终端设备和存储介质 | |
| CN112308809B (zh) | 一种图像合成方法、装置、计算机设备及存储介质 | |
| CN111062479B (zh) | 基于神经网络的模型快速升级方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |