CN113763240A - 一种点云缩略图生成方法、装置、设备及存储介质 - Google Patents
一种点云缩略图生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113763240A CN113763240A CN202010641143.6A CN202010641143A CN113763240A CN 113763240 A CN113763240 A CN 113763240A CN 202010641143 A CN202010641143 A CN 202010641143A CN 113763240 A CN113763240 A CN 113763240A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- grid
- energy
- cloud data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 78
- 230000002441 reversible effect Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Generation (AREA)
Abstract
本发明实施例公开了一种点云缩略图生成方法、装置、设备以及存储介质。该方法包括：获取点云数据，对点云数据进行网格化，得到点云网格；根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息；根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。本发明实施例的技术方案，基于网格能量对点云网格进行面抽取，删除那些重要程度较低的点云网格且保留那些重要程度较高的点云网格，由此生成的点云缩略图的规模较小，达到了快速选取与预览的效果。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种点云缩略图生成方法、装置、设备及存储介质。
背景技术
随着机器人、自动驾驶、三维打印、虚拟仿真等等技术的推进，对点云数据进行智能处理的应用场景越来越广泛。
然而，点云数据的规模过大，对其进行交互选取、预先浏览等等操作较为耗时耗力，由此，点云缩略图应运而生，其是点云数据的一种缩略表示方式。在点云智能处理领域，可以基于压缩技术对点云数据进行压缩处理，并基于压缩处理后的点云数据生成点云缩略图。
在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：压缩技术虽然能降低点云数据的规模，但其对大规模点云数据的压缩量较为有限，由此生成的点云缩略图的规模仍然较大。
发明内容
本发明实施例提供了一种点云缩略图生成方法、装置、设备及存储介质，以生成规模较小的点云缩略图。
第一方面，本发明实施例提供了一种点云缩略图生成方法，可以包括：
获取点云数据，对点云数据进行网格化，得到点云网格；
根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息；
根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
第二方面，本发明实施例还提供了一种点云缩略图生成装置，可以包括：
网格化模块，用于获取点云数据，对点云数据进行网格化，得到点云网格；
网格能量确定模块，用于根据点云网格的目标语义因素，确定点云网格的网格能量，目标语义因素包括网格场景信息和/或网格梯度信息；
点云缩略图生成模块，用于根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
第三方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的点云缩略图生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的点云缩略图生成方法。
本发明实施例的技术方案，通过对点云数据进行网格化得到点云网格，提高了点云数据的压缩效率；根据点云网格的目标语义因素确定点云网格的网格能量，该网格能量是根据点云网格的语义内容计算出的可以体现出其重要程度的数值；在语义内容的引导下对点云网格进行面抽取，删除那些重要程度较低的点云网格且保留那些重要程度较高的点云网格，由此生成的点云缩略图的规模较小且可以实现交互选取、预先浏览等功能。上述技术方案，在基于语义内容对点云网格进行面抽取之后，可以生成规模较小的点云缩略图，达到了快速选取与预览的效果。
附图说明
图1是本发明实施例一中的一种点云缩略图生成方法的流程图；
图2是本发明实施例一中的一种点云缩略图生成方法中点云网格的示意图；
图3是本发明实施例二中的一种点云缩略图生成方法的流程图；
图4是本发明实施例三中的一种点云缩略图生成方法的流程图；
图5是本发明实施例三中的一种点云缩略图生成方法中线抽取的示意图；
图6是本发明实施例四中的一种点云缩略图生成装置的结构框图；
图7是本发明实施例五中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种点云缩略图生成方法的流程图。本实施例可适用于生成点云缩略图的情况，尤其适用于在语义内容引导下生成点云缩略图的情况。该方法可以由本发明实施例提供的点云缩略图生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种用户终端或服务器上。参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取点云数据，对点云数据进行网格化，得到点云网格。
其中，基于激光雷达扫描设备、虚构场景抽稀设备、多视图重建设备等等采集得到点云数据，由于点云数据是三维空间中一组稀疏的场景点，为了提高点云数据的压缩效率，可以对其进行网格化，得到点云网格。具体的，对点云数据进行网格化的过程可以是在点云数据所在的三维空间中的三个采样方向上进行采样的过程，由此得到的各点云网格可以是空间大小相同的均匀网格，也可以是有些空间大小相同且有些空间不同的非均匀网格，在此未做具体限定。示例性的，点云数据的网格化结果如图2所示，其是由多个点云网格构成的非均匀的三维网格，其中的任意两个点云网格的空间大小可能相同也可能不同。比如，针对点云数据比较密集的中心区域，点云网格也较为密集，这意味着每个点云网格的空间相对较小；针对点云数据比较稀疏的周围区域，点云网格也较为稀疏，这意味着每个点云网格的空间相对较大。
S120、根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息。
其中，目标语义因素是点云缩略过程中的重要线索，其可以是网格场景信息，也可以是网格梯度信息，二者均可以体现出点云网格的语义内容。由此，基于点云网格的目标语义因素计算出的该点云网格的网格能量，可以体现出该点云网格中的点云数据对用户理解全部点云数据的语义内容的重要程度。
具体的，网格场景信息可以体现出点云网格的场景语义，其可以是前景网格信息或是背景网格信息，通常情况下，前景网格信息对应的点云网格中的点云数据多是具有实质含义的前景数据，它们多是体积较小且封闭的独立物体，如室内场景中的桌椅、室外场景中的树木、车辆、行人等等；背景网格信息对应的点云网格中的点云数据多是无实质含义的背景数据，它们多是体积较大且开放的物体，如室内场景中的墙面和地面、室外场景中的道路等等。
网格梯度信息可以体现出点云网格的变化语义，或是说点云网格中各点云数据的变化程度，通常情况下，网格梯度信息越大，点云数据的变化程度越大，这意味着这些点云数据是细节数据的可能性越大。在实际应用中，网格梯度信息可以根据点云数据的点云色度信息计算得到，该点云色度信息可以是点云颜色信息、点云强度信息等等。
S130、根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
其中，根据网格能量可以得到每个点云网格的重要程度，由于各点云网格在各采样方向上可以构成多个网格平面，那么，根据网格能量可以对各采样方向上的网格平面进行迭代抽取。需要说明的是，网格平面的抽取意味着网格平面中点云网格的抽取，而点云网格的抽取意味着点云网格中点云数据的抽取，由此大幅度降低了点云数据的规模，进而降低了根据面抽取后的点云数据生成的点云缩略图的规模。而且，面抽取是在网格能量或是说语义内容引导下实现的抽取过程，这意味着在面抽取后保留下来的点云数据多是感兴趣的、重要的且不会对交互选取、预先浏览等等造成影响的数据，由此保证了在达到快速预览和交互选取效果的同时，大幅度降低了点云缩略图的规模。
在实际应用中，在根据网格能量对某采样方向上的各网格平面进行面抽取时，可以从中抽取出重要程度较高的网格平面，它们中的点云网格内的点云数据多是对快速预览、交互选取等等具有重要意义的点云数据，这一抽取过程可以执行多次，直至抽取出的点云数据的规模符合预设缩略需求，此时可以根据这些抽取出的点云数据生成点云缩略图；或是，也可以从中抽取出重要程度较低的网格平面，它们中的点云网格内的点云数据多是对快速预览、交互选取等等无意义的点云数据，这一抽取过程可以执行多次，直至抽取出的点云数据的规模符合预设缩略需求，此时可以根据全部点云数据中除这些抽取出的点云数据以外的点云数据生成点云缩略图。
本发明实施例的技术方案，通过对点云数据进行网格化得到点云网格，提高了点云数据的压缩效率；根据点云网格的目标语义因素确定点云网格的网格能量，该网格能量是根据点云网格的语义内容计算出的可以体现出其重要程度的数值；在语义内容的引导下对点云网格进行面抽取，删除那些重要程度较低的点云网格且保留那些重要程度较高的点云网格，由此生成的点云缩略图的规模较小且可以实现交互选取、预先浏览等功能。上述技术方案，在基于语义内容对点云网格进行面抽取之后，可以生成规模较小的点云缩略图，达到了快速选取与预览的效果。
一种可选的技术方案，网格场景信息可以通过如下步骤计算得到：基于预设点云场景解析策略将点云网格中的点云数据归类为前景点云数据或是背景点云数据，该预设点云场景解析策略可以是2017CVPR PointNet，该前景点云数据多是体积较小且封闭的独立物体，如室内场景中的桌椅、室外场景中的树木、车辆、行人等等，该背景点云数据多是体积较大且开放的场景，如室内场景中的墙面和地面、室外场景中的道路等等；根据点云网格中前景点云数据的数量和背景点云数据的数量，可以确定出点云网格的网格场景信息，如某点云网格中前景点云数据的数量大于背景点云数据的数量，则可以将该点云网格称为前景网格信息，否则可以将其称为背景网格信息。需要说明的是，在通过网格场景信息计算网格能量时，保证了面抽取后的点云数据的前景完整性。
一种可选的技术方案，网格梯度信息可以通过如下步骤计算得到：根据点云网格中各点云数据的点云色度信息，得到点云网格的网格色度信息，并根据网格色度信息，以及点云网格的各邻域网格的邻域色度信息，计算出点云网格的网格梯度信息。示例性的，点云网格i的网格色度信息为Ci，其可以是i中各点云数据的点云色度信息的均值或是中值；i的各邻域网格的数量可以是4个，也可以是8个，在此以8个为例，它们的邻域色度信息为Cj，j＝1,...,8，由此，网格梯度信息di可以根据Ci和Cj间的距离计算得到，该距离可以是欧式距离、马氏距离、曼哈顿距离等等，如可以通过如下公式计算得到di：di＝∑j||Cj-Ci||2/8。在此基础上，若若点云色度信息的数量是至少两个，则可以将各网格梯度信息的平方和再开根号的结果作为最终的网格梯度信息。需要说明的是，在通过网格梯度信息计算网格能量时，保证了面抽取后的点云数据的邻域平滑性，由此避免出现相邻的点云数据跳变的情况。
在上述任一技术方案的基础上，根据点云网格的目标语义因素，确定点云网格的网格能量，具体可以包括：获取点云网格i的网格场景信息li和网格梯度信息di，通过如下公式计算出i的网格能量ei：
ei＝λ1δ(li)+λ2exp(-di/βd)
其中，若li是前景网格信息，则δ(li)＝T，若li是背景网格信息，则δ(li)＝1-T，T和βd是预设数值，λ1和λ2是预设权重，λ1+λ2＝1。在实际应用中，网格能量越大，该网格能量对应的点云网格的重要程度越大，因此，T可以是小于0.5的正数，这样一来，在网格梯度信息相同时，基于前景网格信息计算出的网格能量大于基于背景网格信息计算出的网格能量，这是因为前景网格信息对应的点云网格中的点云数据更为重要。另外，有些点云网格内没有点云数据，它们的网格能量可以设置为一个固定数值，如0.001。需要说明的是，通过网格场景信息和网格梯度信息共同计算网格能量，后续在根据网格能量对点云数据进行面抽取后，可以保证面抽取后的点云数据的前景完整性和邻域平滑性。
实施例二
图3是本发明实施例二中提供的一种点云缩略图生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，对点云数据进行网格化，得到点云网格，具体可以包括：根据点云数据确定采样方向，并基于采样方向和预设采样粒度对点云数据所在的三维空间进行采样，得到点云网格；基于预设划分因素对各点云网格在采样方向上构成的网格平面进行划分，并根据划分结果更新各点云网格。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、获取点云数据，根据点云数据确定采样方向，并基于采样方向和预设采样粒度对点云数据所在的三维空间进行采样，得到点云网格。
其中，采样方向可以是三个正交方向，预设采样粒度可以是预先设置的固定数值，如0.5厘米，由此，基于采样方向和预设采样粒度可以对点云数据所在的三维空间进行均匀采样，得到均匀划分后的点云网格；预设采样粒度也可以是一个变化数值，如以0.1厘米为变化间隔，在0.1厘米-1厘米循环变化，由此，基于采样方向和预设采样粒度可以对点云数据所在的三维空间进行非均匀采样，得到非均匀划分后的点云网格。
在此基础上，可选的，考虑到三维空间为X/Y/Z坐标组成的空间，则采样方向可以包括X/Y/Z方向。再可选的，考虑到点云数据的采集过程具有随机性，采集得到的点云数据可能横平竖直，也可能具有某一倾斜度如在水平方向倾斜45°，由此，若基于X/Y/Z方向对点云数据进行网格化得到点云网格后，后续在对点云网格进行面抽取时，可能会出现某些点云数据上下不协调的情况。例如，基于倾斜45°方向采集得到一棵树木的点云数据，此时，若基于水平方向对其进行采样，可以得到椭圆形的树木，而基于于倾斜45°方向对其进行采样，可以得到圆形的树木，显然后者更加符合树木的原本形状。为解决这一问题，一种可选方案是基于主成分分析(Principal Component Analysis，PCA)策略在原始的三维空间中找出一组正交方向，由此得到三个采样方向。其中，第一采样方向可以是原始的点云数据中方差最大的方向，第二采样方向可以是在第一采样方向的正交平面上方差最大的方向，第三采样方向可以是与第一采样方向和第二采样方向组成的平面相垂直的方向。
S220、基于预设划分因素对各点云网格在采样方向上构成的网格平面进行划分，并根据划分结果更新各点云网格，其中，预设划分因素包括网格平面内点云网格中的点云数据的数量。
其中，网格平面是与采样方向相垂直的平面，其由多个点云网格构成。为了保证每个点云网格中点云数据的数量的均匀性，可以根据网格平面内各点云网格中的点云数据的数量，确定该网格平面是否需要进一步划分，以便在点云数据比较密集的区域设置更多的点云网格。特别地，相对于直接基于较小的预设采样粒度对点云数据进行网格化的技术方案，这即可以通过控制点云网格的数量节省存储空间，又可以避免出现那些只包含极少的点云数据的点云网格，这样的点云网格的网格能量难以反映出点云数据的平均性。
在此基础上，基于预设划分因素对各点云网格在采样方向上构成的网格平面进行划分的一种可选方案是：获取各点云网格在采样方向上构成的网格平面，且根据预设划分因素将点云网格归类为高密度网格或是低密度网格，其中，高密度网格可以是其中的点云数据的数量大于某一预设阈值的点云网格，低密度网格可以是其中的点云数据的数量小于某一预设阈值的点云网格；根据网格平面中的高密度网格的数量和低密度网格的数量，可以判断出该网格平面是否需要进一步划分，如在高密度网格的数量大于低密度网格的数量时，再如在高密度网格的数量和该网格平面中全部点云网格的数量的比值大于某一预设阈值时，该网格平面需要进一步划分；若是，这说明该网格平面中大部分的点云网格中的点云数据过多，可以对其再次进行划分。
在实际应用中，上述技术方案可以沿着三个采样方向依次执行，且在每个采样方向上可以重复执行，如在将某网格平面一分为二后，可以判断下一层的网格平面是否需要划分，也可以判断划分后的网格平面是否需要继续划分等等。示例性的，以第一采样方向是X方向、第二采样方向是Y方向、第三采样方向是Z方向、且预设采样粒度是0.5厘米为例，在将X方向上的X＝1.5厘米->2.0厘米间的网格平面一分为二之后，可以判断X＝2.0厘米->2.5厘米间的网格平面是否需要划分，也可以判断X＝1.5厘米->1.75厘米的网格平面和/或X＝1.75厘米->2.0厘米的网格平面是否需要继续划分。循环往复，直至划分后的网格平面的采样粒度小于某一预设阈值和/或未存在需要划分的网格平面。
S230、根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息。
S240、根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
本发明实施例的技术方案，在基于采样方向和预设采样粒度对点云数据所在的三维空间进行采样之后，可以通过每个点云网格中点云数据的数量对采样结果再次进行划分，由此保证了每个点云网格中点云数据的数量的均匀性，实现了点云数据的细节内容的有效保留的效果。
实施例三
图4是本发明实施例三中提供的一种点云缩略图生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图，具体可包括：获取点云网格的采样方向，从各点云网格在采样方向上构成的各网格平面中筛选出能量面；根据网格能量，基于预设动态规划策略从各能量面中抽取掉最小能量面，根据抽取结果更新各点云网格；根据各点云网格中的点云数据生成点云缩略图。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体可以包括如下步骤：
S310、获取点云数据，对点云数据进行网格化，得到点云网格。
S320、根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息。
S330、获取点云网格的采样方向，从各点云网格在采样方向上构成的各网格平面中筛选出能量面。
其中，网格平面是与采样方向相垂直的平面，而能量面是满足一定条件的网格平面。示例性的，以第一采样方向是X方向、第二采样方向是Y方向且第三采样方向是Z方向为例，Z方向上的能量面需要满足如下条件：Sz＝{(i,j,z(i,j))|i＝1,...,n&j＝1,...,m}且|z(i-1,j)-z(i,j)|≤1且|z(i,j-1)-z(i,j)|≤1，i和j是已知坐标，z(i,j)是与i和j有关的待求解坐标，第i-1行第j列的z(i-1,j)和第i行第j列的z(i,j)间的差值绝对值小于等于1，且第i行第j-1列的z(i,j-1)和第i行第j列的z(i,j)间的差值绝对值小于等于1。X方向的能量面和Y方向上的能量面需要满足的条件类似，在此不再赘述。
S340、根据网格能量，基于预设动态规划策略从各能量面中抽取掉最小能量面，根据抽取结果更新各点云网格，根据各点云网格中的点云数据生成点云缩略图。
其中，根据网格能量可以计算出每个能量面的能量和，该能量和可以是能量面中各点云网格的网格能量的和，由此，可以基于预设动态规划策略从各能量面中筛选出最小能量面，该最小能量面可以是各能量面中能量和最小的能量面。在实际应用中，可选的，当从各能量面中抽取掉一个最小能量面后，可以从剩余的各能量面中再抽取掉一个最小能量面，循环往复，直至剩余的点云网格的规模满足预设缩略需求。再可选的，针对多个采样方向上的能量面，可以多个采样方向依次抽取最小能量面，也可以一个采样方向抽取完毕后再抽取另一个采样方向上的最小能量面。示例性的，以Z方向上的最小能量面为例，其是满足如下条件的能量面：
其中，e(i,j,z(i,j))是坐标为(i,j,z(i,j))的点云网格的网格能量。X方向的最小能量面和Y方向上的最小能量面需要满足的条件类似，在此不再赘述。
在此基础上，可选的，以采样方向是Z方向为例，针对Z方向上的各能量面，根据网格能量，基于预设动态规划策略从各能量面中抽取掉最小能量面，具体可以包括：通过如下公式计算出坐标为(i,j,k)的点云网格的最小能量和M(i,j,k)：
其中，e(i,j,k)是坐标为(i,j,k)的点云网格的网格能量；根据Z方向上的各能量面中各点云网格的M(i,j,k)，通过如下公式确定出目标坐标(n,m,k*)，其是能量和最小的坐标：(n,m,k*)|k*＝argminkM(n,m,k)，i＝1,...,n&j＝1,...,m，即从Z方向的最边上的一个能量面中求解出k*；基于(n,m,k*)进行逆序倒推，并根据逆序倒推结果从Z方向上的各能量面中筛选出最小能量面，从各能量面中抽取掉该最小能量面。类似的，X方向的最小能量面和Y方向上的最小能量面的搜索过程类似，在此不再赘述。
示例性的，为了更好地理解上述三维面抽取过程，以二维线抽取为例，对其进行示例性说明。二维线抽取是从能量图(如图5右上的示意图)中沿着水平方向或者垂直方向搜索一条最小能量线，该能量图相当于各网格能量构成的图像，搜索结果如图5左侧的示意图中的两条线，其中，水平方向的最小能量和如图5右中的示意图，垂直方向的最小能量和如图5右下的示意图。
本发明实施例的技术方案，通过从各点云网格在采样方向上构成的各网格平面中筛选出能量面，并根据网格能量，基于预设动态规划策略从各能量面中抽取掉最小能量面，由此实现了降低点云数据的规模的效果，且保留下来的点云数据多是重要的不会对选取预览效果产生影响的数据。
实施例四
图6为本发明实施例四提供的点云缩略图生成装置的结构框图，该装置用于执行上述任意实施例所提供的点云缩略图生成方法。该装置与上述各实施例的点云缩略图生成方法属于同一个发明构思，在点云缩略图生成装置的实施例中未详尽描述的细节内容，可以参考上述点云缩略图生成方法的实施例。参见图6，该装置具体可包括：网格化模块410、网格能量确定模块420和点云缩略图生成模块430。
其中，网格化模块410，用于获取点云数据，对点云数据进行网格化，得到点云网格；
网格能量确定模块420，用于根据点云网格的目标语义因素，确定点云网格的网格能量，目标语义因素包括网格场景信息和/或网格梯度信息；
点云缩略图生成模块430，用于根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
可选的，网格化模块410，具体可以包括：
均匀网格化单元，用于根据点云数据确定采样方向，并基于采样方向和预设采样粒度对点云数据所在的三维空间进行采样，得到点云网格；
非均匀网格化单元，用于基于预设划分因素对各点云网格在采样方向上构成的网格平面进行划分，并根据划分结果更新各点云网格，其中，预设划分因素包括网格平面内点云网格中的点云数据的数量。
可选的，非均匀网格化单元，具体可以包括：
点云网格归类子单元，用于获取各点云网格在采样方向上构成的网格平面，且根据预设划分因素将点云网格归类为高密度网格或是低密度网格；
网格平面判断子单元，用于根据网格平面中的高密度网格的数量和低密度网格的数量，判断网格平面是否需要进行划分；
网格平面划分子单元，用于若是，则对网格平面进行划分。
可选的，在上述装置的基础上，该装置还可包括：
网格场景信息计算模块，用于基于预设点云场景解析策略将点云网格中的点云数据归类为前景点云数据或是背景点云数据；根据点云网格中前景点云数据的数量和背景点云数据的数量，确定点云网格的网格场景信息，其中，网格场景信息包括前景网格信息或是背景网格信息；和/或，
网格梯度信息计算模块，用于根据点云网格中各点云数据的点云色度信息，得到点云网格的网格色度信息，并根据网格色度信息，以及点云网格的各邻域网格的邻域色度信息，计算出点云网格的网格梯度信息。
可选的，网格能量确定模块420，具体可以用于：
获取点云网格i的网格场景信息li和网格梯度信息di，通过如下公式计算出i的网格能量ei：
ei＝λ1δ(li)+λ2exp(-di/βd)
其中，若li是前景网格信息，则δ(li)＝T，若li是背景网格信息，则δ(li)＝1-T，T和βd是预设数值，λ1和λ2是预设权重，λ1+λ2＝1。
可选的，点云缩略图生成模块430，具体可以包括：
能量面筛选单元，用于获取点云网格的采样方向，从各点云网格在采样方向上构成的各网格平面中筛选出能量面；
最小能量面抽取单元，用于根据网格能量，基于预设动态规划策略从各能量面中抽取掉最小能量面，根据抽取结果更新各点云网格；
点云缩略图生成单元，用于根据各点云网格中的点云数据生成点云缩略图。
可选的，采样方向包括Z方向，针对Z方向上的各能量面，最小能量面抽取单元，具体可以用：
采样方向包括Z方向，针对Z方向上的各能量面，通过如下公式计算出坐标为(i,j,k)的点云网格的最小能量和M(i,j,k)：
其中，e(i,j,k)是坐标为(i,j,k)的点云网格的网格能量；
根据Z方向上的各能量面中各点云网格的M(i,j,k)，通过如下公式确定出目标坐标(n,m,k*)，其中，(n,m,k*)是能量和最小的坐标：
(n,m,k*)|k*＝argminkM(n,m,k)
其中，i＝1,...,n&j＝1,...,m；
基于目标坐标进行逆序倒推，并根据逆序倒推结果从Z方向上的各能量面中抽取掉最小能量面，根据抽取结果更新各点云网格。
本发明实施例四提供的点云缩略图生成装置，通过网格化模块对点云数据进行网格化得到点云网格，提高了点云数据的压缩效率；网格能量确定模块根据点云网格的目标语义因素确定点云网格的网格能量，该网格能量是根据点云网格的语义内容计算出的可以体现出其重要程度的数值；点云缩略图生成模块在语义内容的引导下对点云网格进行面抽取，删除那些重要程度较低的点云网格且保留那些重要程度较高的点云网格，由此生成的点云缩略图的规模较小且可以实现交互选取、预先浏览等功能。上述装置，在基于语义内容对点云网格进行面抽取之后，生成规模较小的点云缩略图，达到了快速选取与预览的效果。
本发明实施例所提供的点云缩略图生成装置可执行本发明任意实施例所提供的点云缩略图生成方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述点云缩略图生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图7为本发明实施例五提供的一种设备的结构示意图，如图7所示，该设备包括存储器510、处理器520、输入装置530和输出装置540。设备中的处理器520的数量可以是一个或多个，图7中以一个处理器520为例；设备中的存储器510、处理器520、输入装置530和输出装置540可以通过总线或其它方式连接，图7中以通过总线550连接为例。
存储器510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的点云缩略图生成方法对应的程序指令/模块(例如，点云缩略图生成装置中的网格化模块410、网格能量确定模块420和点云缩略图生成模块430)。处理器520通过运行存储在存储器510中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的点云缩略图生成方法。
存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网格连接至设备。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种点云缩略图生成方法，包括：
获取点云数据，对点云数据进行网格化，得到点云网格；
根据点云网格的目标语义因素，确定点云网格的网格能量，其中，目标语义因素包括网格场景信息和/或网格梯度信息；
根据网格能量对点云网格进行面抽取，并根据面抽取后的点云网格中的点云数据生成点云缩略图。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的点云缩略图生成方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种点云缩略图生成方法，其特征在于，包括：
获取点云数据，对所述点云数据进行网格化，得到点云网格；
根据所述点云网格的目标语义因素，确定所述点云网格的网格能量，其中，所述目标语义因素包括网格场景信息和/或网格梯度信息；
根据所述网格能量对所述点云网格进行面抽取，并根据面抽取后的所述点云网格中的所述点云数据生成点云缩略图。
2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据进行网格化，得到点云网格，包括：
根据所述点云数据确定采样方向，并基于所述采样方向和预设采样粒度对所述点云数据所在的三维空间进行采样，得到点云网格；
基于预设划分因素对各所述点云网格在所述采样方向上构成的网格平面进行划分，并根据划分结果更新各所述点云网格，其中，所述预设划分因素包括所述网格平面内所述点云网格中的所述点云数据的数量。
3.根据权利要求2所述的方法，其特征在于，所述基于预设划分因素对各所述点云网格在所述采样方向上构成的网格平面进行划分，包括：
获取各所述点云网格在所述采样方向上构成的网格平面，且根据预设划分因素将所述点云网格归类为高密度网格或是低密度网格；
根据所述网格平面中的所述高密度网格的数量和所述低密度网格的数量，判断所述网格平面是否需要进行划分；
若是，则对所述网格平面进行划分。
4.根据权利要求1所述的方法，其特征在于，所述网格场景信息通过如下步骤计算得到：
基于预设点云场景解析策略将所述点云网格中的所述点云数据归类为前景点云数据或是背景点云数据；
根据所述点云网格中所述前景点云数据的数量和所述背景点云数据的数量，确定所述点云网格的所述网格场景信息，其中，所述网格场景信息包括前景网格信息或是背景网格信息；和/或，
所述网格梯度信息通过如下步骤计算得到：
根据所述点云网格中各所述点云数据的点云色度信息，得到所述点云网格的网格色度信息，并根据所述网格色度信息，以及所述点云网格的各邻域网格的邻域色度信息，计算出所述点云网格的所述网格梯度信息。
5.根据权利要求1或4所述的方法，其特征在于，所述根据所述点云网格的目标语义因素，确定所述点云网格的网格能量，包括：
获取所述点云网格i的所述网格场景信息li和所述网格梯度信息di，通过如下公式计算出i的网格能量ei：
ei＝λ1δ(li)+λ2exp(-di/βd)
其中，若li是前景网格信息，则δ(li)＝T，若li是背景网格信息，则δ(li)＝1-T，T和βd是预设数值，λ1和λ2是预设权重，λ1+λ2＝1。
6.根据权利要求1所述的方法，其特征在于，所述根据所述网格能量对所述点云网格进行面抽取，并根据面抽取后的所述点云网格中的所述点云数据生成点云缩略图，包括：
获取所述点云网格的采样方向，从各所述点云网格在所述采样方向上构成的各网格平面中筛选出能量面；
根据所述网格能量，基于预设动态规划策略从各所述能量面中抽取掉最小能量面，根据抽取结果更新各所述点云网格；
根据各所述点云网格中的所述点云数据生成点云缩略图。
7.根据权利要求6所述的方法，其特征在于，所述采样方向包括Z方向，针对所述Z方向上的各所述能量面，所述根据所述网格能量，基于预设动态规划策略从各所述能量面中抽取掉最小能量面，包括：
通过如下公式计算出坐标为(i,j,k)的所述点云网格的最小能量和M(i,j,k)：
其中，e(i,j,k)是所述坐标为(i,j,k)的所述点云网格的所述网格能量；
根据所述Z方向上的各所述能量面中各所述点云网格的M(i,j,k)，通过如下公式确定出目标坐标(n,m,k*)，其中，(n,m,k*)是能量和最小的坐标：
(n,m,k*)|k*＝argminkM(n,m,k)
其中，i＝1,...,n&j＝1,...,m；
基于所述目标坐标进行逆序倒推，并根据逆序倒推结果从所述Z方向上的各所述能量面中抽取掉最小能量面。
8.一种点云缩略图生成装置，其特征在于，包括：
网格化模块，用于获取点云数据，对点云数据进行网格化，得到点云网格；
网格能量确定模块，用于根据所述点云网格的目标语义因素，确定所述点云网格的网格能量，所述目标语义因素包括网格场景信息和/或网格梯度信息；
点云缩略图生成模块，用于根据所述网格能量对所述点云网格进行面抽取，并根据面抽取后的所述点云网格中的所述点云数据生成点云缩略图。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的点云缩略图生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的点云缩略图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641143.6A CN113763240B (zh) | 2020-07-06 | 2020-07-06 | 一种点云缩略图生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010641143.6A CN113763240B (zh) | 2020-07-06 | 2020-07-06 | 一种点云缩略图生成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763240A true CN113763240A (zh) | 2021-12-07 |
| CN113763240B CN113763240B (zh) | 2024-02-13 |
Family
ID=78785501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010641143.6A Active CN113763240B (zh) | 2020-07-06 | 2020-07-06 | 一种点云缩略图生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763240B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037727A (zh) * | 2024-04-12 | 2024-05-14 | 大连千玺网络科技有限公司 | 一种道路路面施工成效检测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110187716A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | User interfaces for interacting with top-down maps of reconstructed 3-d scenes |
| US20110202510A1 (en) * | 2010-02-17 | 2011-08-18 | Lockheed Martin Corporation | Supporting multiple different applications having different data needs using a voxel database |
| CN102254352A (zh) * | 2011-07-08 | 2011-11-23 | 浙江大学 | 一种基于模型分片和拼接的四边形网格生成方法 |
| WO2016200114A1 (ko) * | 2015-06-08 | 2016-12-15 | 삼성전자 주식회사 | 전자 장치 및 전자 장치에서의 전자 지도 표시 방법 |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
| CN110298873A (zh) * | 2019-07-05 | 2019-10-01 | 青岛中科智保科技有限公司 | 三维地图的构建方法、构建装置、机器人及可读存储介质 |
-
2020
- 2020-07-06 CN CN202010641143.6A patent/CN113763240B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110187716A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | User interfaces for interacting with top-down maps of reconstructed 3-d scenes |
| US20110202510A1 (en) * | 2010-02-17 | 2011-08-18 | Lockheed Martin Corporation | Supporting multiple different applications having different data needs using a voxel database |
| CN102254352A (zh) * | 2011-07-08 | 2011-11-23 | 浙江大学 | 一种基于模型分片和拼接的四边形网格生成方法 |
| WO2016200114A1 (ko) * | 2015-06-08 | 2016-12-15 | 삼성전자 주식회사 | 전자 장치 및 전자 장치에서의 전자 지도 표시 방법 |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
| CN110298873A (zh) * | 2019-07-05 | 2019-10-01 | 青岛中科智保科技有限公司 | 三维地图的构建方法、构建装置、机器人及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037727A (zh) * | 2024-04-12 | 2024-05-14 | 大连千玺网络科技有限公司 | 一种道路路面施工成效检测系统 |
| CN118037727B (zh) * | 2024-04-12 | 2024-06-18 | 大连千玺网络科技有限公司 | 一种道路路面施工成效检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763240B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7125512B2 (ja) | オブジェクトのロード方法及び装置、記憶媒体、電子装置、並びにコンピュータプログラム | |
| US10585948B2 (en) | Method and device for constructing spatial index of massive point cloud data | |
| CN111931097B (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
| Nouanesengsy et al. | Adr visualization: A generalized framework for ranking large-scale scientific data using analysis-driven refinement | |
| CN112669463B (zh) | 三维点云的曲面重建方法、计算机设备和计算机可读存储介质 | |
| CN111127615A (zh) | 一种三维模型的数据调度方法、装置及电子设备 | |
| US7990380B2 (en) | Diffuse photon map decomposition for parallelization of global illumination algorithm | |
| CN111291768A (zh) | 图像特征匹配方法及装置、设备、存储介质 | |
| CN112528811A (zh) | 行为识别方法和装置 | |
| JP2019091436A (ja) | ３ｄ配置のタイプに応じた２ｄ画像の分類 | |
| CN116681857A (zh) | 一种空间碰撞检测方法、装置及电子设备 | |
| CN108986210B (zh) | 三维场景重建的方法和设备 | |
| CN110457499A (zh) | 一种对大型点云数据的索引方法、装置、终端设备和介质 | |
| CN112734900B (zh) | 阴影贴图的烘焙方法、装置、设备及计算机可读存储介质 | |
| CN113763240A (zh) | 一种点云缩略图生成方法、装置、设备及存储介质 | |
| Zhang et al. | Automatic deep inference of procedural cities from global-scale spatial data | |
| CN113256793A (zh) | 一种三维数据处理方法及系统 | |
| CN111583268B (zh) | 点云虚拟选择与裁切方法、装置及设备 | |
| CN116758243A (zh) | 基于实时点云流的场景网格划分生成及渲染显示方法 | |
| CN116310060A (zh) | 一种渲染数据的方法、装置、设备及存储介质 | |
| JP6634769B2 (ja) | ボクセル処理方法、ボクセル処理プログラム及び情報処理装置 | |
| KR20080044221A (ko) | 컴퓨터를 이용한 3차원 이미지의 형상화 처리방법 | |
| CN110111416B (zh) | 基于HoloLens眼镜的矿井内部模型采集建立方法 | |
| CN111898654A (zh) | 三维对象特征获取方法、装置、计算机设备和存储介质 | |
| EP2926244B1 (en) | Method and apparatus for creating 3d model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |