CN115905135B - 多帧3d文件处理方法及装置 - Google Patents

Abstract

本发明公开了多帧3D文件处理方法及装置，涉及3D重建技术领域。本发明提取多帧3D文件的仿真特征数据，采用多种不同的重建算法并使每种重建算法以多种不同的采样粒度分别对仿真特征数据进行仿真计算，统计每种重建算法在每种采样粒度下对应的目标参数，目标参数可以作为用户选择多帧3D文件重建方案的依据，用户便可以根据自身的需求基于目标参数选择重建方案。

Description

多帧3D文件处理方法及装置

技术领域

本发明涉及3D重建技术领域，尤其涉及多帧3D文件处理方法及装置。

背景技术

多帧3D文件的重建方案具有多种，用户选择的重建方案往往并非是用户最想要的，导致用户需求得不到满足。可以理解的是，若能为用户提供多帧3D文件重建方案的选择依据，用户便可以根据自己的需求选择最合适的重建方案。因此，如何为用户提供多帧3D文件重建方案的选择依据成为本领域亟待解决的问题。

发明内容

本发明通过提供多帧3D文件处理方法及装置，解决了如何为用户提供多帧3D文件重建方案的选择依据的技术问题。

一方面，本发明提供如下技术方案：

一种方法，包括：

一种多帧3D文件处理方法，包括：

提取多帧3D文件的仿真特征数据；

采用多种不同的重建算法并使每种所述重建算法以多种不同的采样粒度分别对所述仿真特征数据进行仿真计算；

所述仿真计算完成后，统计每种所述重建算法在每种所述采样粒度下对应的目标参数；所述目标参数包括所述仿真计算生成3D点云数据的用时、所述3D点云数据的物理内存占用率、cpu占用率、gpu负载及所述3D点云数据与标准数据的拟合度中的任意一种或多种。

优选的，所述提取多帧3D文件的仿真特征数据，包括：

从所述多帧3D文件中提取多个数据块；

获取每个所述数据块的目标灰度；

选择目标灰度高于预设阈值的一个或多个所述数据块作为所述仿真特征数据。

优选的，所述数据块与单帧所述3D文件的分辨率满足：nX/nY = nWidth/nHeight；所述数据块的分辨率为nX*nY，单帧所述3D文件的分辨率为nWidth*nHeight，nX、nWidth为宽度，nY、nHeight为高度。

优选的，所述获取每个所述数据块的目标灰度，包括：

对所述数据块的每帧像素数据分别进行边缘检测，识别出每帧所述像素数据的边缘像素点；

获取每帧所述像素数据的每个所述边缘像素点的灰度值；

根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度；

对所述数据块的每帧所述像素数据的目标灰度进行求和，得到所述数据块的目标灰度。

优选的，所述根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度，包括：

对单帧所述像素数据对应的所有所述灰度值求平均值，得到该帧像素数据的目标灰度。

优选的，所述根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度，包括：

对单帧所述像素数据对应的所有所述灰度值进行加权求和，得到该帧像素数据的目标灰度，所述灰度值越大，对应的权重越大。

优选的，所述选择目标灰度高于预设阈值的一个或多个所述数据块作为所述仿真特征数据，包括：

选择目标灰度最大的一个所述数据块作为所述仿真特征数据。

另一方面，本发明还提供如下技术方案：

一种多帧3D文件处理装置，包括：

数据提取模块，用于提取多帧3D文件的仿真特征数据；

仿真计算模块，用于采用多种不同的重建算法并使每种所述重建算法以多种不同的采样粒度分别对所述仿真特征数据进行仿真计算；

数据统计模块，用于所述仿真计算完成后，统计每种所述重建算法在每种所述采样粒度下对应的目标参数；所述目标参数包括所述仿真计算生成3D点云数据的用时、所述3D点云数据的物理内存占用率、cpu占用率、gpu负载及所述3D点云数据与标准数据的拟合度中的任意一种或多种。

另一方面，本发明还提供如下技术方案：

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一多帧3D文件处理方法。

另一方面，本发明还提供如下技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现上述任一多帧3D文件处理方法。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明提取多帧3D文件的仿真特征数据，采用多种不同的重建算法并使每种重建算法以多种不同的采样粒度分别对仿真特征数据进行仿真计算，统计每种重建算法在每种采样粒度下对应的目标参数，目标参数可以作为用户选择多帧3D文件重建方案的依据，用户便可以根据自身的需求基于目标参数选择重建方案。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中多帧3D文件处理方法的流程图；

图2为本发明实施例中从多帧3D文件中提取数据块的示意图；

图3为本发明实施例中对数据块的单帧像素数据进行边缘检测的示意图；

图4为本发明实施例中多帧3D文件处理装置的示意图。

具体实施方式

本发明实施例通过提供多帧3D文件处理方法及装置，解决了如何为用户提供多帧3D文件重建方案的选择依据的技术问题。

为了更好的理解本发明的技术方案，下面将结合说明书附图以及具体的实施方式对本发明的技术方案进行详细的说明。

如图1所示，本实施例的多帧3D文件处理方法，包括：

步骤S1，提取多帧3D文件的仿真特征数据；

步骤S2，采用多种不同的重建算法并使每种重建算法以多种不同的采样粒度分别对仿真特征数据进行仿真计算；

步骤S3，仿真计算完成后，统计每种重建算法在每种采样粒度下对应的目标参数；目标参数包括仿真计算生成3D点云数据的用时、3D点云数据的物理内存占用率、cpu占用率、gpu负载及3D点云数据与标准数据的拟合度中的任意一种或多种。

需要说明的是，本实施例也可以直接对多帧3D文件进行仿真计算，但多帧3D文件很大，会造成仿真卡顿或者系统死机，具有效率低的缺点。而对仿真特征数据进行仿真计算，仿真特征数据的数据量小，可以提高效率并保证仿真顺利进行。

本实施例的多种重建算法可以有多种选择，下文将以重建算法包括光线投影法、最大密度投影法、等值面法为例进行说明。采样粒度代表了重建算法的精度，采样粒度可以设置多种不同的档次，下文将以采样粒度分为高、中、低三档进行说明。

步骤S2中，相当于分别采用光线投影法以高采样粒度、光线投影法以中采样粒度、光线投影法以低采样粒度、最大密度投影法以高采样粒度、最大密度投影法以中采样粒度、最大密度投影法以低采样粒度、等值面法以高采样粒度、等值面法以中采样粒度、等值面法以低采样粒度对仿真特征数据进行9次仿真计算，每次仿真计算后可以得到3D点云数据。这里，仿真算法可以使用vtk库来完成，光线投影法使用vtkVolumeRauCastCompositeFunction，最大密度投影法使用vtkVolumeRayCastMIPFunction，等值面法使用vtkVolumeRayCastIsosurfaceFunction，vtk库可输出STL格式的3D点云数据。

步骤S3中，实际上光线投影法以高采样粒度进行多帧3D文件的重建效果最好，则可以将光线投影法以高采样粒度对仿真特征数据进行仿真计算后得到的3D点云数据作为标准数据，则光线投影法-高采样粒度这一方案对应的拟合度为100%，拟合度对比可以通过CloudCompare工具集来实现。若用户的硬件配置很高，用户仅关注重建速度，则目标参数可以仅包括仿真计算生成3D点云数据的用时；若用户的硬件配置很高，用户仅关注拟合度，则目标参数可以仅包括3D点云数据与标准数据的拟合度；若用户的硬件配置很低，用户只想重建方案占用的硬件资源最少，则目标参数可以包括3D点云数据的物理内存占用率、cpu占用率和gpu负载；若用户的硬件配置一般，用户想尽可能采用用时短、拟合度高的重建方案，则目标参数可以包括仿真计算生成3D点云数据的用时、3D点云数据的物理内存占用率、cpu占用率、gpu负载及3D点云数据与标准数据的拟合度，在自身硬件资源支持的前提下选择用时最短、拟合度最高的重建方案。当目标参数包括仿真计算生成3D点云数据的用时、3D点云数据的物理内存占用率、cpu占用率、gpu负载及3D点云数据与标准数据的拟合度时，本实施例可以得到每种重建算法在每种采样粒度下的目标参数。

可以理解的是，得到每种重建算法在每种采样粒度下对应的目标参数后，目标参数可以作为用户选择多帧3D文件重建方案的依据，用户便可以根据自身的需求基于目标参数选择重建方案。

本实施例中，对仿真特征数据进行仿真计算得到的目标参数，与对多帧3D文件全集进行仿真计算得到的目标参数肯定有差距，为使对仿真特征数据进行仿真计算得到的目标参数更能代表对多帧3D文件全集进行仿真计算得到的目标参数，仿真特征数据应当最大程度的拟合多帧3D文件全集。为此，本实施例的步骤S1可以包括：从多帧3D文件中提取多个数据块；获取每个数据块的目标灰度；选择目标灰度高于预设阈值的一个或多个数据块作为仿真特征数据。其中，某些数据块的目标灰度高于预设阈值，代表这些数据块的仿真度很高，更能代表多帧3D文件全集。这样选择目标灰度高于预设阈值的一个或多个数据块作为仿真特征数据，可以使仿真特征数据更大程度的拟合多帧3D文件全集，得到的目标参数更接近实际情况。其中，选择目标灰度高于预设阈值的一个或多个数据块作为仿真特征数据，可以包括：选择目标灰度最大的一个数据块作为仿真特征数据；相当于选择仿真度最高的一个数据块作为仿真特征数据。本实施例的单帧3D文件的分辨率为nWidth*nHeight，nWidth为宽度，nHeight为高度，图2为提取一个数据块的示意图，图2中的大长方体为由多帧分辨率为nWidth*nHeigh的像素数据构成，大长方体的第一个矩形为多帧3D文件的第一帧像素数据，大长方体内的小长方体为一个数据块，数据块的每帧像素数据的分辨率为nX*nY，nX为宽度，nY为高度，小长方体的第一个矩形为数据块的第一帧像素数据。当然，为了使数据块与多帧3D文件的每帧像素数据的比例一致，可以使数据块与单帧3D文件的分辨率满足：nX/nY = nWidth/ nHeight。

本实施例中，获取每个数据块的目标灰度，可以包括：对数据块的每帧像素数据分别进行边缘检测，识别出每帧像素数据的边缘像素点；获取每帧像素数据的每个边缘像素点的灰度值；根据每帧像素数据对应的所有灰度值，计算每帧像素数据的目标灰度；对数据块的每帧像素数据的目标灰度进行求和，得到数据块的目标灰度。图3为对数据块的单帧像素数据进行边缘检测的示意图，边缘检测可以使用vtkImageGradient来完成，图3中10个带阴影的像素点为边缘像素点。边缘检测可以识别出像素数据中的有效数据，有效数据代表了对数据块进行重建的算法消耗，即数据块的仿真度。其中，根据每帧像素数据对应的所有灰度值，计算每帧像素数据的目标灰度，可以包括：对单帧像素数据对应的所有灰度值求平均值，得到该帧像素数据的目标灰度；假设某个数据块的某帧像素数据的10个边缘像素点的灰度值分别为20、20、20、20、20、200、200、200、200、200，则该帧像素数据的目标灰度=（20*5+200*5）/10=110。但实际上灰度值大的边缘像素点更能体现数据块的仿真度，求平均值的方式会使得数据块的仿真度的可靠性低。为此，步骤S1中，根据每帧像素数据对应的所有灰度值，计算每帧像素数据的目标灰度，还可以包括：对单帧像素数据对应的所有灰度值进行加权求和，得到该帧像素数据的目标灰度，灰度值越大，对应的权重越大；假设某个数据块的某帧像素数据的10个边缘像素点的灰度值分别为20、20、20、20、20、200、200、200、200、200，灰度值对应的权重分别为0.06、0.06、0.06、0.06、0.06、0.14、0.14、0.14、0.14、0.14，则该帧像素数据的目标灰度=20*0.06*5+200*0.14*5=146。这样可以使数据块的单帧像素数据的目标灰度可靠性更高，从而使数据块的仿真度的可靠性更高。

如图4所示，本实施例还提供一种多帧3D文件处理装置，包括：

数据提取模块，用于提取多帧3D文件的仿真特征数据；

仿真计算模块，用于采用多种不同的重建算法并使每种重建算法以多种不同的采样粒度分别对仿真特征数据进行仿真计算；

数据统计模块，用于仿真计算完成后，统计每种重建算法在每种采样粒度下对应的目标参数；目标参数包括仿真计算生成3D点云数据的用时、3D点云数据的物理内存占用率、cpu占用率、gpu负载及3D点云数据与标准数据的拟合度中的任意一种或多种。

其中，数据提取模块，还可以用于从多帧3D文件中提取多个数据块；获取每个数据块的目标灰度；选择目标灰度高于预设阈值的一个或多个数据块作为仿真特征数据。

其中，数据块与单帧3D文件的分辨率可以满足：nX/nY = nWidth/ nHeight。

其中，数据提取模块，还可以用于对数据块的每帧像素数据分别进行边缘检测，识别出每帧像素数据的边缘像素点；获取每帧像素数据的每个边缘像素点的灰度值；根据每帧像素数据对应的所有灰度值，计算每帧像素数据的目标灰度；对数据块的每帧像素数据的目标灰度进行求和，得到数据块的目标灰度。

其中，数据提取模块，还可以用于对单帧像素数据对应的所有灰度值求平均值，得到该帧像素数据的目标灰度。

其中，数据提取模块，还可以用于对单帧像素数据对应的所有灰度值进行加权求和，得到该帧像素数据的目标灰度，灰度值越大，对应的权重越大。

其中，数据提取模块，还可以用于选择目标灰度最大的一个数据块作为仿真特征数据。

基于与前文所述的多帧3D文件处理方法同样的发明构思，本实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文所述的多帧3D文件处理方法的任一方法的步骤。

其中，总线架构（用总线来代表），总线可以包括任意数量的互联的总线和桥，总线将包括由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

由于本实施例所介绍的电子设备为实施本发明实施例中多帧3D文件处理方法所采用的电子设备，故而基于本发明实施例中所介绍的多帧3D文件处理方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中多帧3D文件处理方法所采用的电子设备，都属于本发明所欲保护的范围。

基于与上述多帧3D文件处理方法同样的发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现上述任一多帧3D文件处理方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种多帧3D文件处理方法，其特征在于，包括：

提取多帧3D文件的仿真特征数据；

所述提取多帧3D文件的仿真特征数据，包括：从所述多帧3D文件中提取多个数据块；获取每个所述数据块的目标灰度；选择目标灰度高于预设阈值的一个或多个所述数据块作为所述仿真特征数据；

所述获取每个所述数据块的目标灰度，包括：对所述数据块的每帧像素数据分别进行边缘检测，识别出每帧所述像素数据的边缘像素点；获取每帧所述像素数据的每个所述边缘像素点的灰度值；根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度；对所述数据块的每帧所述像素数据的目标灰度进行求和，得到所述数据块的目标灰度；

采用多种不同的重建算法并使每种所述重建算法以多种不同的采样粒度分别对所述仿真特征数据进行仿真计算；

所述仿真计算完成后，统计每种所述重建算法在每种所述采样粒度下对应的目标参数；所述目标参数包括所述仿真计算生成3D点云数据的用时、所述3D点云数据的物理内存占用率、cpu占用率、gpu负载及所述3D点云数据与标准数据的拟合度中的任意一种或多种。

2.如权利要求1所述的多帧3D文件处理方法，其特征在于，所述数据块与单帧所述3D文件的分辨率满足：nX/nY = nWidth/ nHeight；所述数据块的分辨率为nX*nY，单帧所述3D文件的分辨率为nWidth*nHeight，nX、nWidth为宽度，nY、nHeight为高度。

3.如权利要求1所述的多帧3D文件处理方法，其特征在于，所述根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度，包括：

对单帧所述像素数据对应的所有所述灰度值求平均值，得到该帧像素数据的目标灰度。

4.如权利要求1所述的多帧3D文件处理方法，其特征在于，所述根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度，包括：

对单帧所述像素数据对应的所有所述灰度值进行加权求和，得到该帧像素数据的目标灰度，所述灰度值越大，对应的权重越大。

5.如权利要求1所述的多帧3D文件处理方法，其特征在于，所述选择目标灰度高于预设阈值的一个或多个所述数据块作为所述仿真特征数据，包括：

选择目标灰度最大的一个所述数据块作为所述仿真特征数据。

6.一种多帧3D文件处理装置，其特征在于，包括：

数据提取模块，用于提取多帧3D文件的仿真特征数据；

所述数据提取模块提取多帧3D文件的仿真特征数据，包括：从所述多帧3D文件中提取多个数据块；获取每个所述数据块的目标灰度；选择目标灰度高于预设阈值的一个或多个所述数据块作为所述仿真特征数据；

所述数据提取模块获取每个所述数据块的目标灰度，包括：对所述数据块的每帧像素数据分别进行边缘检测，识别出每帧所述像素数据的边缘像素点；获取每帧所述像素数据的每个所述边缘像素点的灰度值；根据每帧所述像素数据对应的所有所述灰度值，计算每帧所述像素数据的目标灰度；对所述数据块的每帧所述像素数据的目标灰度进行求和，得到所述数据块的目标灰度；

仿真计算模块，用于采用多种不同的重建算法并使每种所述重建算法以多种不同的采样粒度分别对所述仿真特征数据进行仿真计算；

数据统计模块，用于所述仿真计算完成后，统计每种所述重建算法在每种所述采样粒度下对应的目标参数；所述目标参数包括所述仿真计算生成3D点云数据的用时、所述3D点云数据的物理内存占用率、cpu占用率、gpu负载及所述3D点云数据与标准数据的拟合度中的任意一种或多种。

7.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5中任一项权利要求所述的多帧3D文件处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现权利要求1-5中任一项权利要求所述的多帧3D文件处理方法。

Images