CN116402967B - 场景建筑快速单体化方法、装置、计算机设备和存储介质 - Google Patents
场景建筑快速单体化方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116402967B CN116402967B CN202310627587.8A CN202310627587A CN116402967B CN 116402967 B CN116402967 B CN 116402967B CN 202310627587 A CN202310627587 A CN 202310627587A CN 116402967 B CN116402967 B CN 116402967B
- Authority
- CN
- China
- Prior art keywords
- target
- plane
- scene
- point set
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013507 mapping Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种场景建筑快速单体化方法、装置、计算机设备和存储介质。方法包括：确定基于三维场景的场景数据点集合得到的对象数据点集合；对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合；确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面；基于各参考平面进行三维重建，得到对象数据点集合所属的场景对象的三维重建模型。采用本方法能够提高场景三维重建的效率。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种场景建筑快速单体化方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机视觉的发展，场景三维重建技术逐渐发展起来，场景三维重建是指利用从三维场景采集得到的数据进行三维重建，得到三维场景的三维重建模型，三维场景例如可以为城市场景、室内场景或乡村场景等。
传统技术中，通常利用三维场景对应的稀疏点云构建稠密点云，再利用稠密点云对三维场景进行三维重建，得到三维场景的三维重建模型。
然而，通过稠密点云对三维场景进行三维重建的方法较为复杂，耗时较长，导致场景三维重建的效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高场景三维重建的效率的场景建筑快速单体化方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种场景建筑快速单体化方法。所述方法包括：确定基于三维场景的场景数据点集合得到的对象数据点集合；所述对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；针对每个所述对象数据点集合，在所述对象数据点集合所占的空间区域中分布多个目标平面，并将所述对象数据点集合中的数据点向对应的目标平面进行投影，得到各个所述目标平面各自的投影点集合；确定各所述目标平面的投影点集合在对应的目标平面上的轮廓，基于各所述轮廓从各所述目标平面中确定参考平面；相邻两个所述参考平面的轮廓面积之间的差异大于预设阈值；所述参考平面的轮廓面积是指所述参考平面上的轮廓的面积；基于各所述参考平面进行三维重建，得到所述对象数据点集合所属的场景对象的三维重建模型。
第二方面，本申请还提供了一种场景建筑快速单体化装置。所述装置包括：数据点集合确定模块，用于确定基于三维场景的场景数据点集合得到的对象数据点集合；所述对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；数据点投影模块，用于针对每个所述对象数据点集合，在所述对象数据点集合所占的空间区域中分布多个目标平面，并将所述对象数据点集合中的数据点向对应的目标平面进行投影，得到各个所述目标平面各自的投影点集合；参考平面确定模块，用于确定各所述目标平面的投影点集合在对应的目标平面上的轮廓，基于各所述轮廓从各所述目标平面中确定参考平面；相邻两个所述参考平面的轮廓面积之间的差异大于预设阈值；所述参考平面的轮廓面积是指所述参考平面上的轮廓的面积；对象三维重建模块，用于基于各所述参考平面进行三维重建，得到所述对象数据点集合所属的场景对象的三维重建模型。
在一些实施例中，各所述目标平面相互平行，所述参考平面确定模块还用于：对各所述目标平面进行排列得到目标平面序列；所述目标平面序列中的各所述目标平面按照在空间中的位置排列；按序从所述目标平面序列中确定当前平面，并从所述目标平面序列中位于所述当前平面之后的目标平面中，依次查找对应的轮廓面积与所述当前平面对应的轮廓面积之间的比值大于所述预设阈值的目标平面，作为所述参考平面；所述目标平面对应的轮廓面积是指所述目标平面上的轮廓的面积；利用参考平面更新当前平面，并返回查找目标平面的步骤，直到遍历所述目标平面序列为止，得到各所述参考平面。
在一些实施例中，所述投影点集合包括全局投影点集合和局部投影点集合；所述数据点投影模块还用于：针对每个所述目标平面，将所述对象数据点集合中位于所述目标平面同一侧的数据点向所述目标平面进行投影，得到所述目标平面的全局投影点集合；针对每个所述目标平面，确定与所述目标平面在空间上相邻的目标平面，得到所述目标平面的相邻平面；将所述对象数据点集合中位于所述目标平面的相邻平面以及所述目标平面之间的数据点，向所述目标平面进行投影得到所述目标平面的局部投影点集合。
在一些实施例中，所述数据点集合确定模块还用于：获取所述三维场景的多个二维场景图像分别对应的对象预测图像；所述二维场景图像对应的对象预测图像中包括的对象区域，是通过预测得到的所述二维场景图像中的场景对象在所述二维场景图像中所占的图像区域；对各所述对象预测图像中的对象区域进行分组，得到至少一个对象区域组合；所述对象区域组合中的各对象区域被预测为同一场景对象所在的图像区域；针对每个所述对象区域组合，从所述场景数据点集合中确定与每个对象区域中的特征点具有映射关系的数据点，组成对象数据点集合。
在一些实施例中，每个所述对象预测图像对应有特征点集合；所述数据点集合确定模块还用于：针对各所述对象预测图像中的目标对象预测图像，确定所述目标对象预测图像中每个对象区域各自的特征点子集合；所述对象区域的特征点子集合中的特征点，是所述目标对象预测图像对应的特征点集合中位于所述对象区域中的特征点；针对所述目标对象预测图像中的每个对象区域，从所述场景数据点集合中确定所述对象区域的特征点子集合中各特征点具有映射关系的数据点，得到所述对象区域的数据点子集合；针对所述目标对象预测图像中的每个对象区域，从各所述对象预测图像的特征点集合中确定与所述对象区域的数据点子集合中的数据点具有映射关系的特征点，组成所述对象区域的关联特征点集合；针对所述目标对象预测图像中的每个对象区域，确定所述对象区域的关联特征点集合在对应的对象预测图像中所占的对象区域，得到所述对象区域的关联对象区域；基于各所述对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合。
在一些实施例中，所述数据点集合确定模块还用于：针对所述目标对象预测图像中的每个对象区域，确定所述对象区域在所述目标对象预测图像的关联对象预测图像中的关联对象区域的数量，得到所述关联对象预测图像针对所述对象区域的关联区域数量；所述目标对象预测图像的关联对象预测图像，是指包括所述对象区域的关联对象区域的对象预测图像；对各所述关联对象预测图像针对所述对象区域的关联区域数量进行统计，基于统计结果确定所述对象区域的区域类型；所述区域类型为有效类型或无效类型中的一个；对各所述对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合。
在一些实施例中，所述数据点集合确定模块还用于：从所述关联对象预测图像针对所述对象区域的关联区域数量中，确定出现次数最多的关联区域数量，在所述出现次数最多的关联区域数量为预设数量时，确定所述对象区域的区域类型为有效类型；所述对各所述对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合包括：依次从各所述有效类型的对象区域中确定目标对象区域，从各所述有效类型的对象区域中确定所述目标对象区域的关联对象区域，组成一个对象区域组合。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述场景建筑快速单体化方法中的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述场景建筑快速单体化方法中的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述场景建筑快速单体化方法中的步骤。
上述场景建筑快速单体化方法、装置、计算机设备、存储介质和计算机程序产品，通过确定三维场景中属于同一场景对象的数据点得到对象数据点集合，并针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合，然后确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面，基于各参考平面进行三维重建，快速得到了对象数据点集合所属的场景对象的三维重建模型，提高了场景三维重建的效率。
附图说明
图1为一个实施例中场景建筑快速单体化方法的应用环境图；
图2为一个实施例中场景建筑快速单体化方法的流程示意图；
图3为一个实施例中利用二维场景图像进行场景建筑快速单体化方法的示意图；
图4为一个实施例中对象预测模型的网络架构图；
图5为一个实施例中包括同一场景对象的多个对象预测区域图像的示意图；
图6为一个实施例中基于层的三维重建的步骤的示意图；
图7为一个实施例中场景建筑快速单体化装置的结构框图；
图8为一个实施例中计算机设备的内部结构图；
图9为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的场景建筑快速单体化方法，可以应用于如图1所示的应用环境中。该应用环境包括终端102和服务器104，其中，终端102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
具体地，终端102确定基于三维场景的场景数据点集合得到的对象数据点集合；对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；然后针对每个对象数据点集合，终端102在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合；终端102确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面；相邻两个参考平面的轮廓面积之间的差异大于预设阈值；参考平面的轮廓面积是指参考平面上的轮廓的面积；终端102基于各参考平面进行三维重建，得到对象数据点集合所属的场景对象的三维重建模型。终端102可以保存并展示三维重建模型，还可以将三维重建模型发送至服务器104。服务器104可以接收并保存三维重建模型。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机或平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中，如图2所示，提供了一种场景建筑快速单体化方法，该方法可以由终端或服务器执行，还可以由终端和服务器共同执行，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，确定基于三维场景的场景数据点集合得到的对象数据点集合；对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点。
其中，三维场景是待重建三维模型的场景，例如可以为城市场景，三维场景中包括多个场景对象，场景对象是三维对象，也可以称为场景实例，例如可以是建筑物。数据点为三维空间中的点，每个数据点分别对应有点信息，数据点的点信息包括数据点在三维空间中的坐标，还可以包括颜色信息、光照强度、法向量或灰度值等中的至少一种信息，场景数据点集合包括多个数据点，多个是指至少两个，场景数据点集合可以是通过对三维场景进行图像采集而确定出的点云，场景数据点集合中的每个数据点分别为该点云中的一个点。场景数据点集合是三维场景对应的数据点集合，对象数据点集合中的数据点是预测出的属于同一个场景对象的数据点。场景数据点集合可以称为三维场景的稀疏点云，对象数据点集合可以称为三维对象的对象点云或三维实例。
具体地，终端确定三维场景的场景数据点集合，并确定三维场景图像的多个二维场景图像的对象预测图像，利用各对象预测图像中包括的对象区域，从场景数据点集合中确定至少一个对象数据点集合。其中，对象预测图像是对二维场景图像进行对象预测得到的，对象预测包括实例分割，对象预测图像也称为实例掩码图像，对象区域是通过预测得到的二维场景图像中的场景图像在二维场景图像中所占的图像区域。
在一些实施例中，终端可以利用三维场景的二维场景图像集合，确定场景数据点集合。其中，二维场景图像集合包括在多个不同视角下、按照时间顺序对三维场景采集得到的二维场景图像，例如，可以利用预设路径上的无人机对三维场景进行采集，无人机装载有多个不同拍摄角度的图像采集设备，预设路径是根据三维场景预先设置的用于进行图像采集的路径。针对二维场景图像集合中的各二维场景图像，终端可以对二维场景图像进行二维特征点检测，得到二维场景图像的特征点集合，然后利用多个二维场景图像各自的特征点集合进行匹配，生成三维场景的场景数据点集合，例如，可以利用SFM（Structure frommotion，运动恢复结构算法）模型从输入的二维场景图像恢复相机姿态，生成三维场景的场景数据点集合，即三维场景的稀疏点云。因此，场景数据点集合中的每个数据点与至少一个二维场景图像的特征点集合中的特征点之间具有映射关系。
步骤204，针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合。
其中，目标平面是在对象数据点集合所占的空间中分布的平面，目标平面有多个，多个目标平面互相平行，例如，可以是均匀分布的水平平面。投影点集合是对象数据点集合中的数据点投影在目标平面上形成的，例如，可以是对象数据点集合中位于目标平面的同一侧的数据点向目标平面进行投影得到的，这样得到的投影点集合也可以称为全局投影点集合。投影点集合还包括局部投影点集合，局部投影点集合是对象数据点集合中位于目标平面与相邻平面之间的数据点向目标平面进行投影得到的，相邻平面是多个目标平面中的在空间中与目标平面相邻的目标平面。
具体地，终端针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，然后针对每个目标平面，将对象数据点集合中位于目标平面同一侧的数据点向目标平面进行投影，得到各目标平面各自的投影点集合。例如，如图6中的（d）所示，展示了属于某个场景对象的对象数据点集合的各目标平面的投影点集合的示意图。
步骤206，确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面；相邻两个参考平面的轮廓面积之间的差异大于预设阈值；参考平面的轮廓面积是指参考平面上的轮廓的面积。
其中，轮廓是基于目标平面的投影点集合确定的，也可以称为结构轮廓，目标平面的投影点集合中的每个投影点均位于轮廓的内部，轮廓面积是轮廓内的区域的面积，预设阈值是预先设置的用于确定参考平面的阈值。参考平面是从多个目标平面中确定的，相邻两个参考平面之间具有较大的结构差异，所有参考平面一起提供了足够的用于描述场景对象的结构信息，因此，可以利用参考平面进行三维重建，例如，相邻两个参考平面的轮廓面积之间的差异大于预设阈值，参考平面也可以称为主要结构剖面。
具体地，终端按照目标平面在空间中的位置，对各目标平面进行排列得到目标平面序列，然后按序从目标平面序列中查找参考平面，直到遍历目标平面序列，得到各参考平面。其中，目标平面序列是按照多个目标平面在空间中的位置进行排列得到的平面序列，各目标平面对应有平面序号，平面序号用于标识目标平面的排列位置，例如，多个目标平面为互相平行的水平平面，可以按照在空间中从上到下的位置顺序对多个目标平面进行排列，得到目标平面序列（F1,…,FK），F1表示第1个目标平面，即多个目标平面中位于顶层的目标平面，FK表示第k个目标平面，即多个目标平面中位于底层的目标平面。
在一些实施例中，终端按序从目标平面序列中确定当前平面，并从目标平面序列中位于当前平面之后的目标平面中，依次查找对应的轮廓面积与当前平面对应的轮廓面积之间的比值大于预设阈值的目标平面，作为参考平面，然后终端将参考平面作为新的当前平面，并返回查找目标平面的步骤，直到遍历目标平面序列为止，得到各参考平面。其中，当前平面是按序从目标平面序列中确定的，例如，可以将目标平面序列中的平面序号为1目标平面确定为当前平面。
在一些实施例中，针对每个目标平面，终端可以确定目标平面的全局投影点集合在目标平面上的轮廓，得到目标平面上的轮廓，然后计算目标平面上的轮廓内的区域的面积，得到各目标平面的轮廓面积。例如，可以利用凸包算法计算得到目标平面上的轮廓，公式如下所示：
其中，Conv表示对投影点集合提取凸包的操作，Pi表示第i层的目标平面的局部投影点集合，表示对第1到第k个目标平面的局部投影点集合的并集，即第k个目标平面的全局投影点集，PSPk表示第k个目标平面的轮廓。
步骤208，基于各参考平面进行三维重建，得到对象数据点集合所属的场景对象的三维重建模型。
其中，三维重建模型是利用对象数据点集合进行三维重建得到的模型，也可以称为代理模型。
具体地，终端可以按照目标平面序列的排列顺序，从参考平面中确定当前参考平面，利用当前参考平面上的轮廓进行三维重建，直到遍历所有的参考平面，得到对象数据点集合所属的场景对象的三维重建模型，然后将三维场景中的各场景对象的三维重建模型，确定为三维场景的三维重建模型。例如，可以将当前参考平面上的轮廓内的区域确定为参考多面体的底面，将底面向预设方向拉伸至与当前参考平面相邻的参考平面，得到参考多面体，直到遍历所有参考平面为止，得到多个堆叠在一起的参考多面体，如图6中的（f）所示。其中，预设方向是与目标平面垂直的方向，例如，目标平面为水平平面，则预设方向可以为竖直向上的方向，也可以为竖直向下的方向。
在一些实施例中，针对每个场景对象的三维重建模型，终端可以确定位于三维重建模型内部的内部冗余面，内部冗余面是组成三维重建模型的多个参考多面体中，相邻的两个参考多面体互相接触的参考平面上的重合区域。终端删除三维重建模型中的内部冗余面，得到更新后的三维重建模型，从而确保更新后的三维重建模型仅保留场景对象的三维重建模型的外表面，例如，如图6中的（h）所示，使得三维场景的三维重建模型更加轻量化。
上述场景建筑快速单体化方法中，通过确定三维场景中属于同一场景对象的数据点得到对象数据点集合，并针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合，然后确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面，基于各参考平面进行三维重建，快速得到了对象数据点集合所属的场景对象的三维重建模型，从而实现了直接利用场景数据点集合进行三维重建，减少了三维重建的耗时，提高了场景三维重建的效率。
上述场景建筑快速单体化方法中，单体化是指从整体中分离出单个的目标地物的过程，得到三维场景中各建筑分别对应的三维重建模型也可以称为场景建筑单体化，本场景建筑快速单体化方法中，三维场景中包括多个场景对象，场景对象可以为建筑，从三维场景的场景数据点集合中分离出属于单个的场景对象的对象数据点集合，并基于对象数据点集合进行三维重建，快速的得到各场景对象分别对应的三维重建模型，从而实现了场景建筑快速单体化。
在一些实施例中，如图3所示，展示了利用二维场景图像进行场景三维重建的过程示意图，针对包括多个二维场景图像的多视角图像序列，利用运动恢复结构模型该过程包括二维特征点检测和匹配，得到各二维场景图像的特征点集合，然后利用特征点集合重建三维场景的场景数据点集合，即稀疏点云，并且在重建的过程中确定了场景数据点集合中的数据点与特征点之间的映射关系；然后利用实例分割网络对多个二维场景图像中的每个场景对象进行实例分割，得到二维实例掩码；然后通过基于投票的实例融合方法，利用场景数据点集合中的数据点与特征点之间的映射关系、以及二维实例掩码，从场景数据点集合中分离出各场景对象各自的三维实例；由于稀疏点云存在较大数据缺失，现有技术的重建方法难以直接利用稀疏点云生成准确的三维重建模型，因此，针对每个三维实例，通过基于层的三维重建方法从三维实例中重建体积网格，其中，基于层的三维重建方法是指在三维实例所占的空间区域中分布多个目标平面，并从多个目标平面中确定参考平面，基于参考平面进行三维重建的方法，然后移除内部冗余面后得到了三维实例所属的场景对象的水密网格模型，即三维重建模型；对于地面和地面物体部分，可以利用现有技术中的重建方法进行三维重建，例如，双线性插值或泊松重建中的至少一种，从而得到了三维场景的三维重建模型。三维场景的三维重建模型，可以用于为无人机的路径规划提供信息，并为下一阶段更加精细的三维重建提供相关参数。
在一些实施例中，各目标平面相互平行，基于各轮廓从各目标平面中确定参考平面包括：对各目标平面进行排列得到目标平面序列；目标平面序列中的各目标平面按照在空间中的位置排列；按序从目标平面序列中确定当前平面，并从目标平面序列中位于当前平面之后的目标平面中，依次查找对应的轮廓面积与当前平面对应的轮廓面积之间的比值大于预设阈值的目标平面，作为参考平面；目标平面对应的轮廓面积是指目标平面上的轮廓的面积；利用参考平面更新当前平面，并返回查找目标平面的步骤，直到遍历目标平面序列为止，得到各参考平面。
具体地，终端确定各目标平面对应的轮廓面积，按序从目标平面序列中确定当前平面，例如，可以先将目标平面序列中的第1个目标平面确定为当前平面，然后依次从目标平面序列中位于当前平面之后的目标平面中查找候选平面，在候选平面对应的轮廓面积与当前平面对应的轮廓面积的比值小于预设阈值的情况下，终端将位于候选平面之后、且与候选平面相邻的目标平面更新为候选平面，直到候选平面的对应的轮廓面积与当前平面对应的轮廓面积的比值大于预设阈值，将候选平面确定为参考平面。终端将该参考平面确定为新的当前平面，并返回查找目标平面的步骤，直到遍历目标平面序列为止，得到各参考平面。
在一些实施例中，终端可以按序从目标平面序列中确定对应的轮廓面积大于面积阈值的目标平面，将目标平面确定为目标平面序列中的第一个参考平面，也称之为顶部参考平面，然后将该目标平面作为当前平面，执行从目标平面序列中位于当前平面之后的目标平面中查找参考平面的步骤。例如，目标平面序列（F1,…,FK）在空间中从上到下依次排列，按序从目标平面序列中确定目标平面F1，在目标平面F1的轮廓面积大于面积阈值的情况下，将目标平面F1确定为参考平面DSP1，即第一个参考平面；在目标平面F1的轮廓面积小于面积阈值的情况下，从目标平面序列中确定目标平面F2，直到确定第一个参考平面为止。其中，面积阈值与目标平面序列中排列在最后的目标平面的轮廓面积成正相关关系，面积阈值可以用如下公式表示：
θ= 0.2×Area(PSPk)；
其中，θ表示面积阈值，Area(PSPk) 表示目标平面FK的轮廓面积。
本实施例中，通过确定当前平面，从目标平面序列中位于当前平面之后的目标平面中，依次查找对应的轮廓面积与当前平面对应的轮廓面积之间的比值大于预设阈值的目标平面，作为参考平面，在遍历目标平面序列之后，快速的找到了所有的参考平面，并且可以直接基于参考平面进行三维重建，提高了场景三维重建的效率。
在一些实施例中，投影点集合包括全局投影点集合和局部投影点集合；将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合包括：针对每个目标平面，将对象数据点集合中位于目标平面同一侧的数据点向目标平面进行投影，得到目标平面的全局投影点集合；针对每个目标平面，确定与目标平面在空间上相邻的目标平面，得到目标平面的相邻平面；将对象数据点集合中位于目标平面的相邻平面以及目标平面之间的数据点，向目标平面进行投影得到目标平面的局部投影点集合。
具体地，针对每个目标平面，终端可以将对象数据点集合中的数据点向目标平面进行投影，得到目标平面的全局投影点集合和局部投影点集合。例如，在多个目标平面为互相平行的水平平面的情况下，针对每个目标平面，终端可以将对象数据点集合中位于目标平面的上方的数据点，向目标平面进行投影得到目标平面的全局投影集合；终端确定位于目标平面上方、且与目标平面在空间上相邻的目标平面，得到目标平面的相邻平面，将对象数据点集合中位于目标平面的相邻平面以及目标平面之间的数据点，向目标平面进行投影得到目标平面的局部投影点集合。
在一些实施例中，终端可以利用各目标平面上的轮廓，以及各目标平面的局部投影点集合，从多个目标平面中确定参考平面。终端可以按序从目标平面序列中确定当前平面，从目标平面序列中位于当前平面之后的目标平面中，依次查找满足预设参考条件的目标平面，作为参考平面。其中，预设参考条件是预先设置的条件，例如，终端可以确定目标平面的局部投影点集合中，位于目标平面的相邻平面上的轮廓之外的数据点的数量，得到第一数量，并确定目标平面的相邻平面的局部投影点集合中的数据点的个数，得到第二数量；在第一数量与第二数量的比值大于第一预设阈值、且目标平面的轮廓面积与当前平面的轮廓面积的比值大于第二预设阈值的情况下，确定目标平面满足预设参考条件。第一预设阈值和第二预设阈值可以是预先设置的，第一预设阈值为0-1之间的数值，第二预设阈值为大于1的数值，例如，第一预设阈值可以为0.2，第二预设阈值可以为1.1。
确定目标平面是否满足参考预设条件的公式如下所示：
其中，j表示目标平面在目标平面序列中为第j个目标平面，Nout表示第一数量，Nj-1表示第二数量，表示第一数量与第二数量的比值，η表示第一预设阈值；PSPj表示第j个目标平面上的轮廓，Area(PSPj) 表示第j个目标平面的轮廓面积，DSPi表示当前平面上的轮廓，Area(DSPi) 表示第i个参考平面的轮廓面积，/>表示目标平面的轮廓面积与当前平面的轮廓面积的比值，/>表示第二预设阈值。
本实施例中，通过确定各目标平面的全局投影点集合和局部投影点集合，从而能够在确定参考平面的过程中，利用全局投影点集合以及局部投影点集合进行查找判断，提高了确定的参考平面的准确度，从而提高了场景三维重建的准确度。
在一些实施例中，确定基于三维场景的场景数据点集合得到的对象数据点集合包括：获取三维场景的多个二维场景图像分别对应的对象预测图像；二维场景图像对应的对象预测图像中包括的对象区域，是通过预测得到的二维场景图像中的场景对象在二维场景图像中所占的图像区域；对各对象预测图像中的对象区域进行分组，得到至少一个对象区域组合；对象区域组合中的各对象区域被预测为同一场景对象所在的图像区域；针对每个对象区域组合，从场景数据点集合中确定与每个对象区域中的特征点具有映射关系的数据点，组成对象数据点集合。
其中，对象预测图像是对二维场景图像进行对象预测得到的，对象预测图像包括至少一个对象区域，对象区域为预测得到的场景对象在二维图像中所占的图像区域。对象区域组合中的对象区域为不同的对象预测图像中，被预测为同一场景对象所在的图像区域。例如，如图5所示，展示了在不同的对象预测图像中，被预测为同一场景对象的多个对象区域。对象区域中的特征点是二维场景图像中位于对象区域的特征点，是对二维场景图像进行二维特征点检测确定的，特征点与场景数据点集合中的数据点具有映射关系。
具体地，终端获取三维场景的多个二维场景图像分别对应的对象预测图像，由于多个对象预测图像中，可能存在至少两个对象预测图像中分别包括的对象区域对应同一场景对象的情况，为了从场景数据点集合中分离出属于不同的场景对象的数据点，终端可以从至少两个对象预测图像中包括的对象区域中，确定属于同一场景对象的对象区域，然后将属于同一场景对象的对象区域组成对象区域组合，得到至少一个对象区域分组。其中，多个二维场景图像属于三维场景的二维场景图像集合，均为在垂直向下的视角下采集得到的图像，也称为最低点图像。
在一些实施例中，针对每个对象区域组合中的对象区域，终端获取对象区域的特征点子集合，并从场景数据点集合中，确定与对象区域的特征点子集合中的各特征点具有映射关系的数据点，得到对象区域的数据点子集合，将对象区域组合中的各对象区域各自的数据点子集合进行组合，得到对象数据点集合。其中，对象区域的特征点子集合是由位于对象区域中的特征点组成的，数据点子集合是与对象区域的特征点子集合中的各特征点具有映射关系的数据点的集合。
在一些实施例中，终端可以利用对象预测模型对二维场景图像进行对象预测，得到二维场景图像的对象预测图像。对象预测模型为实例分割模型，由于实例分割通常包括三个子任务：检测、分类以及分割，为了提高实例分割的准确度，本三维场景重建方法提出了一种新的对象预测模型InstFormer，InstFormer模型为混合任务级联架构，如图4所示，展示了InstFormer模型的结构示意图，包括三个阶段的包围盒分支（Bounding Box Head，边界检测头），前两个阶段的包围盒分支用于输出场景对象对应的粗略边界框，而第三阶段的包围盒分支用于对场景对象对应的边界框进行细化，并生成对象预测图像。InstFormer模型的三个阶段形成了多阶段处理流水线，提高了三个子任务之间的关联性，从而提高了实例分割的准确度。
本实施例中，由于多个对象预测图像中，可能存在至少两个对象预测图像中分别包括的对象区域对应同一场景对象的情况，且对应同一场景对象的各对象区域对应的数据点可能不完全相同，通过对各对象预测图像中的对象区域进行分组，得到至少一个对象区域组合，从场景数据点集合中准确的确定了属于不同场景对象的对象数据点集合，提高了对象数据点集合的准确度，从而提高了三维场景重建的准确度。
在一些实施例中，每个对象预测图像对应有特征点集合；对各对象预测图像中的对象区域进行分组，得到至少一个对象区域组合包括：针对各对象预测图像中的目标对象预测图像，确定目标对象预测图像中每个对象区域各自的特征点子集合；对象区域的特征点子集合中的特征点，是目标对象预测图像对应的特征点集合中位于对象区域中的特征点；针对目标对象预测图像中的每个对象区域，从场景数据点集合中确定对象区域的特征点子集合中各特征点具有映射关系的数据点，得到对象区域的数据点子集合；针对目标对象预测图像中的每个对象区域，从各对象预测图像的特征点集合中确定与对象区域的数据点子集合中的数据点具有映射关系的特征点，组成对象区域的关联特征点集合；针对目标对象预测图像中的每个对象区域，确定对象区域的关联特征点集合在对应的对象预测图像中所占的对象区域，得到对象区域的关联对象区域；基于各对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合。
其中，对象预测图像对应有特征点集合，特征点集合是对对象预测图像进行二维特征点检测得到的特征点组成的集合。目标对象预测图像是从多个对象预测图像中确定的，场景数据点集合中的数据点与各对象预测图像各自具有的特征点集合中的至少一个特征点具有映射关系。
具体地，针对目标对象预测图像中的每个对象区域，终端确定位于对象区域中的特征点，得到对象区域的特征点子集合；然后终端从场景数据点集合中确定与对象区域的特征点子集合中各特征点具有映射关系的数据点，得到对象区域的数据点子集合，并从多个对象预测图像中，确定存在与对象区域的数据点子集合中的数据点具有映射关系的特征点的对象预测图像，得到目标对象预测图像的关联对象预测图像。针对每个关联对象预测图像，从关联对象预测图像的特征点集合中确定与对象区域的数据点子集合中的数据点具有映射关系的特征点，组成对象区域的关联特征点集合，并确定关联特征点集合在对应的关联对象预测图像中所占的对象区域，得到对象区域的关联对象区域。
例如，表示目标对象预测图像I中所有预测到的对象区域的集合，为目标对象预测图像I中的第k个对象区域。针对对象区域/>，终端可以利用目标对象预测图像I的特征点集合中的特征点与场景数据点集合中的数据点之间的映射关系τ，从场景数据点集合中确定对象区域/>的数据点子集合PIk，并利用数据点子集合PIk中的数据点从多个对象预测图像中确定至少一个关联对象预测图像，组成关联对象预测图像集合/>，然后从每个关联对象预测图像/>中，确定对象区域/>的关联对象区域。
本实施例中，由于场景数据点集合中的每个数据点与至少一个二维场景图像的特征点集合中的特征点之间具有映射关系，通过利用目标对象预测图像中每个对象区域各自的特征点子集合，确定对象区域的数据点子集合，从而可以利用对象区域的数据点子集合，从各对象预测图像中准确的确定了对象区域的关联对象区域，从而基于对象区域的关联对象区域分组得到至少一个对象区域组合，提高了三维重建的准确度。
在一些实施例中，基于各对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合包括：针对目标对象预测图像中的每个对象区域，确定对象区域在目标对象预测图像的关联对象预测图像中的关联对象区域的数量，得到关联对象预测图像针对对象区域的关联区域数量；目标对象预测图像的关联对象预测图像，是指包括对象区域的关联对象区域的对象预测图像；对各关联对象预测图像针对对象区域的关联区域数量进行统计，基于统计结果确定对象区域的区域类型；区域类型为有效类型或无效类型中的一个；对各对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合。
其中，关联对象预测图像针对对象区域的关联区域数量，是指对象区域在目标对象预测图像的关联对象预测图像中的关联对象区域的数量，也称为关联对象预测图像针对对象区域的评估值或评分，关联区域数量为自然数，例如，可以为0，也可以为1。对象区域的区域类型是对关联区域数量进行统计得到的，区域类型为有效类型和无效类型中的一个，有效类型的对象区域为预测准确的对象区域，无效类型的对象区域为预测错误的对象区域。
具体地，由于对象预测图像中的对象区域是经过对象预测得到的，存在预测错误的情况，例如，可能将一个场景对象在二维场景图像中所占的图像区域预测为两个对象区域，或将两个场景对象在二维场景图像中所占的图像区域预测为一个对象区域，或将不存在场景对象的图像区域预测为对象区域，因此，为了确定对象预测图像中的各对象区域是否正确，针对目标对象预测图像中的每个对象区域，终端可以确定对象区域在目标对象预测图像的关联对象预测图像中的关联对象区域的数量，得到关联区域数量，并对各关联对象预测图像针对对象区域的关联区域数量进行统计，例如，可以统计关联区域数量的出现次数，基于统计结果确定对象区域的区域类型，在对象区域的区域类型为有效的情况下，从各对象预测图像中区域类型为有效类型的对象区域中确定该对象区域的关联对象区域，得到对象区域分组。
在一些实施例中，关联对象预测图像针对对象区域的关联区域数量，表征对象区域与关联对象预测图像中的关联对象区域之间的对应关系，关联对象预测图像J针对目标对象预测图像I中的对象区域的关联区域数量v(J||Ik)，存在以下三种情况：
1）v(J||Ik)=0，即关联对象预测图像J中不存在对象区域的关联对象区域，可能是对象预测图像I中的对象区域/>预测错误，将非场景对象的图像区域预测为场景对象所占的图像区域，而关联对象预测图像J预测正确；也可能是对象区域/>预测正确，但关联对象预测图像J未预测出场景对象所占的区域；
2）v(J||Ik)=1，即关联对象预测图像J中存在对象区域的1个关联对象区域，对象区域/>和关联对象预测图像J中的关联对象区域被预测为同一场景对象所占的图像区域；
3）v(J||Ik)≥2，即关联对象预测图像J中存在对象区域的至少2个关联对象区域，可能是对象区域/>预测正确，但关联对象预测图像J将属于同一场景对象的图像区域预测为多个对象区域；也可能是对象区域/>将属于多个场景对象的图像区域预测为1个对象区域，而关联对象预测图像J中的关联对象区域预测正确。
本实施例中，由于各对象预测图像中存在预测错误的情况，针对确定目标对象预测图像中的每个对象区域，通过对各关联对象预测图像针对对象区域的关联区域数量进行统计，从而基于统计结果确定了对象区域是否为有效类型，并对有效类型的对象区域进行分组得到对象区域组合，使得利用对象区域组合中的各对象区域得到的对象数据点集合更加准确，从而提高了三维场景重建的准确度。
在一些实施例中，对各关联对象预测图像针对对象区域的关联区域数量进行统计，基于统计结果确定对象区域的区域类型包括：从关联对象预测图像针对对象区域的关联区域数量中，确定出现次数最多的关联区域数量，在出现次数最多的关联区域数量为预设数量时，确定对象区域的区域类型为有效类型；对各对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合包括：依次从各有效类型的对象区域中确定目标对象区域，从各有效类型的对象区域中确定目标对象区域的关联对象区域，组成一个对象区域组合。
其中，出现次数最多的关联区域数量用于确定对象区域的区域类型，也可以称为对象区域的评估结果。预设数量是预先设置的数量，预设数量为自然数，例如，预设数量可以为1。目标对象区域是各有效类型的对象区域中的任一对象区域。
具体地，终端对目标对象预测图像的各关联对象预测图像针对对象区域的关联区域数量进行统计，确定出现次数最多的关联区域数量，在出现次数最多的关联区域数量为预设数量的情况下，确定对象区域的区域类型为有效类型；在出现次数最多的关联区域数量不为预设数量的情况下，确定对象区域的区域类型为无效类型。例如，为了确定目标对象预测图像I中的对象区域的区域类型，可以确定各关联对象预测图像/>分别针对对象区域/>的关联区域数量v(J||Ik)，得到向量ν ={v(J1||Ik), v(J2||Ik),…, v(JN||Ik)}，从向量ν中确定出现次数最多的关联区域数量：/>，在预设数量为1的情况下，进一步通过以下公式确定对象区域/>是否为有效类型：
其中，表示对象区域/>的区域类型，True表示有效类型，False表示无效类型，v(Ik)表示对象区域/>对应的评估结果。
举例说明，预设数量为1，目标对象预测图像I中的对象区域对应有8个关联场景图像， 8个关联场景图像针对对象区域/>的关联区域数量分别为0、1、1、2、1、1、0、1，则出现次数最多的关联区域数量为1，即出现次数最多的关联区域数量为预设数量，可以确定对象区域/>的区域类型为有效类型。
本实施例中，通过确定出现次数最多的关联区域数量，在出现次数最多的关联区域数量为预设数量时，确定对象区域的区域类型为有效类型，然后从有效类型的对象区域中确定目标对象区域的关联对象区域，组成一个对象区域组合，即对象区域组合中的各对象区域的区域类型均为有效类型，提高了对象区域组合的准确度，从而提高了场景三维重建的准确度。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的场景建筑快速单体化方法的场景建筑快速单体化装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个场景建筑快速单体化装置实施例中的具体限定可以参见上文中对于场景建筑快速单体化方法的限定，在此不再赘述。
在一些实施例中，如图7所示，提供了一种场景建筑快速单体化装置，包括：数据点集合确定模块702、数据点投影模块704、参考平面确定模块706和对象三维重建模块708，其中：
数据点集合确定模块702，用于确定基于三维场景的场景数据点集合得到的对象数据点集合；对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点.
数据点投影模块704，用于针对每个对象数据点集合，在对象数据点集合所占的空间区域中分布多个目标平面，并将对象数据点集合中的数据点向对应的目标平面进行投影，得到各个目标平面各自的投影点集合.
参考平面确定模块706，用于确定各目标平面的投影点集合在对应的目标平面上的轮廓，基于各轮廓从各目标平面中确定参考平面；相邻两个参考平面的轮廓面积之间的差异大于预设阈值；参考平面的轮廓面积是指参考平面上的轮廓的面积.
对象三维重建模块708，用于基于各参考平面进行三维重建，得到对象数据点集合所属的场景对象的三维重建模型。
在一些实施例中，各目标平面相互平行，参考平面确定模块706还用于：对各目标平面进行排列得到目标平面序列；目标平面序列中的各目标平面按照在空间中的位置排列；按序从目标平面序列中确定当前平面，并从目标平面序列中位于当前平面之后的目标平面中，依次查找对应的轮廓面积与当前平面对应的轮廓面积之间的比值大于预设阈值的目标平面，作为参考平面；目标平面对应的轮廓面积是指目标平面上的轮廓的面积；利用参考平面更新当前平面，并返回查找目标平面的步骤，直到遍历目标平面序列为止，得到各参考平面。
在一些实施例中，投影点集合包括全局投影点集合和局部投影点集合；数据点投影模块704还用于：针对每个目标平面，将对象数据点集合中位于目标平面同一侧的数据点向目标平面进行投影，得到目标平面的全局投影点集合；针对每个目标平面，确定与目标平面在空间上相邻的目标平面，得到目标平面的相邻平面；将对象数据点集合中位于目标平面的相邻平面以及目标平面之间的数据点，向目标平面进行投影得到目标平面的局部投影点集合。
在一些实施例中，数据点集合确定模块702还用于：获取三维场景的多个二维场景图像分别对应的对象预测图像；二维场景图像对应的对象预测图像中包括的对象区域，是通过预测得到的二维场景图像中的场景对象在二维场景图像中所占的图像区域；对各对象预测图像中的对象区域进行分组，得到至少一个对象区域组合；对象区域组合中的各对象区域被预测为同一场景对象所在的图像区域；针对每个对象区域组合，从场景数据点集合中确定与每个对象区域中的特征点具有映射关系的数据点，组成对象数据点集合。
在一些实施例中，每个对象预测图像对应有特征点集合；数据点集合确定模块702还用于：针对各对象预测图像中的目标对象预测图像，确定目标对象预测图像中每个对象区域各自的特征点子集合；对象区域的特征点子集合中的特征点，是目标对象预测图像对应的特征点集合中位于对象区域中的特征点；针对目标对象预测图像中的每个对象区域，从场景数据点集合中确定对象区域的特征点子集合中各特征点具有映射关系的数据点，得到对象区域的数据点子集合；针对目标对象预测图像中的每个对象区域，从各对象预测图像的特征点集合中确定与对象区域的数据点子集合中的数据点具有映射关系的特征点，组成对象区域的关联特征点集合；针对目标对象预测图像中的每个对象区域，确定对象区域的关联特征点集合在对应的对象预测图像中所占的对象区域，得到对象区域的关联对象区域；基于各对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合。
在一些实施例中，数据点集合确定模块702还用于：针对目标对象预测图像中的每个对象区域，确定对象区域在目标对象预测图像的关联对象预测图像中的关联对象区域的数量，得到关联对象预测图像针对对象区域的关联区域数量；目标对象预测图像的关联对象预测图像，是指包括对象区域的关联对象区域的对象预测图像；对各关联对象预测图像针对对象区域的关联区域数量进行统计，基于统计结果确定对象区域的区域类型；区域类型为有效类型或无效类型中的一个；对各对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合。
在一些实施例中，数据点集合确定模块702还用于：从关联对象预测图像针对对象区域的关联区域数量中，确定出现次数最多的关联区域数量，在出现次数最多的关联区域数量为预设数量时，确定对象区域的区域类型为有效类型；对各对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合包括：依次从各有效类型的对象区域中确定目标对象区域，从各有效类型的对象区域中确定目标对象区域的关联对象区域，组成一个对象区域组合。
上述场景建筑快速单体化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储场景建筑快速单体化方法所涉及的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种场景建筑快速单体化方法。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种场景建筑快速单体化方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8和图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述场景建筑快速单体化方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述场景建筑快速单体化方法中的步骤。
在一些实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述场景建筑快速单体化方法中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种场景建筑快速单体化方法，其特征在于，所述方法包括：
获取三维场景的多个二维场景图像分别对应的对象预测图像；所述二维场景图像对应的对象预测图像中包括的对象区域，是通过预测得到的所述二维场景图像中的场景对象在所述二维场景图像中所占的图像区域，每个所述对象预测图像对应有特征点集合；
针对各所述对象预测图像中的目标对象预测图像，确定所述目标对象预测图像中每个对象区域各自的特征点子集合；所述对象区域的特征点子集合中的特征点，是所述目标对象预测图像对应的特征点集合中位于所述对象区域中的特征点；
针对所述目标对象预测图像中的每个对象区域，从场景数据点集合中确定所述对象区域的特征点子集合中各特征点具有映射关系的数据点，得到所述对象区域的数据点子集合；
针对所述目标对象预测图像中的每个对象区域，从各所述对象预测图像的特征点集合中确定与所述对象区域的数据点子集合中的数据点具有映射关系的特征点，组成所述对象区域的关联特征点集合；
针对所述目标对象预测图像中的每个对象区域，确定所述对象区域的关联特征点集合在对应的对象预测图像中所占的对象区域，得到所述对象区域的关联对象区域；
基于各所述对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合；所述对象区域组合中的各对象区域被预测为同一场景对象所在的图像区域；
针对每个所述对象区域组合，从所述场景数据点集合中确定与每个对象区域中的特征点具有映射关系的数据点，组成对象数据点集合；所述对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；
针对每个所述对象数据点集合，在所述对象数据点集合所占的空间区域中分布多个目标平面，并将所述对象数据点集合中的数据点向对应的目标平面进行投影，得到各个所述目标平面各自的投影点集合；
确定各所述目标平面的投影点集合在对应的目标平面上的轮廓，基于各所述轮廓从各所述目标平面中确定参考平面；相邻两个所述参考平面的轮廓面积之间的差异大于预设阈值；所述参考平面的轮廓面积是指所述参考平面上的轮廓的面积；
基于各所述参考平面进行三维重建，得到所述对象数据点集合所属的场景对象的三维重建模型。
2.根据权利要求1所述的方法，其特征在于，各所述目标平面相互平行，所述包括：
对各所述目标平面进行排列得到目标平面序列；所述目标平面序列中的各所述目标平面按照在空间中的位置排列；
按序从所述目标平面序列中确定当前平面，并从所述目标平面序列中位于所述当前平面之后的目标平面中，依次查找对应的轮廓面积与所述当前平面对应的轮廓面积之间的比值大于所述预设阈值的目标平面，作为所述参考平面；所述目标平面对应的轮廓面积是指所述目标平面上的轮廓的面积；
利用参考平面更新当前平面，并返回查找目标平面的步骤，直到遍历所述目标平面序列为止，得到各所述参考平面。
3.根据权利要求1所述的方法，其特征在于，所述投影点集合包括全局投影点集合和局部投影点集合；
所述将所述对象数据点集合中的数据点向对应的目标平面进行投影，得到各个所述目标平面各自的投影点集合包括：
针对每个所述目标平面，将所述对象数据点集合中位于所述目标平面同一侧的数据点向所述目标平面进行投影，得到所述目标平面的全局投影点集合；
针对每个所述目标平面，确定与所述目标平面在空间上相邻的目标平面，得到所述目标平面的相邻平面；
将所述对象数据点集合中位于所述目标平面的相邻平面以及所述目标平面之间的数据点，向所述目标平面进行投影得到所述目标平面的局部投影点集合。
4.根据权利要求1所述的方法，其特征在于，所述基于各所述对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合包括：
针对所述目标对象预测图像中的每个对象区域，确定所述对象区域在所述目标对象预测图像的关联对象预测图像中的关联对象区域的数量，得到所述关联对象预测图像针对所述对象区域的关联区域数量；所述目标对象预测图像的关联对象预测图像，是指包括所述对象区域的关联对象区域的对象预测图像；
对各所述关联对象预测图像针对所述对象区域的关联区域数量进行统计，基于统计结果确定所述对象区域的区域类型；所述区域类型为有效类型或无效类型中的一个；
对各所述对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合。
5.根据权利要求4所述的方法，其特征在于，所述对各所述关联对象预测图像针对所述对象区域的关联区域数量进行统计，基于统计结果确定所述对象区域的区域类型包括：
从所述关联对象预测图像针对所述对象区域的关联区域数量中，确定出现次数最多的关联区域数量，在所述出现次数最多的关联区域数量为预设数量时，确定所述对象区域的区域类型为有效类型；
所述对各所述对象预测图像中区域类型为有效类型的对象区域分组得到至少一个对象区域组合包括：
依次从各所述有效类型的对象区域中确定目标对象区域，从各所述有效类型的对象区域中确定所述目标对象区域的关联对象区域，组成一个对象区域组合。
6.一种场景建筑快速单体化装置，其特征在于，所述装置包括：
数据点集合确定模块，用于获取三维场景的多个二维场景图像分别对应的对象预测图像；所述二维场景图像对应的对象预测图像中包括的对象区域，是通过预测得到的所述二维场景图像中的场景对象在所述二维场景图像中所占的图像区域，每个所述对象预测图像对应有特征点集合；针对各所述对象预测图像中的目标对象预测图像，确定所述目标对象预测图像中每个对象区域各自的特征点子集合；所述对象区域的特征点子集合中的特征点，是所述目标对象预测图像对应的特征点集合中位于所述对象区域中的特征点；针对所述目标对象预测图像中的每个对象区域，从场景数据点集合中确定所述对象区域的特征点子集合中各特征点具有映射关系的数据点，得到所述对象区域的数据点子集合；针对所述目标对象预测图像中的每个对象区域，从各所述对象预测图像的特征点集合中确定与所述对象区域的数据点子集合中的数据点具有映射关系的特征点，组成所述对象区域的关联特征点集合；针对所述目标对象预测图像中的每个对象区域，确定所述对象区域的关联特征点集合在对应的对象预测图像中所占的对象区域，得到所述对象区域的关联对象区域；基于各所述对象预测图像中各对象区域的关联对象区域分组得到至少一个对象区域组合；所述对象区域组合中的各对象区域被预测为同一场景对象所在的图像区域；针对每个所述对象区域组合，从所述场景数据点集合中确定与每个对象区域中的特征点具有映射关系的数据点，组成对象数据点集合；所述对象数据点集合中的数据点为预测出的属于同一个场景对象的数据点；
数据点投影模块，用于针对每个所述对象数据点集合，在所述对象数据点集合所占的空间区域中分布多个目标平面，并将所述对象数据点集合中的数据点向对应的目标平面进行投影，得到各个所述目标平面各自的投影点集合；
参考平面确定模块，用于确定各所述目标平面的投影点集合在对应的目标平面上的轮廓，基于各所述轮廓从各所述目标平面中确定参考平面；相邻两个所述参考平面的轮廓面积之间的差异大于预设阈值；所述参考平面的轮廓面积是指所述参考平面上的轮廓的面积；
对象三维重建模块，用于基于各所述参考平面进行三维重建，得到所述对象数据点集合所属的场景对象的三维重建模型。
7.根据权利要求6所述的装置，其特征在于，各所述目标平面相互平行，所述参考平面确定模块还用于：对各所述目标平面进行排列得到目标平面序列；所述目标平面序列中的各所述目标平面按照在空间中的位置排列；按序从所述目标平面序列中确定当前平面，并从所述目标平面序列中位于所述当前平面之后的目标平面中，依次查找对应的轮廓面积与所述当前平面对应的轮廓面积之间的比值大于所述预设阈值的目标平面，作为所述参考平面；所述目标平面对应的轮廓面积是指所述目标平面上的轮廓的面积；利用参考平面更新当前平面，并返回查找目标平面的步骤，直到遍历所述目标平面序列为止，得到各所述参考平面。
8.根据权利要求6所述的装置，其特征在于，所述投影点集合包括全局投影点集合和局部投影点集合；所述数据点投影模块还用于：针对每个所述目标平面，将所述对象数据点集合中位于所述目标平面同一侧的数据点向所述目标平面进行投影，得到所述目标平面的全局投影点集合；针对每个所述目标平面，确定与所述目标平面在空间上相邻的目标平面，得到所述目标平面的相邻平面；将所述对象数据点集合中位于所述目标平面的相邻平面以及所述目标平面之间的数据点，向所述目标平面进行投影得到所述目标平面的局部投影点集合。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310627587.8A CN116402967B (zh) | 2023-05-31 | 2023-05-31 | 场景建筑快速单体化方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310627587.8A CN116402967B (zh) | 2023-05-31 | 2023-05-31 | 场景建筑快速单体化方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402967A CN116402967A (zh) | 2023-07-07 |
| CN116402967B true CN116402967B (zh) | 2024-03-29 |
Family
ID=87012604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310627587.8A Active CN116402967B (zh) | 2023-05-31 | 2023-05-31 | 场景建筑快速单体化方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402967B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
| CN112163251A (zh) * | 2020-08-24 | 2021-01-01 | 北京航空航天大学 | 建筑模型单体化方法、装置、存储介质及电子设备 |
| CN112884894A (zh) * | 2021-04-28 | 2021-06-01 | 深圳大学 | 场景重建数据采集方法、装置、计算机设备和存储介质 |
| CN113439909A (zh) * | 2020-03-24 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种对象的三维尺寸测量方法和移动终端 |
| CN113808253A (zh) * | 2021-08-31 | 2021-12-17 | 武汉理工大学 | 场景三维重建的动态对象处理方法、系统、设备及介质 |
| CN114299230A (zh) * | 2021-12-21 | 2022-04-08 | 中汽创智科技有限公司 | 一种数据生成方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8532367B2 (en) * | 2010-08-17 | 2013-09-10 | Raytheon Company | System and method for 3D wireframe reconstruction from video |
-
2023
- 2023-05-31 CN CN202310627587.8A patent/CN116402967B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113439909A (zh) * | 2020-03-24 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种对象的三维尺寸测量方法和移动终端 |
| CN112163251A (zh) * | 2020-08-24 | 2021-01-01 | 北京航空航天大学 | 建筑模型单体化方法、装置、存储介质及电子设备 |
| CN112085845A (zh) * | 2020-09-11 | 2020-12-15 | 中国人民解放军军事科学院国防科技创新研究院 | 基于无人机影像的室外场景快速三维重建装置 |
| CN112884894A (zh) * | 2021-04-28 | 2021-06-01 | 深圳大学 | 场景重建数据采集方法、装置、计算机设备和存储介质 |
| CN113808253A (zh) * | 2021-08-31 | 2021-12-17 | 武汉理工大学 | 场景三维重建的动态对象处理方法、系统、设备及介质 |
| CN114299230A (zh) * | 2021-12-21 | 2022-04-08 | 中汽创智科技有限公司 | 一种数据生成方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于侧影轮廓的三维模型快速重建;阮孟贵等;计算机应用;第2998-3001页 * |
| 投影轮廓线辅助下的堆场三维形貌摄影测量研究;张小虎;欧建良;苑云;马钦华;朱肇昆;于起峰;;光学学报(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402967A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
| CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
| Zorzi et al. | Polyworld: Polygonal building extraction with graph neural networks in satellite images | |
| CN108537876B (zh) | 三维重建方法、装置、设备及存储介质 | |
| US10269147B2 (en) | Real-time camera position estimation with drift mitigation in incremental structure from motion | |
| US10269148B2 (en) | Real-time image undistortion for incremental 3D reconstruction | |
| US20180315232A1 (en) | Real-time incremental 3d reconstruction of sensor data | |
| CN113781667B (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| Arandjelović et al. | Nerf in detail: Learning to sample for view synthesis | |
| Lin et al. | Local and global encoder network for semantic segmentation of Airborne laser scanning point clouds | |
| CN107464286B (zh) | 三维城市模型中的孔洞修复方法及装置、设备及可读介质 | |
| EP4365841A1 (en) | Object pose detection method and apparatus, computer device, and storage medium | |
| CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
| Phalak et al. | Scan2plan: Efficient floorplan generation from 3d scans of indoor scenes | |
| Guédon et al. | Scone: Surface coverage optimization in unknown environments by volumetric integration | |
| CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
| CN116402967B (zh) | 场景建筑快速单体化方法、装置、计算机设备和存储介质 | |
| Zhou | 3D urban modeling from city-scale aerial LiDAR data | |
| Hu et al. | MVLayoutNet: 3D layout reconstruction with multi-view panoramas | |
| CN111402429A (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
| CN116206302A (zh) | 三维目标检测方法、装置、计算机设备和存储介质 | |
| CN115496835A (zh) | 一种基于cpu和gpu异构并行架构的点云数据赋色方法和系统 | |
| CN116824068B (zh) | 面向复杂动态场景中点云流的实时重建方法、装置及设备 | |
| Zhang et al. | Consistent Depth Prediction under Various Illuminations using Dilated Cross Attention | |
| Alcorn et al. | Paved2Paradise: Cost-Effective and Scalable LiDAR Simulation by Factoring the Real World |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |