CN114937124B - 基于倾斜摄影的片状目标物的三维重建方法、装置及设备 - Google Patents

基于倾斜摄影的片状目标物的三维重建方法、装置及设备 Download PDF

Info

Publication number
CN114937124B
CN114937124B CN202210874515.9A CN202210874515A CN114937124B CN 114937124 B CN114937124 B CN 114937124B CN 202210874515 A CN202210874515 A CN 202210874515A CN 114937124 B CN114937124 B CN 114937124B
Authority
CN
China
Prior art keywords
point cloud
cloud data
dense
dense point
sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210874515.9A
Other languages
English (en)
Other versions
CN114937124A (zh
Inventor
杨冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202210874515.9A priority Critical patent/CN114937124B/zh
Publication of CN114937124A publication Critical patent/CN114937124A/zh
Application granted granted Critical
Publication of CN114937124B publication Critical patent/CN114937124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于倾斜摄影的片状目标物的三维重建方法、装置及设备，其中，该方法包括：对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，对片状目标物的密集点云数据进行聚类，得到片状目标物的两类密集点云数据，两类密集点云数据为不同方向的密集点云数据，根据两类密集点云数据分别进行平面拟合，得到两个平面，若两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交，根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型。从而提高了三维模型的完整性，减少了人工修复工作量，节省了人力物力。

Description

基于倾斜摄影的片状目标物的三维重建方法、装置及设备
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种基于倾斜摄影的片状目标物的三维重建方法、装置及设备。
背景技术
随着摄影测量和计算机视觉技术的发展，通过多视角的倾斜摄影技术就可以实现对物体的三维建模，多视角的倾斜摄影指的是通过对物体进行不同角度的摄影。
现有技术中，通过对多视角图像进行影像密集匹配得到物体的密集点云数据，然后采用可视性图割的构网方法基于物体的密集点云数据生成三角网，之后基于三角网对物体进行纹理重建，得到物体的三维模型。
然而，通过影像密集匹配得到的密集点云数据误差较大，对于薄片状物体来说，正反面可能会交织在一起，重建的三维模型容易出现缺失，因此需要人工对重建出的三维模型进行几何修复，浪费人力物力。
发明内容
有鉴于此，本申请实施例提供了一种基于倾斜摄影的片状目标物的三维重建方法、装置及设备，以解决现有技术中对三维模型进行几何修复，浪费人力物力的问题。
第一方面，本申请实施例提供了一种基于倾斜摄影的片状目标物的三维重建方法，包括：
对预设场景的密集点云数据多视角倾斜影像进行片状目标物的识别，得到所述片状目标物的密集点云数据；
对所述片状目标物的密集点云数据进行聚类，得到所述片状目标物的两类密集点云数据，所述两类密集点云数据为不同方向的密集点云数据；
根据所述两类密集点云数据分别进行平面拟合，得到两个平面；
若所述两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交；
根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型。
在一可选的实施方式中，所述对预设场景的密集点云数据进行片状目标物的识别，得到所述片状目标物的密集点云数据之前，所述方法还包括：
对所述预设场景的多视角倾斜影像进行密集匹配，得到所述预设场景的密集点云数据。
在一可选的实施方式中，所述对所述预设场景的密集点云数据进行所述片状目标物的识别，得到所述片状目标物的密集点云数据，包括：
获取与所述预设场景的密集点云数据中各密集点在同一平面上的第一邻域点；
判断所述同一平面与所述片状目标物在所述预设场景的布局方向是否满足预设条件；
若所述同一平面与所述布局方向满足所述预设条件，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据。
在一可选的实施方式中，所述判断所述同一平面与所述片状目标物在所述预设场景的布局方向是否满足预设条件，包括：
若所述同一平面的法线向量与所述布局方向的特征向量垂直，则确定所述同一平面与所述布局方向满足所述预设条件。
在一可选的实施方式中，所述确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据，包括：
若与所述密集点不在所述同一平面上的第二邻域点的数量达到预设数量阈值，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据，所述片状目标物的密集点云数据还包括：所述第二邻域点。
在一可选的实施方式中，所述根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型，包括：
根据所述移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域；
根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整；
采用调整后的预设构网权重，根据所述第一点云区域内各密集点进行三维重建，以及采用所述预设构网权重，根据第二点云区域内各密集点进行三维重建，得到所述片状目标物的三维模型，所述第二点云区域为满足所述预设密集点云分布的点云区域。
在一可选的实施方式中，所述根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整，包括：
确定所述第一点云区域内各密集点与对应邻域点的平均距离；
根据所述平均距离，对所述第一点云区域内对应点的所述预设构网权重进行调整。
第二方面，本申请实施例还提供了一种基于倾斜摄影的片状目标物的三维重建装置，包括：
识别模块，用于对预设场景的密集点云数据进行片状目标物的识别，得到所述片状目标物的密集点云数据；
聚类模块，用于对所述片状目标物的密集点云数据进行聚类，得到所述片状目标物的两类密集点云数据，所述两类密集点云数据为不同方向的密集点云数据；
拟合模块，用于根据所述两类密集点云数据分别进行平面拟合，得到两个平面；
移动模块，用于若所述两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交；
重建模块，用于根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型。
在一可选的实施方式中，所述识别模块，还用于：
对所述预设场景的多视角倾斜影像进行密集匹配，得到所述预设场景的密集点云数据。
在一可选的实施方式中，所述识别模块，具体用于：
获取与所述预设场景的密集点云数据中各密集点在同一平面上的第一邻域点；
判断所述同一平面与所述片状目标物在所述预设场景的布局方向是否满足预设条件；
若所述同一平面与所述布局方向满足所述预设条件，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据。
在一可选的实施方式中，所述识别模块，具体用于：
若所述同一平面的法线向量与所述布局方向的特征向量垂直，则确定所述同一平面与所述布局方向满足所述预设条件。
在一可选的实施方式中，所述识别模块，具体用于：
若与所述密集点不在所述同一平面上的第二邻域点的数量达到预设数量阈值，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据，所述片状目标物的密集点云数据还包括：所述第二邻域点。
在一可选的实施方式中，所述重建模块，具体用于：
根据所述移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域；
根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整；
采用调整后的预设构网权重，根据所述第一点云区域内各密集点进行三维重建，以及采用所述预设构网权重，根据第二点云区域内各密集点进行三维重建，得到所述片状目标物的三维模型，所述第二点云区域为满足所述预设密集点云分布的点云区域。
在一可选的实施方式中，所述重建模块，具体用于：
确定所述第一点云区域内各密集点与对应邻域点的平均距离；
根据所述平均距离，对所述第一点云区域内对应点的所述预设构网权重进行调整。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的基于倾斜摄影的片状目标物的三维重建方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的基于倾斜摄影的片状目标物的三维重建方法。
本申请提供了一种基于倾斜摄影的片状目标物的三维重建方法、装置及设备，其中，该方法包括：对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，对片状目标物的密集点云数据进行聚类，得到片状目标物的两类密集点云数据，两类密集点云数据为不同方向的密集点云数据，根据两类密集点云数据分别进行平面拟合，得到两个平面，若两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交，根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型。从而提高了三维模型的完整性，减少了人工修复工作量，节省了人力物力。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图一；
图2为本申请实施例提供的路牌的示意图；
图3为本申请实施例提供的片状目标物的密集点云数据的示意图；
图4为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图二；
图5为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图三；
图6为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图四；
图7为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建装置的结构示意图；
图8为本申请实施例所提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，基于倾斜摄影的片状目标物的三维重建方法在实际的三维建模应用中仍然存在一些缺陷，例如，对于城市场景中的路牌、施工围栏、广告牌等这类“薄片状”物体来说，通过影像密集匹配得到的密集点云数据误差较大，对于薄片状物体来说，正反面可能会交织在一起，基于可视性图割的构网方法所生成的三角网很容易缺失的情况，这样重建的三维模型容易缺失不完整，并且由于影像密集匹配得到的密集点云数据在弱纹理区域匹配很不稳定，生成的密集点云数据噪声较大，导致生成的三角网出现几何扭曲的情况，使得重建的三维模型出现几何扭曲，因此需要人工对重建的三维模型进行几何修复，往往需要浪费大量人力物力，影响三维模型的生产效率。
基于此，本申请提供了一种基于倾斜摄影的片状目标物的三维重建方法，避免两类密集点云数据拟合的两个平面相交，提高了三维模型的完整性，减少了模型后处理的工作量，无需人工进行干预，自动化程度高，节省了人力物力。
下面结合几个具体实施例对本申请提供的基于倾斜摄影的片状目标物的三维重建方法进行说明。
图1为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图一，本实施例的执行主体可以为电子设备，例如，手机、笔记本电脑、台式电脑等具备数据处理能力的设备。
如图1所示，该方法包括：
S101、对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据。
预设场景的密集点云数据为对预设场景的多视角倾斜影像进行密集匹配得到的，预设场景的多视角倾斜影像为对预设场景进行不同角度的摄影得到的图像，预设场景中包括片状目标物，片状目标物例如可以为路牌、施工围栏、广告牌等“薄片状”物体。
在一种实际应用场景中，采集装置上设有多个图像传感器，多个图像传感器用于对预设场景进行不同角度的摄影，得到预设场景的多视角倾斜影像，并将该多视角倾斜影像传输给电子设备。
对预设场景的多视角倾斜影像进行影像密集匹配，可以得到预设场景的密集点云数据，然后基于预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，该密集点云数据可以为三维密集点云数据。
S102、对片状目标物的密集点云数据进行聚类，得到片状目标物的两类密集点云数据。
其中，片状目标物具有两个平面，每个面上的点属于同一类密集点云数据，不同面上的点属于不同类密集点云数据，也即，两类密集点云数据为不同方向的密集点云数据，以路牌为例，图2为本申请实施例提供的路牌的示意图，如图2所示，路牌具有正反两个平面，每个平面上分别显示有道路指示，图2中的一面指示有地点1至地点4。
在本步骤中，可以计算密集点云数据中各密集点的法线向量，然后基于各密集点的法线向量对密集点云数据中的点进行聚类，得到片状目标物的两类密集点云数据，这样即可将片状目标物的正反面的密集点云数据分割出来，其中，聚类可以为计算每两个点的法线向量的相似度，若相似度不超过预设阈值，则这两个点属于同一类密集点云数据，若相似度超过预设阈值，则这两个点属于不同类密集点云数据。
在一些实施例中，对于密集点云数据中的任意点，统计密集点云数据中与该点在 预设距离范围内的
Figure DEST_PATH_IMAGE002
个邻域点，采用主成分分析（principal component analysis ，PCA）算 法根据
Figure 493176DEST_PATH_IMAGE002
个邻域点，构建带权协方差矩阵
Figure DEST_PATH_IMAGE004
，如下公式（1）至（3）：
Figure DEST_PATH_IMAGE006
（1）
Figure DEST_PATH_IMAGE008
（2）
Figure DEST_PATH_IMAGE010
（3）
其中，
Figure DEST_PATH_IMAGE012
为任意点的三维位置坐标，
Figure 33485DEST_PATH_IMAGE002
为邻域点的数量，
Figure DEST_PATH_IMAGE014
为第
Figure DEST_PATH_IMAGE016
个邻域点，取值 范围为由1到
Figure 626272DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE018
为常数，可设置为密集点云数据中点与点之间的平均点间距。
然后基于邻域点所在平面对矩阵
Figure 21481DEST_PATH_IMAGE004
进行特征值分解，最小特征值对应的特征向量 为任意点的法线向量
Figure DEST_PATH_IMAGE020
。
需要说明的是，若任意点的法线向量
Figure 960487DEST_PATH_IMAGE020
与该任意点的光线向量（该任意点到摄影 中心的向量）的夹角超过90°，则对法线向量
Figure 782949DEST_PATH_IMAGE020
进行反向，即任意点的法线向量
Figure 987666DEST_PATH_IMAGE020
=-
Figure 186566DEST_PATH_IMAGE020
。
S103、根据两类密集点云数据分别进行平面拟合，得到两个平面。
S104、若两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交。
将片状目标物的两个密集点云数据确定出来后，分别根据两类密集点云数据进行平面拟合，得到两类密集点云数据分别对应平面，若拟合得到的两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交，其中，对于片状目标物而言，两个平面的法向相反，法向为法线方向。
图3为本申请实施例提供的片状目标物的密集点云数据的示意图，如图3所示，实心圆和空心圆分别为片状目标物的正面密集点云数据和反面密集点云数据，这两类密集点云数据交织在一起，所以拟合得到的两个平面必然相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，两个平面的法向分别向左、向右，移动密集点云数据一定距离之后，直至基于移动后两类密集点云数据拟合的两个平面不相交，然后将各自聚类的密集点云数据进行平滑去噪处理，即往对应的平面上调整，以得到移动后的两类密集点云数据。
其中，需要说明的是，对于不在对应平面上的点，可以采用拉普拉斯平滑方法将该点向所拟合的平面方向进行调整，通过去噪处理，避免了三维模型出现几何结构扭曲的情况。
S105、根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型。
采用可视性图割的构网方法，根据移动后的两类密集点云数据进行三维重建，可以得到片状目标物的三维模型，移动后的两类密集点云数据不交织，所以生成的三角网也不会出现缺失，根据移动后的两类密集点云数据进行三维重建，得到的片状目标物的三维模型也不会出现缺失，保证了三维模型的完整性。
在本实施例的基于倾斜摄影的片状目标物的三维重建方法中，对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，对片状目标物的密集点云数据进行聚类，得到片状目标物的两类密集点云数据，两类密集点云数据为不同方向的密集点云数据，根据两类密集点云数据分别进行平面拟合，得到两个平面，若两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交，根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型。从而提高了三维模型的完整性，减少了人工修复工作量，节省了人力物力。
下面结合图4至图5对片状目标物的密集点云数据的一种识别过程进行说明。
图4为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图二，如图4所示，对预设场景的多视角倾斜影像进行片状目标物的识别，得到片状目标物的密集点云数据之前，该方法包括：
S201、对预设场景的多视角倾斜影像进行密集匹配，得到预设场景的密集点云数据。
对预设场景的多视角倾斜影像进行密集匹配，得到预设场景的密集点云数据，其中，预设场景的密集点云数据包括片状目标物的密集点云数据以及其它物体的密集点云数据，则可以根据片状目标物的结构特性，对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，其中，片状目标物的密集点云数据为密集点云数据。
其中，片状目标物的结构特性可以包括：片状目标物满足平面的特性（即片状目标物的局部范围为平面）、两个面的法向相反、面的法线向量与片状目标物的结构特性在预设场景中的布局方向的特征向量接近垂直，该布局方向可以为图2所示的竖直方向。
图5为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图三，如图5所示，对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据，包括：
S301、获取与预设场景的密集点云数据中各密集点在同一平面上的第一邻域点。
其中，在同一平面上的两个点的法线向量夹角不超过预设夹角阈值，两个点的法向尽量保持一致（即局部范围内为平面），预设夹角阈值可以为180°。
因此，可以获取预设场景的密集点云数据中与各密集点在预设距离范围的邻域点，计算各密集点的法线向量与邻域点的法线向量，然后计算各密集点的法线向量与邻域点的法线向量之间的夹角，根据该夹角判断密集点与邻域点是否在同一平面上，确定在同一平面上的邻域点为第一邻域点，其中，预设场景的密集点云数据包括多个密集点，预设场景的密集点云数据包括该邻域点。
例如，对于预设场景的密集点云数据中各密集点，可以统计预设场景的密集点云 数据中与各密集点在预设距离范围的
Figure 564368DEST_PATH_IMAGE002
个邻域点，然后计算各密集点的法线向量以及
Figure 557732DEST_PATH_IMAGE002
个 邻域点的法线向量，其中，各密集点的法线向量以及
Figure 249744DEST_PATH_IMAGE002
个邻域点的法线向量可以采用前述公 式（1）至公式（3）计算得到。
然后，计算密集点的法线向量与邻域点的法线向量之间的夹角，根据预设夹角阈 值对这些夹角进行二分，计算夹角小于预设夹角阈值的所有夹角的中值
Figure DEST_PATH_IMAGE022
，若
Figure DEST_PATH_IMAGE024
满足公式（4），则确定夹角小于预设夹角阈值对应的邻域点为第一邻域点。
Figure DEST_PATH_IMAGE026
（4）
其中，
Figure DEST_PATH_IMAGE028
为根据实际情况设定的夹角阈值，例如可以为前述预设夹角阈值，取值 可以为 180°。
S302、判断同一平面与片状目标物在预设场景的布局方向是否满足预设条件。
其中，片状目标物在预设场景的布局方向可以为横向方向、竖直方向，对于片状目标物而言，可以判断该同一平面的法线向量与该布局方向的特征向量是否垂直，若同一平面的法线向量与布局方向的特征向量垂直，则确定该同一平面与布局方向满足预设条件，若同一平面的法线向量与布局方向的特征向量不垂直，则确定该同一平面与布局方向不满足预设条件，其中，该同一平面为密集点与第一邻域点所拟合出的平面，该同一平面的法向为第一邻域点的法线向量的平均值。
例如，第一邻域点的法线向量的平均值为
Figure DEST_PATH_IMAGE030
，若同一平面的法线向量与布局方 向的特征向量垂直，即满足公式（5），则同一平面与片状目标物在预设场景的布局方向满足 预设条件。
Figure DEST_PATH_IMAGE032
（5）
其中，以竖直方向为例，x、y为0，z为1，布局方向的特征向量为
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE036
取值 可以为0。
S303、若同一平面与布局方向满足预设条件，则确定密集点和第一邻域点为片状目标物的密集点云数据。
若同一平面与布局方向满足预设条件，说明满足了片状目标物的结构特性，则可以确定密集点和第一邻域点为片状目标物的密集点云数据。
在一可选的实施方式中，确定密集点和第一邻域点为片状目标物的密集点云数据，包括：
若与密集点不在同一平面上的第二邻域点的数量达到预设数量阈值，则确定密集点和第一邻域点为片状目标物的密集点云数据。
其中，第二邻域点为与密集点不在同一平面上的邻域点，即夹角大于预设夹角阈值的邻域点，若第二领域点的数量达到预设数量阈值，则说明满足“薄片状”物体的属性，即局部范围内为平面且具有一定数量不在同一平面上的邻域点，则进一步识别出片状目标物，即密集点和第一邻域点为片状目标物的密集点云数据，其中，片状目标物包括“薄片状”物体，片状目标物的密集点云数据还包括：第二邻域点。
例如，若第二领域点的数量
Figure DEST_PATH_IMAGE038
满足公式（6），则密集点和第一邻域点为片状目标物 的密集点云数据。
Figure DEST_PATH_IMAGE040
（6）
其中，
Figure 924439DEST_PATH_IMAGE028
为根据实际情况设定的预设数量阈值，本实施例
Figure 447824DEST_PATH_IMAGE028
的取值不做具体限 定。
在一些情况中，经过上述优化后，对于点云稀疏的弱纹理薄片状区域而言，构建的三角网不完整的问题依然存在，导致重建的三维模型不完整，为解决该问题，在经典的可视性图割构网方法的基础上提供了一种自适应加权的三角网构建方法。下面结合图6进行说明。
需要说明的是，经典的可视性图割构网方法是利用密集点云数据构建空间Delaunay四面体，然后将空间Delaunay四面体转化成Voronoi图并利用可视信息进行加权，最后通过图割来获取片状物三维模型的方法。
图6为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建方法的流程示意图四，如图6所示，根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型，包括：
S401、根据移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域。
根据移动后的两类密集点云数据，可以确定满足预设密集点云分布的第一区域和不满足预设密集点云分布的第二区域，其中，预设密集点云分布指的是第一点云区域内点与点相对集中。
S402、根据第一点云区域内各密集点的分布，对第一点云区域内各密集点的预设构网权重进行调整。
其中，为防止基于第一点云区域各密集点进行可视性图割构网时，导致三角网不完整，进而三维模型不完整，则可以根据第一点云区域内各密集点的分布，对第一点云区域内各密集点的预设构网权重进行调整，其中，预设构网权重可以为可视性图割构网中常规设置的构网权重。
例如，对移动后的两类密集点云数据构建Kd-trees索引，对于移动后的两类密集 点云数据中的各密集点，查找各密集点的
Figure 815352DEST_PATH_IMAGE002
个邻域点，统计各密集点与对应邻域点的距离的 平均值
Figure DEST_PATH_IMAGE042
（即平均距离），
Figure DEST_PATH_IMAGE044
越大说明点云越稀疏，则可以将对应的预设构网权重调 大，以防止生成的三角网不完整。
在一可选的实施方式中，根据第一点云区域内各密集点的分布，对第一点云区域内各密集点的预设构网权重进行调整，包括：确定第一点云区域内各密集点与对应邻域点的平均距离；根据平均距离，对第一点云区域内对应点的预设构网权重进行调整。
各密集点对应邻域点的数量有多个，计算第一点云区域内各密集点与各邻域点的距离，基于该距离计算各密集点与对应邻域点的平均距离，然后根据该平均距离，对第一点云区域内对应点的预设构网权重进行调整，其中，第一点云区域内各密集点均对应一个平均距离。
在一些实施例中，对于第一点云区域内各密集点，均对应一个平均距离，然后计算所有点的平均距离的均值，对于第一点云区域内各密集点，采用该点对应的平均距离，与该均值的比值作为预设构网权重的系数，即调整后的预设构网权重为该系数为预设构网权重的乘积，参见公式（7）和公式（8）：
Figure DEST_PATH_IMAGE046
（7）
Figure DEST_PATH_IMAGE048
（8）
其中，
Figure DEST_PATH_IMAGE050
为预设构网权重，
Figure DEST_PATH_IMAGE052
为调整后的预设构网权重，
Figure DEST_PATH_IMAGE054
为所有点的平均 距离的均值，
Figure 493196DEST_PATH_IMAGE038
为第一点云区域内点的数量，
Figure DEST_PATH_IMAGE056
为第一点云区域内中第
Figure DEST_PATH_IMAGE058
个点的平均距 离。
S403、采用调整后的预设构网权重，根据第一点云区域内各密集点进行三维重建，以及采用预设构网权重，根据第二点云区域内各密集点进行三维重建，得到片状目标物的三维模型。
采用调整后的预设构网权重，根据第一点云区域内各密集点进行三维重建，以及采用预设构网权重，根据第二点云区域内各密集点进行三维重建，得到片状目标物的三维模型，第二点云区域为满足预设密集点云分布的点云区域，关于三维重建过程可以为先构建对应三角网，再基于三角网重建三维模型，具体可以参见现有技术相关描述，在此不再赘述。
也即，对于稀疏区域，采用自适应加权构网方法调整预设构网权重，保证了三维模型的完整性。
图7为本申请实施例提供的基于倾斜摄影的片状目标物的三维重建装置的结构示意图，该装置可以集成在电子设备中。如图7所示，该装置包括：
识别模块501，用于对预设场景的密集点云数据进行片状目标物的识别，得到片状目标物的密集点云数据；
聚类模块502，用于对片状目标物的密集点云数据进行聚类，得到片状目标物的两类密集点云数据，两类密集点云数据为不同方向的密集点云数据；
拟合模块503，用于根据两类密集点云数据分别进行平面拟合，得到两个平面；
移动模块504，用于若两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交；
重建模块505，用于根据移动后的两类密集点云数据进行三维重建，得到片状目标物的三维模型。
在一可选的实施方式中，识别模块501，还用于：
对预设场景的多视角倾斜影像进行密集匹配，得到预设场景的密集点云数据。
在一可选的实施方式中，识别模块501，具体用于：
获取与预设场景的密集点云数据中各密集点在同一平面上的第一邻域点；
判断同一平面与片状目标物在预设场景的布局方向是否满足预设条件；
若同一平面与布局方向满足预设条件，则确定密集点和第一邻域点为片状目标物的密集点云数据。
在一可选的实施方式中，识别模块501，具体用于：
若同一平面的法线向量与布局方向的特征向量垂直，则确定同一平面与布局方向满足预设条件。
在一可选的实施方式中，识别模块501，具体用于：
若与密集点不在同一平面上的第二邻域点的数量达到预设数量阈值，则确定密集点和第一邻域点为片状目标物的密集点云数据，片状目标物的密集点云数据还包括：第二邻域点。
在一可选的实施方式中，重建模块505，具体用于：
根据移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域；
根据第一点云区域内各密集点的分布，对第一点云区域内各密集点的预设构网权重进行调整；
采用调整后的预设构网权重，根据第一点云区域内各密集点进行三维重建，以及采用预设构网权重，根据第二点云区域内各密集点进行三维重建，得到片状目标物的三维模型，第二点云区域为满足预设密集点云分布的点云区域。
在一可选的实施方式中，重建模块505，具体用于：
确定第一点云区域内各密集点与对应邻域点的平均距离；
根据平均距离，对第一点云区域内对应点的预设构网权重进行调整。
在本实施例的基于倾斜摄影的片状目标物的三维重建装置中，实现过程和实现原理可以参见前述方法实施例，在此不再赘述。
图8为本申请实施例所提供的电子设备的结构示意图，包括：处理器601、存储器602和总线603，存储器602存储有处理器601可执行的机器可读指令，当电子设备运行时，处理器601与存储器602之间通过总线603通信，处理器601执行机器可读指令，以执行前述基于倾斜摄影的片状目标物的三维重建方法。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前述基于倾斜摄影的片状目标物的三维重建方法。
在本申请实施例中，该计算机程序被处理器运行时还可以执行其它机器可读指令，以执行如实施例中其它的方法，关于具体执行的方法步骤和原理参见实施例的说明，在此不再详细赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本邻域的普通技术人员应当理解：任何熟悉本技术邻域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于倾斜摄影的片状目标物的三维重建方法，其特征在于，包括：
对预设场景的密集点云数据进行片状目标物的识别，得到所述片状目标物的密集点云数据；
对所述片状目标物的密集点云数据进行聚类，得到所述片状目标物的两类密集点云数据，所述两类密集点云数据为不同方向的密集点云数据；
根据所述两类密集点云数据分别进行平面拟合，得到两个平面；
若所述两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交；
根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型；
所述根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型，包括：
根据所述移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域；
根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整；
采用调整后的预设构网权重，根据所述第一点云区域内各密集点进行三维重建，以及采用所述预设构网权重，根据第二点云区域内各密集点进行三维重建，得到所述片状目标物的三维模型，所述第二点云区域为满足所述预设密集点云分布的点云区域。
2.根据权利要求1所述的方法，其特征在于，所述对预设场景的密集点云数据进行片状目标物的识别，得到所述片状目标物的密集点云数据之前，所述方法还包括：
对所述预设场景的多视角倾斜影像进行密集匹配，得到所述预设场景的密集点云数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述预设场景的密集点云数据进行所述片状目标物的识别，得到所述片状目标物的密集点云数据，包括：
获取与所述预设场景的密集点云数据中各密集点在同一平面上的第一邻域点；
判断所述同一平面与所述片状目标物在所述预设场景的布局方向是否满足预设条件；
若所述同一平面与所述布局方向满足所述预设条件，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据。
4.根据权利要求3所述的方法，其特征在于，所述判断所述同一平面与所述片状目标物在所述预设场景的布局方向是否满足预设条件，包括：
若所述同一平面的法线向量与所述布局方向的特征向量垂直，则确定所述同一平面与所述布局方向满足所述预设条件。
5.根据权利要求3所述的方法，其特征在于，所述确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据，包括：
若与所述密集点不在所述同一平面上的第二邻域点的数量达到预设数量阈值，则确定所述密集点和所述第一邻域点为所述片状目标物的密集点云数据，所述片状目标物的密集点云数据还包括：所述第二邻域点。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整，包括：
确定所述第一点云区域内各密集点与对应邻域点的平均距离；
根据所述平均距离，对所述第一点云区域内对应点的所述预设构网权重进行调整。
7.一种基于倾斜摄影的片状目标物的三维重建装置，其特征在于，包括：
识别模块，用于对预设场景的密集点云数据进行片状目标物的识别，得到所述片状目标物的密集点云数据；
聚类模块，用于对所述片状目标物的密集点云数据进行聚类，得到所述片状目标物的两类密集点云数据，所述两类密集点云数据为不同方向的密集点云数据；
拟合模块，用于根据所述两类密集点云数据分别进行平面拟合，得到两个平面；
移动模块，用于若所述两个平面相交，则分别沿着每个平面的法向移动对应的一类密集点云数据，直至基于移动后两类密集点云数据拟合的两个平面不相交；
重建模块，用于根据所述移动后的两类密集点云数据进行三维重建，得到所述片状目标物的三维模型；
所述重建模块，具体用于：
根据所述移动后的两类密集点云数据，确定不满足预设密集点云分布的第一点云区域；
根据所述第一点云区域内各密集点的分布，对所述第一点云区域内各密集点的预设构网权重进行调整；
采用调整后的预设构网权重，根据所述第一点云区域内各密集点进行三维重建，以及采用所述预设构网权重，根据第二点云区域内各密集点进行三维重建，得到所述片状目标物的三维模型，所述第二点云区域为满足所述预设密集点云分布的点云区域。
8.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1至6任一项所述的基于倾斜摄影的片状目标物的三维重建方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1至6任一项所述的基于倾斜摄影的片状目标物的三维重建方法。
CN202210874515.9A 2022-07-25 2022-07-25 基于倾斜摄影的片状目标物的三维重建方法、装置及设备 Active CN114937124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210874515.9A CN114937124B (zh) 2022-07-25 2022-07-25 基于倾斜摄影的片状目标物的三维重建方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874515.9A CN114937124B (zh) 2022-07-25 2022-07-25 基于倾斜摄影的片状目标物的三维重建方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114937124A CN114937124A (zh) 2022-08-23
CN114937124B true CN114937124B (zh) 2022-10-25

Family

ID=82868823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874515.9A Active CN114937124B (zh) 2022-07-25 2022-07-25 基于倾斜摄影的片状目标物的三维重建方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114937124B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050640B (zh) * 2014-06-16 2017-01-04 西安电子科技大学 一种多视角密集点云数据融合方法
TWI589174B (zh) * 2015-12-07 2017-06-21 國立交通大學 用於無線區域網路中多接取點之合作傳輸系統及其方法
CN114041168A (zh) * 2019-05-02 2022-02-11 柯达阿拉里斯股份有限公司 自动化360度密集点对象检验
CN111932671A (zh) * 2020-08-22 2020-11-13 扆亮海 基于密集点云数据的三维实体模型重建方法
CN114049466A (zh) * 2021-11-29 2022-02-15 浙江商汤科技开发有限公司 重建物体表面的方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN114937124A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US10230947B2 (en) Panoramic camera systems
Jancosek et al. Exploiting visibility information in surface reconstruction to preserve weakly supported surfaces
Xiao et al. CAD mesh model segmentation by clustering
US20210256763A1 (en) Method and device for simplifying three-dimensional mesh model
Adam et al. H-RANSAC: A hybrid point cloud segmentation combining 2D and 3D data
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
Lu et al. PatchMatch filter: edge-aware filtering meets randomized search for visual correspondence
CN114612665B (zh) 基于法向量直方图特征的位姿估计及动态车辆检测方法
CN112927353A (zh) 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN109766896B (zh) 一种相似度度量方法、装置、设备和存储介质
CN114202632A (zh) 网格线性结构恢复方法、装置、电子设备及存储介质
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
CN113920275B (zh) 三角网格构建方法、装置、电子设备及可读存储介质
CN114937124B (zh) 基于倾斜摄影的片状目标物的三维重建方法、装置及设备
CN113570725A (zh) 基于聚类的三维表面重建方法、装置、服务器及存储介质
Wang et al. A novel method for surface mesh smoothing: applications in biomedical modeling
Lee et al. Refinement of inverse depth plane in textureless and occluded regions in a multiview stereo matching scheme
Phothong et al. Quality improvement of 3D models reconstructed from silhouettes of multiple images
US8891869B2 (en) System and method for effectively performing an integrated segmentation procedure
Sharma et al. Parameter Extraction and Performance Analysis of 3D Surface Reconstruction Techniques
Wang et al. Segmentation-driven feature-preserving mesh denoising
CN113283442B (zh) 特征点的提取方法和装置
US20240135632A1 (en) Method and appratus with neural rendering based on view augmentation
US11100721B1 (en) Integrating 2D images into a display of a 3D reality mesh to recover lost context
CN108038876B (zh) 一种空间目标立方体部件检测估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant