CN116486039A - 点云数据处理方法、装置、电子设备及存储介质 - Google Patents

点云数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116486039A
CN116486039A CN202310370368.6A CN202310370368A CN116486039A CN 116486039 A CN116486039 A CN 116486039A CN 202310370368 A CN202310370368 A CN 202310370368A CN 116486039 A CN116486039 A CN 116486039A
Authority
CN
China
Prior art keywords
point cloud
triangle
view angle
view
angle frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310370368.6A
Other languages
English (en)
Inventor
李顺恺
张维一
郭小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202310370368.6A priority Critical patent/CN116486039A/zh
Publication of CN116486039A publication Critical patent/CN116486039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种点云数据处理方法、装置、电子设备及存储介质，所述方法包括：获取待补全点云在不同视角帧中对应的三角剖分结果；基于待补全点云的共视关系，修正各视角帧对应的三角剖分结果，得到各视角帧对应的修正后三角剖分结果；各修正后三角剖分结果对应的三角连接关系在空间中相统一；针对任一视角帧，分类任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；优化后分割区域为包括三角形集合的分割区域，三角形集合中的各三角形均属于分割区域所在的平面；将各优化后分割区域补全为平面，获得待补全点云对应的补全后点云。采用本方法无需采集大量数据训练，计算量小、泛化性高，有较好的鲁棒性。

Description

点云数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种点云数据处理方法、装置、电子设备及存储介质。
背景技术
在三维重建技术中的后处理过程中，可以对待重建场景中的原始残缺三维点云进行补全，以恢复出完整的点云结构。
相关技术中，通常采用基于深度学习的点云补全方法，但其需要在特定的物体数据集上进行训练，仅能对特定物体实现点云补全，泛化性弱，且对原始点云的质量要求较高，计算量大，点云补全处理效率低。
发明内容
本公开提供一种点云数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中存在点云补全处理效率低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种点云数据处理方法，包括：
获取待补全点云在不同视角帧中对应的三角剖分结果；
基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果；各所述修正后三角剖分结果对应的三角连接关系在空间中相统一；
针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；所述优化后分割区域为包括三角形集合的分割区域，所述三角形集合中的各所述三角形均属于所述分割区域所在的平面，所述分割区域为根据所述任一视角帧对应的图像分割结果确定的；
将各所述优化后分割区域补全为平面，获得所述待补全点云对应的补全后点云。
在一种可能实现方式中，所述基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果，包括：
针对所述待补全点云中任一点云，基于所述待补全点云的共视关系，从各所述视角帧对应的三角剖分结果中，确定所述任一点云在各所述视角帧中所在的三角形；
根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形；所述选定三角形的三角形平面为所述任一点云在空间中对应的唯一三角形平面；
从多个所述选定三角形中确定出目标三角形，并将所述目标三角形投影至各所述视角帧，得到各所述视角帧对应的修正后三角剖分结果；所述目标三角形为面积最大的选定三角形。
在一种可能实现方式中，所述根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形，包括：
确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息；所述观测效果信息用于表征在对应视角帧的视角下，观测所述任一点云在所述对应视角帧中所在三角形的效果；
从各所述观测效果信息中确定目标观测效果信息，并将所述目标观测效果信息对应的三角形，作为所述任一点云对应的选定三角形。
在一种可能实现方式中，所述确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息，包括：
针对每个视角帧，根据所述视角帧对应的相机位姿信息确定相机中心位置；
基于所述任一点云在所述视角帧中所在三角形的三个顶点，计算所述三个顶点中任意两个顶点相对于所述相机中心位置的夹角；
根据所述任一点云在所述视角帧中所在三角形的夹角，得到所述任一点云在所述视角帧中所在三角形对应的观测效果信息。
在一种可能实现方式中，在所述确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息的步骤之前，所述方法还包括：
针对所述任一点云在各所述视角帧中所在的三角形，确定各所述三角形对应的内角角度信息；
去除未满足角度条件的内角角度信息对应的三角形；所述角度条件用于筛选出适合点云补全任务的三角形。
在一种可能实现方式中，所述针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域，包括：
针对任一视角帧，获取所述任一视角帧对应的图像分割结果；所述图像分割结果包括多个分割区域；
确定各所述分割区域对应的平面拟合结果，以及所述任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果；
在每个分割区域中，根据所述分割区域对应的平面拟合结果与所述任一三角形对应的平面拟合结果间的相似度，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，得到所述分割区域对应的三角形集合；
合并所述三角形集合和相应的所述分割区域，得到所述至少一个优化后分割区域。
在一种可能实现方式中，所述获取待补全点云在不同视角帧中对应的三角剖分结果，包括：
获取待补全点云在不同视角帧中对应的点云投影图像；
针对任一点云投影图像，以所述任一点云投影图像中的多个特征点为顶点，对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形；
根据各所述点云投影图像对应的多个三角形，确定各所述视角帧对应的三角剖分结果。
在一种可能实现方式中，所述获取待补全点云在不同视角帧中对应的点云投影图像，包括：
获取不同所述视角帧对应的相机位姿信息；
根据所述待补全点云的共视关系和各所述视角帧对应的相机位姿信息，在所述待补全点云中确定各所述视角帧对应的点云集合；
针对任一点云集合，将所述任一点云集合中的点云投影至对应的视角帧，得到所述视角帧对应的点云投影图像。
在一种可能实现方式中，所述对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形，包括：
对所述任一点云投影图像进行三角剖分，得到多个候选三角形；
从所述多个候选三角形中确定出满足预设面积条件的候选三角形，作为所述任一点云投影图像对应的多个三角形。
根据本公开实施例的第二方面，提供一种点云数据处理装置，包括：
三角剖分单元，被配置为执行获取待补全点云在不同视角帧中对应的三角剖分结果；
修正单元，被配置为执行基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果；各所述修正后三角剖分结果对应的三角连接关系在空间中相统一；
分割区域优化单元，被配置为执行针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；所述优化后分割区域为包括三角形集合的分割区域，所述三角形集合中的各所述三角形均属于所述分割区域所在的平面，所述分割区域为根据所述任一视角帧对应的图像分割结果确定的；
点云补全单元，被配置为执行将各所述优化后分割区域补全为平面，获得所述待补全点云对应的补全后点云。
在一种可能实现方式中，所述修正单元，具体被配置为执行针对所述待补全点云中任一点云，基于所述待补全点云的共视关系，从各所述视角帧对应的三角剖分结果中，确定所述任一点云在各所述视角帧中所在的三角形；根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形；所述选定三角形的三角形平面为所述任一点云在空间中对应的唯一三角形平面；从多个所述选定三角形中确定出目标三角形，并将所述目标三角形投影至各所述视角帧，得到各所述视角帧对应的修正后三角剖分结果；所述目标三角形为面积最大的选定三角形。
在一种可能实现方式中，所述修正单元，具体被配置为执行确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息；所述观测效果信息用于表征在对应视角帧的视角下，观测所述任一点云在所述对应视角帧中所在三角形的效果；从各所述观测效果信息中确定目标观测效果信息，并将所述目标观测效果信息对应的三角形，作为所述任一点云对应的选定三角形。
在一种可能实现方式中，所述修正单元，具体被配置为执行针对每个视角帧，根据所述视角帧对应的相机位姿信息确定相机中心位置；基于所述任一点云在所述视角帧中所在三角形的三个顶点，计算所述三个顶点中任意两个顶点相对于所述相机中心位置的夹角；根据所述任一点云在所述视角帧中所在三角形的夹角，得到所述任一点云在所述视角帧中所在三角形对应的观测效果信息。
在一种可能实现方式中，所述点云数据处理装置，还包括：
内角角度信息确定单元，具体被配置为执行针对所述任一点云在各所述视角帧中所在的三角形，确定各所述三角形对应的内角角度信息；
角度条件筛选单元，具体被配置为执行去除未满足角度条件的内角角度信息对应的三角形；所述角度条件用于筛选出适合点云补全任务的三角形。
在一种可能实现方式中，所述分割区域优化单元，具体被配置为执行针对任一视角帧，获取所述任一视角帧对应的图像分割结果；所述图像分割结果包括多个分割区域；确定各所述分割区域对应的平面拟合结果，以及所述任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果；在每个分割区域中，根据所述分割区域对应的平面拟合结果与所述任一三角形对应的平面拟合结果间的相似度，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，得到所述分割区域对应的三角形集合；合并所述三角形集合和相应的所述分割区域，得到所述至少一个优化后分割区域。
在一种可能实现方式中，所述三角剖分单元，具体被配置为执行获取待补全点云在不同视角帧中对应的点云投影图像；针对任一点云投影图像，以所述任一点云投影图像中的多个特征点为顶点，对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形；根据各所述点云投影图像对应的多个三角形，确定各所述视角帧对应的三角剖分结果。
在一种可能实现方式中，所述三角剖分单元，具体被配置为执行获取不同所述视角帧对应的相机位姿信息；根据所述待补全点云的共视关系和各所述视角帧对应的相机位姿信息，在所述待补全点云中确定各所述视角帧对应的点云集合；针对任一点云集合，将所述任一点云集合中的点云投影至对应的视角帧，得到所述视角帧对应的点云投影图像。
在一种可能实现方式中，所述三角剖分单元，具体被配置为执行对所述任一点云投影图像进行三角剖分，得到多个候选三角形；从所述多个候选三角形中确定出满足预设面积条件的候选三角形，作为所述任一点云投影图像对应的多个三角形。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的点云数据处理方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述任一项所述的点云数据处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上述任一项所述的点云数据处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开的方案，通过获取待补全点云在不同视角帧中对应的三角剖分结果，然后基于待补全点云的共视关系，修正各视角帧对应的三角剖分结果，得到各视角帧对应的修正后三角剖分结果，各修正后三角剖分结果对应的三角连接关系在空间中相统一，进而针对任一视角帧，分类任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域，该优化后分割区域为包括三角形集合的分割区域，该三角形集合中的各三角形均属于分割区域所在的平面，该分割区域为根据任一视角帧对应的图像分割结果确定的，将各优化后分割区域补全为平面，获得待补全点云对应的补全后点云。如此，可以通过结合待补全点云的共视关系、各视角帧对应的三角剖分结果和图像分割结果，优化点云补全结果，无需采集大量数据训练，计算量小、泛化性高，对原始点云的质量要求不高，有较好的鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种点云数据处理方法的流程图。
图2是根据一示例性实施例示出的一种点云补全处理流程的示意图。
图3是根据一示例性实施例示出的一种统一空间中三角连接关系处理流程的示意图。
图4是根据一示例性实施例示出的另一种点云数据处理方法的流程图。
图5是根据一示例性实施例示出的一种点云数据处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
图1是根据一示例性实施例示出的一种点云数据处理方法的流程图，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤。
在步骤S110中，获取待补全点云在不同视角帧中对应的三角剖分结果；
其中，三角剖分结果可以包括三维空间下的多个三角形平面，可以针对待补全点云的任一视角帧，通过以该视角帧对应相机视角的半稠密深度为顶点，对确定的多个顶点进行三角剖分，得到多个三角形平面。
作为一示例，不同的视角帧可以对应有不同的相机位姿信息，如待补全点云可以对应有N个相机视角下的位姿Ti。
在实际应用中，可以获取待补全点云在不同视角帧中对应的点云投影图像，然后可以针对任一点云投影图像，以该任一点云投影图像中的多个特征点为顶点，对任一点云投影图像进行三角剖分，得到任一点云投影图像对应的多个三角形，进而可以根据各点云投影图像对应的多个三角形，确定各视角帧对应的三角剖分结果。
具体地，如图2所示，可以根据原始的残缺点云(即待补全点云)、点云间共视关系，以及N个视角帧对应的位姿Ti，通过将三维点云投影到各视角帧，得到各视角帧对应的半稠密深度图(即点云投影图像)，进而可以对各半稠密深度图进行三角剖分得到对应的三角剖分结果。
在步骤S120中，基于待补全点云的共视关系，修正各视角帧对应的三角剖分结果，得到各视角帧对应的修正后三角剖分结果；
其中，各修正后三角剖分结果对应的三角连接关系在空间中相统一。
在具体实现中，可以基于待补全点云的共视关系修正各视角帧对应的三角剖分结果，通过针对待补全点云中任一点云，基于待补全点云的共视关系，从各视角帧对应的三角剖分结果中，确定任一点云在各视角帧中所在的三角形，然后可以根据任一点云在各视角帧中所在的三角形，确定任一点云对应的选定三角形，该选定三角形的三角形平面可以为任一点云在空间中对应的唯一三角形平面，进而可以从多个选定三角形中确定出目标三角形，并将该目标三角形投影至各视角帧，得到各视角帧对应的修正后三角剖分结果。
在一示例中，由于是以各视角帧对应的点云投影图像进行三角剖分的方式得到三角剖分结果，该方式会造成不同视角帧对应的三角剖分结果具有不同的三角形连接关系，为了使得各视角帧的三角连接关系是统一的，即保证不同视角帧对应的三角剖分结果，在空间中表示的是同一个局部三角平面，可以利用三维点云的共视关系(即待补全点云的共视关系)，修正各视角帧对应的三角剖分结果，从而能够确保各视角帧所剖分的共视三维点云在空间中对应唯一的三角形平面。
在步骤S130中，针对任一视角帧，分类任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；
其中，优化后分割区域可以为包括三角形集合的分割区域，该三角形集合中的各三角形均属于分割区域所在的平面，该分割区域可以为根据视角帧对应的图像分割结果确定的。
作为一示例，如图2所示，可以通过对视角帧的RGB图像进行超像素分割和语义分割，得到图像分割结果，该图像分割结果可以包括多个分割区域。
在得到任一视角帧对应的修正后三角剖分结果后，可以获取该任一视角帧对应的图像分割结果，并可以确定该图像分割结果中各分割区域对应的平面拟合结果，以及任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果，然后可以在每个分割区域中，根据该分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度，分类任一视角帧对应的修正后三角剖分结果中的三角形，得到分割区域对应的三角形集合，进而可以合并三角形集合和相应的分割区域，得到至少一个优化后分割区域。
在一个可选实施例中，在通过语义信息优化三角剖分结果的过程中，可以基于每个视角帧对应的修正后三角剖分结果，对该视角帧对应的剖分三角形平面进行合并、分裂，例如，可以在判定分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度满足相似度条件时，确认该任一三角形属于分割区域的平面，则可以将该任一三角形合并至分割区域中；可以在判定分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度未满足相似度条件时，确认该任一三角形不属于分割区域的平面，则可以将该任一三角形移出(即分裂)分割区域。
在步骤S140中，将各优化后分割区域补全为平面，获得待补全点云对应的补全后点云。
在实际应用中，可以采用各优化后分割区域对应的平面拟合结果，将各优化后分割区域补全为平面，进而可以获得待补全点云对应的补全后点云，例如，可以使用各优化后分割区域对应的平面方程(即平面拟合结果)将各优化后分割区域补全成平面，即可以补全点云中相应的空洞位置，从而可以提升重建三维点云的质量和完整性，可以应用于场景的三维重建、各类AR/VR应用、房屋户型重建与展示、物品三维展示、自动驾驶、无人机和三维环境感知等方面。
相较于传统方法，本实施例的技术方案，可以不限物体的具体类型进行点云补全，也无需采集大量数据训练，泛化性强，且计算量小，对原始点云的质量要求不高，可以应对较为杂乱、有许多噪声或形状不规则的点云情况，针对质量不高的点云也能具有较好的补全结果，鲁棒性高。
上述点云数据处理方法中，通过获取待补全点云在不同视角帧中对应的三角剖分结果，然后基于待补全点云的共视关系，修正各视角帧对应的三角剖分结果，得到各视角帧对应的修正后三角剖分结果，进而分类各修正后三角剖分结果中的三角形，获得至少一个优化后分割区域，将各优化后分割区域补全为平面，获得待补全点云对应的补全后点云。如此，可以通过结合待补全点云的共视关系、各视角帧对应的三角剖分结果和图像分割结果，优化点云补全结果，无需采集大量数据训练，计算量小、泛化性高，对原始点云的质量要求不高，有较好的鲁棒性。
在一示例性实施例中，基于待补全点云的共视关系，修正各视角帧对应的三角剖分结果，得到各视角帧对应的修正后三角剖分结果，包括：针对待补全点云中任一点云，基于待补全点云的共视关系，从各视角帧对应的三角剖分结果中，确定任一点云在各视角帧中所在的三角形；根据任一点云在各视角帧中所在的三角形，确定任一点云对应的选定三角形；从多个选定三角形中确定出目标三角形，并将目标三角形投影至各视角帧，得到各视角帧对应的修正后三角剖分结果。
其中，针对任一点云对应的选定三角形，该选定三角形的三角形平面可以为任一点云在空间中对应的唯一三角形平面。
作为一示例，目标三角形可以为面积最大的选定三角形。
在修正三角剖分结果的过程中，可以对原始残缺点云中的每个三维点云Xi(即待补全点云中任一点云)，利用共视关系确定其对应的所有视角帧，然后可以根据得到的所有视角帧，找到该三维点云Xi对应的二维深度点pi＝(ui,vi)，并可以找到pi所在三角形的其它2个顶点pi 1、p i 2，即确定任一点云在各视角帧中所在的三角形。
在一示例中，若在所有视角帧中，pi 1、p i 2对应的三维点云Xi 1、Xi 2均相同，则说明它们剖分的是同一个三角形；若各视角帧中pi 1、p i 2对应的三维点云Xi 1、Xi 2不完全相同，可以通过计算各视角帧对应三角形的面积Si，筛选出Si>α的多个视角帧(判定该多个视角帧的三角剖分结果较好)，进而可以从多个视角帧对应的三角形中，筛选出针对三维点云Xi的最佳观测视角的三角形(即选定三角形)，从而可以保证不同视角帧对应的三角剖分结果，在空间中表示的是同一个局部三角平面。
在又一示例中，在针对每个三维点云Xi确定最佳观测视角的三角形后，可以确定面积Si最大的三角形所在的视角帧，以及其对应的三个顶点pi、pi 1、p i 2，并将其作为最终的三角形(即目标三角形)，进而可以将该三角形投影至所有视角帧，例如，通过将最终三角形的顶点pi 1、p i 2投影到其它的所有视角帧，并将投影后的两个顶点与所有视角帧中的pi连接，可以组成最终的三角连接关系。
本实施例的技术方案，通过针对待补全点云中任一点云，基于待补全点云的共视关系，从各视角帧对应的三角剖分结果中，确定任一点云在各视角帧中所在的三角形，然后根据任一点云在各视角帧中所在的三角形，确定任一点云对应的选定三角形，进而从多个选定三角形中确定出目标三角形，并将目标三角形投影至各视角帧，得到各视角帧对应的修正后三角剖分结果，能够使得各视角帧的三角连接关系是统一的。
在一示例性实施例中，根据任一点云在各视角帧中所在的三角形，确定任一点云对应的选定三角形，包括：确定任一点云在各视角帧中所在的三角形对应的观测效果信息；从各观测效果信息中确定目标观测效果信息，并将目标观测效果信息对应的三角形，作为任一点云对应的选定三角形。
其中，观测效果信息可以用于表征在对应视角帧的视角下，观测任一点云在对应视角帧中所在三角形的效果。
在实际应用中，针对每个三维点云Xi，在计算各视角帧对应三角形的面积Si，筛选出Si>α的多个视角帧后，可以从多个视角帧对应的三角形中，通过确定每个三角形对应的观测效果信息，如可以对三角形的夹角进行打分，以评价观测质量，进而可以从各观测效果信息中确定目标观测效果信息，如可以将总分数最高的观测效果信息，作为目标观测效果信息，并可以将目标观测效果信息对应的三角形，作为最佳观测视角的三角形(即选定三角形)。
本实施例的技术方案，通过确定任一点云在各视角帧中所在的三角形对应的观测效果信息，进而从各观测效果信息中确定目标观测效果信息，并将目标观测效果信息对应的三角形，作为任一点云对应的选定三角形，能够基于观测质量评价，有效筛选出最佳观测视角的三角形。
在一示例性实施例中，确定任一点云在各视角帧中所在的三角形对应的观测效果信息，包括：针对每个视角帧，根据视角帧对应的相机位姿信息确定相机中心位置；基于任一点云在视角帧中所在三角形的三个顶点，计算三个顶点中任意两个顶点相对于相机中心位置的夹角；根据任一点云在视角帧中所在三角形的夹角，得到任一点云在视角帧中所在三角形对应的观测效果信息。
在一示例中，如图3所示，针对每个视角帧，可以根据该视角帧对应的位姿Ti(即相机位姿信息)获取相机中心位置c，然后可以针对任一点云在该视角帧中所在三角形的三个顶点，两两计算它们相对于相机中心的夹角，可以采用如下方式进行计算：
vi＝c-pi
vj＝c-pj
通过计算出方向向量vi、vj，并根据方向向量vi、vj计算该三角形的夹角，进而可以对夹角进行打分(即得到观测效果信息)，可以采用如下方式评价观测质量：
其中，θ0＝5°，σ1＝1，σ2＝10，该打分公式可以表征θ0是两个顶点所张开的最优观测夹角，此时深度估计的质量最高，则该打分函数在夹角θp＝θ0时的得分最高，为1分；σ1<σ2可以表征对于夹角<θ0的惩罚更大，因为在算法原理上此时两帧的夹角太小，三角测量的误差会迅速增大。sp是归一化的，打分在(0,1]之间；可以将总分数si,j最高的三角形，作为最佳观测视角的三角形。
本实施例的技术方案，通过针对每个视角帧，根据视角帧对应的相机位姿信息确定相机中心位置，然后基于任一点云在视角帧中所在三角形的三个顶点，计算三个顶点中任意两个顶点相对于相机中心位置的夹角，进而根据任一点云在视角帧中所在三角形的夹角，得到任一点云在视角帧中所在三角形对应的观测效果信息，可以对三角形进行观测质量评价，为筛选出最佳观测视角提供了数据支持。
在一示例性实施例中，在确定任一点云在各视角帧中所在的三角形对应的观测效果信息的步骤之前，还包括：针对任一点云在各视角帧中所在的三角形，确定各三角形对应的内角角度信息；去除未满足角度条件的内角角度信息对应的三角形。
作为一示例，角度条件可以用于筛选出适合点云补全任务的三角形。
在实际应用中，可以针对任一点云在各视角帧中所在的三角形，计算该三角形的三个内角，若存在150°以上的钝角、或15°以下的锐角，则说明观测的三角形过于尖锐，不适合点云补全任务，进而可以去除不符合条件的三角形，即去除未满足角度条件的内角角度信息对应的三角形。
本实施例的技术方案，通过针对任一点云在各视角帧中所在的三角形，确定各三角形对应的内角角度信息，进而去除未满足角度条件的内角角度信息对应的三角形，能够筛选去除不适合点云补全任务的三角形，为后续点云补全处理提供了数据支持。
在一示例性实施例中，针对任一视角帧，分类任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域，包括：针对任一视角帧，获取任一视角帧对应的图像分割结果；图像分割结果包括多个分割区域；确定各分割区域对应的平面拟合结果，以及任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果；在每个分割区域中，根据分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度，分类任一视角帧对应的修正后三角剖分结果中的三角形，得到分割区域对应的三角形集合；合并三角形集合和相应的分割区域，得到至少一个优化后分割区域。
在一示例中，通过对每个视角帧图像进行超像素分割和语义分割，可以得到每个分割区域内的所有三维点云，其中，所采用的图像分割算法可以根据具体的任务需求选择，在本实施例中不作具体限制，例如，可以使用墙面分割、立面分割、颜色分割、人物分割、玻璃/镜面分割、地面分割等图像分割算法。
在又一示例中，针对每个分割区域对应的平面，可以基于三维点云进行最小二乘的平面拟合，得到平面方程Ax+By+Cz+D＝0，该平面可以记为(A，B，C，D)，即分割区域对应的平面拟合结果；针对分割区域所属视角帧下的每个三角形(即修正后三角剖分结果中的三角形)也可以进行平面拟合，得到每个三角形对应的平面方程(即任一三角形对应的平面拟合结果)，通过分割区域对应的平面拟合结果与每个三角形对应的平面拟合结果进行相似度判断，若平面方程的cosine相似性大于预设阈值(如0.95)，则可以判定此三角形属于分割区域的平面，可以将三角形合并进分割区域中，否则可以将三角形移出分割区域。
本实施例的技术方案，通过针对任一视角帧，获取任一视角帧对应的图像分割结果，然后确定各分割区域对应的平面拟合结果，以及任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果，在每个分割区域中，根据分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度，分类任一视角帧对应的修正后三角剖分结果中的三角形，得到分割区域对应的三角形集合，进而合并三角形集合和相应的分割区域，得到至少一个优化后分割区域，能够结合图像分割的语义信息对视角帧对应的剖分三角形平面进行合并、分裂，有效优化了修正后三角剖分结果。
在一示例性实施例中，获取待补全点云在不同视角帧中对应的三角剖分结果，包括：获取待补全点云在不同视角帧中对应的点云投影图像；针对任一点云投影图像，以任一点云投影图像中的多个特征点为顶点，对任一点云投影图像进行三角剖分，得到任一点云投影图像对应的多个三角形；根据各点云投影图像对应的多个三角形，确定各视角帧对应的三角剖分结果。
作为一示例，点云投影图像可以为各视角帧对应的半稠密深度图，特征点可以为半稠密深度图中的深度点。
在实际应用中，如图2所示，可以根据原始的残缺点云(即待补全点云)、点云间共视关系，以及N个视角帧对应的位姿Ti，通过将三维点云投影到各视角帧，得到各视角帧对应的半稠密深度图(即点云投影图像)，进而以深度点(即特征点)为顶点，可以对各视角帧对应的半稠密深度图进行三角剖分，得到多个三角形平面，根据各半稠密深度图对应的多个三角形，确定各视角帧对应的三角剖分结果。
本实施例的技术方案，通过获取待补全点云在不同视角帧中对应的点云投影图像，针对任一点云投影图像，以任一点云投影图像中的多个特征点为顶点，对任一点云投影图像进行三角剖分，得到任一点云投影图像对应的多个三角形，进而根据各点云投影图像对应的多个三角形，确定各视角帧对应的三角剖分结果，可以基于各视角帧的半稠密深度图进行三角剖分，为进一步修正三角剖分结果提供了数据支持。
在一示例性实施例中，获取待补全点云在不同视角帧中对应的点云投影图像，包括：获取不同视角帧对应的相机位姿信息；根据待补全点云的共视关系和各视角帧对应的相机位姿信息，在待补全点云中确定各视角帧对应的点云集合；针对任一点云集合，将任一点云集合中的点云投影至对应的视角帧，得到视角帧对应的点云投影图像。
在一示例中，通过获取N个视角帧对应的位姿Ti(即不同视角帧对应的相机位姿信息)，可以针对第i个视角帧，利用共视关系确定该视角帧下所能看到的所有三维点云(即点云集合)，并可以将每个三维点云Xi投影到当前视角帧上，得到半稠密深度图(即点云投影图像)。投影公式可以采用如下表示：
di＝zi
pi＝(ui,vi)
其中，K为各视角帧对应相机的内参(如3x3矩阵)，di可以表征三维点云Xi对应的深度点，pi可以表征该深度点在当前视角帧中的二维坐标。
本实施例的技术方案，通过获取不同视角帧对应的相机位姿信息，然后根据待补全点云的共视关系和各视角帧对应的相机位姿信息，在待补全点云中确定各视角帧对应的点云集合，进而针对任一点云集合，将任一点云集合中的点云投影至对应的视角帧，得到视角帧对应的点云投影图像，为进一步基于半稠密深度图进行三角剖分提供了数据支持。
在一示例性实施例中，对任一点云投影图像进行三角剖分，得到任一点云投影图像对应的多个三角形，包括：对任一点云投影图像进行三角剖分，得到多个候选三角形；从多个候选三角形中确定出满足预设面积条件的候选三角形，作为任一点云投影图像对应的多个三角形。
在一示例中，可以采用德劳内三角剖分算法对任一点云投影图像进行三角剖分，得到多个候选三角形，然后可以计算每个候选三角形的面积Si，由于大面积的三角形对应点云中的空洞部分，小面积的三角形对应点云中的稠密部分，则针对点云补全任务，为了只保留面积较大的三角形，可以预设面积阈值α，以筛选出面积Si>α的候选三角形，即满足预设面积条件的候选三角形，得到任一点云投影图像对应的多个三角形。
本实施例的技术方案，通过对任一点云投影图像进行三角剖分，得到多个候选三角形，进而从多个候选三角形中确定出满足预设面积条件的候选三角形，作为任一点云投影图像对应的多个三角形，能够有效筛选出符合点云补全任务的待处理三角形，提升了点云数据处理效率。
图4是根据一示例性实施例示出的另一种点云数据处理方法的流程图，如图4所示，该方法用于终端等计算机设备中，包括以下步骤。
在步骤S410中，获取待补全点云在不同视角帧中对应的三角剖分结果。在步骤S420中，针对待补全点云中任一点云，基于待补全点云的共视关系，从各视角帧对应的三角剖分结果中，确定任一点云在各视角帧中所在的三角形。在步骤S430中，根据任一点云在各视角帧中所在的三角形，确定任一点云对应的选定三角形；选定三角形的三角形平面为任一点云在空间中对应的唯一三角形平面。在步骤S440中，从多个选定三角形中确定出目标三角形，并将目标三角形投影至各视角帧，得到各视角帧对应的修正后三角剖分结果；目标三角形为面积最大的选定三角形。在步骤S450中，针对任一视角帧，获取任一视角帧对应的图像分割结果；图像分割结果包括多个分割区域。在步骤S460中，确定各分割区域对应的平面拟合结果，以及任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果。在步骤S470中，在每个分割区域中，根据分割区域对应的平面拟合结果与任一三角形对应的平面拟合结果间的相似度，分类任一视角帧对应的修正后三角剖分结果中的三角形，得到分割区域对应的三角形集合。在步骤S480中，合并三角形集合和相应的分割区域，得到至少一个优化后分割区域，将各优化后分割区域补全为平面，获得待补全点云对应的补全后点云。需要说明的是，上述步骤的具体限定可以参见上文对一种点云数据处理方法的具体限定，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的点云数据处理方法的点云数据处理装置。
图5是根据一示例性实施例示出的一种点云数据处理装置框图。参照图5，该装置包括：
三角剖分单元501，被配置为执行获取待补全点云在不同视角帧中对应的三角剖分结果；
修正单元502，被配置为执行基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果；各所述修正后三角剖分结果对应的三角连接关系在空间中相统一；
分割区域优化单元503，被配置为执行针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；所述优化后分割区域为包括三角形集合的分割区域，所述三角形集合中的各所述三角形均属于所述分割区域所在的平面，所述分割区域为根据所述任一视角帧对应的图像分割结果确定的；
点云补全单元504，被配置为执行将各所述优化后分割区域补全为平面，获得所述待补全点云对应的补全后点云。
在一种可能实现方式中，所述修正单元502，具体被配置为执行针对所述待补全点云中任一点云，基于所述待补全点云的共视关系，从各所述视角帧对应的三角剖分结果中，确定所述任一点云在各所述视角帧中所在的三角形；根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形；所述选定三角形的三角形平面为所述任一点云在空间中对应的唯一三角形平面；从多个所述选定三角形中确定出目标三角形，并将所述目标三角形投影至各所述视角帧，得到各所述视角帧对应的修正后三角剖分结果；所述目标三角形为面积最大的选定三角形。
在一种可能实现方式中，所述修正单元502，具体被配置为执行确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息；所述观测效果信息用于表征在对应视角帧的视角下，观测所述任一点云在所述对应视角帧中所在三角形的效果；从各所述观测效果信息中确定目标观测效果信息，并将所述目标观测效果信息对应的三角形，作为所述任一点云对应的选定三角形。
在一种可能实现方式中，所述修正单元502，具体被配置为执行针对每个视角帧，根据所述视角帧对应的相机位姿信息确定相机中心位置；基于所述任一点云在所述视角帧中所在三角形的三个顶点，计算所述三个顶点中任意两个顶点相对于所述相机中心位置的夹角；根据所述任一点云在所述视角帧中所在三角形的夹角，得到所述任一点云在所述视角帧中所在三角形对应的观测效果信息。
在一种可能实现方式中，所述点云数据处理装置，还包括：
内角角度信息确定单元，具体被配置为执行针对所述任一点云在各所述视角帧中所在的三角形，确定各所述三角形对应的内角角度信息；
角度条件筛选单元，具体被配置为执行去除未满足角度条件的内角角度信息对应的三角形；所述角度条件用于筛选出适合点云补全任务的三角形。
在一种可能实现方式中，所述分割区域优化单元503，具体被配置为执行针对任一视角帧，获取所述任一视角帧对应的图像分割结果；所述图像分割结果包括多个分割区域；确定各所述分割区域对应的平面拟合结果，以及所述任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果；在每个分割区域中，根据所述分割区域对应的平面拟合结果与所述任一三角形对应的平面拟合结果间的相似度，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，得到所述分割区域对应的三角形集合；合并所述三角形集合和相应的所述分割区域，得到所述至少一个优化后分割区域。
在一种可能实现方式中，所述三角剖分单元501，具体被配置为执行获取待补全点云在不同视角帧中对应的点云投影图像；针对任一点云投影图像，以所述任一点云投影图像中的多个特征点为顶点，对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形；根据各所述点云投影图像对应的多个三角形，确定各所述视角帧对应的三角剖分结果。
在一种可能实现方式中，所述三角剖分单元501，具体被配置为执行获取不同所述视角帧对应的相机位姿信息；根据所述待补全点云的共视关系和各所述视角帧对应的相机位姿信息，在所述待补全点云中确定各所述视角帧对应的点云集合；针对任一点云集合，将所述任一点云集合中的点云投影至对应的视角帧，得到所述视角帧对应的点云投影图像。
在一种可能实现方式中，所述三角剖分单元501，具体被配置为执行对所述任一点云投影图像进行三角剖分，得到多个候选三角形；从所述多个候选三角形中确定出满足预设面积条件的候选三角形，作为所述任一点云投影图像对应的多个三角形。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
上述点云数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图6是根据一示例性实施例示出的一种用于实现一种点云数据处理方法的电子设备600的框图。例如，电子设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图6，电子设备600可以包括以下一个或多个组件：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(I/O)的接口612、传感器组件614以及通信组件616。
处理组件602通常控制电子设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述电子设备600和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(MIC)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600组件的位置改变，用户与电子设备600接触的存在或不存在，设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备600的处理器620执行以完成上述方法。
需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种点云数据处理方法，其特征在于，所述方法包括：
获取待补全点云在不同视角帧中对应的三角剖分结果；
基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果；各所述修正后三角剖分结果对应的三角连接关系在空间中相统一；
针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；所述优化后分割区域为包括三角形集合的分割区域，所述三角形集合中的各所述三角形均属于所述分割区域所在的平面，所述分割区域为根据所述任一视角帧对应的图像分割结果确定的；
将各所述优化后分割区域补全为平面，获得所述待补全点云对应的补全后点云。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果，包括：
针对所述待补全点云中任一点云，基于所述待补全点云的共视关系，从各所述视角帧对应的三角剖分结果中，确定所述任一点云在各所述视角帧中所在的三角形；
根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形；所述选定三角形的三角形平面为所述任一点云在空间中对应的唯一三角形平面；
从多个所述选定三角形中确定出目标三角形，并将所述目标三角形投影至各所述视角帧，得到各所述视角帧对应的修正后三角剖分结果；所述目标三角形为面积最大的选定三角形。
3.根据权利要求2所述的方法，其特征在于，所述根据所述任一点云在各所述视角帧中所在的三角形，确定所述任一点云对应的选定三角形，包括：
确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息；所述观测效果信息用于表征在对应视角帧的视角下，观测所述任一点云在所述对应视角帧中所在三角形的效果；
从各所述观测效果信息中确定目标观测效果信息，并将所述目标观测效果信息对应的三角形，作为所述任一点云对应的选定三角形。
4.根据权利要求3所述的方法，其特征在于，所述确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息，包括：
针对每个视角帧，根据所述视角帧对应的相机位姿信息确定相机中心位置；
基于所述任一点云在所述视角帧中所在三角形的三个顶点，计算所述三个顶点中任意两个顶点相对于所述相机中心位置的夹角；
根据所述任一点云在所述视角帧中所在三角形的夹角，得到所述任一点云在所述视角帧中所在三角形对应的观测效果信息。
5.根据权利要求3所述的方法，其特征在于，在所述确定所述任一点云在各所述视角帧中所在的三角形对应的观测效果信息的步骤之前，所述方法还包括：
针对所述任一点云在各所述视角帧中所在的三角形，确定各所述三角形对应的内角角度信息；
去除未满足角度条件的内角角度信息对应的三角形；所述角度条件用于筛选出适合点云补全任务的三角形。
6.根据权利要求1所述的方法，其特征在于，所述针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域，包括：
针对任一视角帧，获取所述任一视角帧对应的图像分割结果；所述图像分割结果包括多个分割区域；
确定各所述分割区域对应的平面拟合结果，以及所述任一视角帧对应的修正后三角剖分结果中任一三角形对应的平面拟合结果；
在每个分割区域中，根据所述分割区域对应的平面拟合结果与所述任一三角形对应的平面拟合结果间的相似度，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，得到所述分割区域对应的三角形集合；
合并所述三角形集合和相应的所述分割区域，得到所述至少一个优化后分割区域。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取待补全点云在不同视角帧中对应的三角剖分结果，包括：
获取待补全点云在不同视角帧中对应的点云投影图像；
针对任一点云投影图像，以所述任一点云投影图像中的多个特征点为顶点，对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形；
根据各所述点云投影图像对应的多个三角形，确定各所述视角帧对应的三角剖分结果。
8.根据权利要求7所述的方法，其特征在于，所述获取待补全点云在不同视角帧中对应的点云投影图像，包括：
获取不同所述视角帧对应的相机位姿信息；
根据所述待补全点云的共视关系和各所述视角帧对应的相机位姿信息，在所述待补全点云中确定各所述视角帧对应的点云集合；
针对任一点云集合，将所述任一点云集合中的点云投影至对应的视角帧，得到所述视角帧对应的点云投影图像。
9.根据权利要求7所述的方法，其特征在于，所述对所述任一点云投影图像进行三角剖分，得到所述任一点云投影图像对应的多个三角形，包括：
对所述任一点云投影图像进行三角剖分，得到多个候选三角形；
从所述多个候选三角形中确定出满足预设面积条件的候选三角形，作为所述任一点云投影图像对应的多个三角形。
10.一种点云数据处理装置，其特征在于，所述装置包括：
三角剖分单元，被配置为执行获取待补全点云在不同视角帧中对应的三角剖分结果；
修正单元，被配置为执行基于所述待补全点云的共视关系，修正各所述视角帧对应的三角剖分结果，得到各所述视角帧对应的修正后三角剖分结果；各所述修正后三角剖分结果对应的三角连接关系在空间中相统一；
分割区域优化单元，被配置为执行针对任一视角帧，分类所述任一视角帧对应的修正后三角剖分结果中的三角形，获得至少一个优化后分割区域；所述优化后分割区域为包括三角形集合的分割区域，所述三角形集合中的各所述三角形均属于所述分割区域所在的平面，所述分割区域为根据所述任一视角帧对应的图像分割结果确定的；
点云补全单元，被配置为执行将各所述优化后分割区域补全为平面，获得所述待补全点云对应的补全后点云。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的点云数据处理方法。
12.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至9中任一项所述的点云数据处理方法。
CN202310370368.6A 2023-04-07 2023-04-07 点云数据处理方法、装置、电子设备及存储介质 Pending CN116486039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310370368.6A CN116486039A (zh) 2023-04-07 2023-04-07 点云数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310370368.6A CN116486039A (zh) 2023-04-07 2023-04-07 点云数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116486039A true CN116486039A (zh) 2023-07-25

Family

ID=87222439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310370368.6A Pending CN116486039A (zh) 2023-04-07 2023-04-07 点云数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116486039A (zh)

Similar Documents

Publication Publication Date Title
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN106651955B (zh) 图片中目标物的定位方法及装置
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
EP3511864A1 (en) Method and apparatus for synthesizing virtual and real objects
EP2977956B1 (en) Method, apparatus and device for segmenting an image
CN109584362B (zh) 三维模型构建方法及装置、电子设备和存储介质
EP3057304B1 (en) Method and apparatus for generating image filter
JP2016531362A (ja) 肌色調整方法、肌色調整装置、プログラム及び記録媒体
CN110853095B (zh) 相机定位方法、装置、电子设备及存储介质
WO2019237745A1 (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
CN108171222B (zh) 一种基于多流神经网络的实时视频分类方法及装置
CN112529846A (zh) 图像处理方法及装置、电子设备和存储介质
CN114267041A (zh) 场景中对象的识别方法及装置
CN114581525A (zh) 姿态确定方法及装置、电子设备和存储介质
US9665925B2 (en) Method and terminal device for retargeting images
CN113345000A (zh) 深度检测方法及装置、电子设备和存储介质
CN109934168B (zh) 人脸图像映射方法及装置
CN106469446B (zh) 深度图像的分割方法和分割装置
WO2023155393A1 (zh) 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品
CN111325674A (zh) 图像处理方法、装置及设备
CN112330721B (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN116486039A (zh) 点云数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination